Sen(Qian)’s Memo
2023-TPAMI-[PULDA]Positive-Unlabeled Learning With Label Distribution Alignment
DIstPU余と同様に、Negative Assumptionに対抗するために識別器によるUデータの識別結果のうちclass priorの割合だけPであるようにするMAEをつけた。 DistPUではMixupもして、本体とmixupの両方にEntropy項をつけた。この手法では、識別データが識別境界から一定以上のマージンを持つような項をつけている。そのマージン項についてuPU, nnPUのようなリスク書き換えを行って新たなObjective Functionを作った。
2021-NIPS-[TEDn]Mixture Proportion Estimation and PU Learning: A Modern Approach
Class Priorの推定は、BBEという手法を用いる。Uの中の閾値を超える割合/Pの中の閾値を超える割合の値が最小になるとき、その値がClass Priorだという。 学習については、Warm-up(普通に雑にPN Learning)しつつ、Uのl(f(x),-1)についての損失が少ない1-π割にNegativeというPseudo Labelを付与して、重みπを考慮したPN Learningで学習していく。これはSelf-supervised Learningベースのもの。 Class Priorの推定とSelf-supervised Learningを交互にやっていく感じ。
2020-onlyarxiv-[MixPUL] Consistency-based Augmentation for Positive and Unlabeled Learning
2022-CVPR-[Dist-PU] Positive-Unlabeled Learning from a Label Distribution Perspective
ラベルの予測確率について、Pでは平均が1、Uでは平均がclass priorにしたい。 1. 自明な解としてUのすべての確率がclass priorになること。これを防ぐためUの分布にEntropy Minimizationも入れる。 2. それだけでは過学習するので、mix-upを導入する。mix-upしたデータに対してもEntropy Minimizationも行う。
2021-TKDE-[LIISP]Learning From Incomplete and Inaccurate Supervision
1. PU Learningをまずする 2. Pseudo Labelをつけてみる。その中でおかしいものを是正したい。 3. 是正の手段の1つとして、Bregman Divergenceを尺度として経験分布の密度比と予測したいものの密度比を最小化する。この時の式は文献[44]にあるものを使う。 4. 推定した密度比をもちいて、Pseudo Labelの損失を補正しそれに普通のPUの損失を加えて再度本番の学習させる。
2016-NIPS-Estimating The Class Prior And Posterior from Noisy Positives And Unlabeled Data
問題設定は、Noiseはクラスやインスタンスに依存せずに発生するという強い仮定 Univariateという、データを低次元に落としたうえでいろいろ考える手法を使う。
2020-AAAICAI-Class Prior Estimation with Biased Positives and Unlabeled Examples
Pをk個(ハイパラ)の集合(k-meansなどで)に分けて、Uもそのk個の中のどれかに属してもらう(k-NNみたいに) そしてそれぞれのグループを生成するようなk個のお互いかぶらない分布を考え、これを基底みたいだと考える。 そして、混合比(該当分布のデータ数が占める割合)で基底を混ぜたのが全体の混合分布だとして、合成した後にClass PriorをAlphaMaxを用いて推定している。
2023-KDD-[RobustPU]Robust Positive-Unlabeled Learning via Noise Negative Sample Self-correction
典型的なCurriculum Learningを導入したPU。
2023-AAAI-[GradPU]Positive-Unlabeled Learning via Gradient Penalty and Positive Upweighting
理論的に面白いのは、ワッサースタイン距離で誤差上界を評価できること。普通のPositiveと経験的Positive in Unlabeledの評価ができている。 その理論的な結果から、損失関数と識別器の合成写像のリプシッツ定数が小さいほうが望ましい。また、真のPositiveの分布と、Positive in UnlabeledにDomain Shiftが生じて、矛盾するようなDomain Shiftが得られた(間違ったラベルとか)とすると、識別器はなめらかではなくなりGradientが大きくなる。 P in Uの学習とPの学習は上界から評価する限りだと、トレードオフの関係にありそう。 提案手法として、Gradient PenaltyとAdaboostのような重みづけで学習促進がある。Class Priorは使わず、その代わりに学習はAdaBoostの機構による重みづけで行っている。