Sen(Qian)’s Memo
2021-NIPS-[TEDn]Mixture Proportion Estimation and PU Learning: A Modern Approach
Class Priorの推定は、BBEという手法を用いる。Uの中の閾値を超える割合/Pの中の閾値を超える割合の値が最小になるとき、その値がClass Priorだという。 学習については、Warm-up(普通に雑にPN Learning)しつつ、Uのl(f(x),-1)についての損失が少ない1-π割にNegativeというPseudo Labelを付与して、重みπを考慮したPN Learningで学習していく。これはSelf-supervised Learningベースのもの。 Class Priorの推定とSelf-supervised Learningを交互にやっていく感じ。
2016-NIPS-Estimating The Class Prior And Posterior from Noisy Positives And Unlabeled Data
問題設定は、Noiseはクラスやインスタンスに依存せずに発生するという強い仮定 Univariateという、データを低次元に落としたうえでいろいろ考える手法を使う。
2020-AAAICAI-Class Prior Estimation with Biased Positives and Unlabeled Examples
Pをk個(ハイパラ)の集合(k-meansなどで)に分けて、Uもそのk個の中のどれかに属してもらう(k-NNみたいに) そしてそれぞれのグループを生成するようなk個のお互いかぶらない分布を考え、これを基底みたいだと考える。 そして、混合比(該当分布のデータ数が占める割合)で基底を混ぜたのが全体の混合分布だとして、合成した後にClass PriorをAlphaMaxを用いて推定している。
2017-MLJ-Class-prior Estimation for Learning from Positive and Unlabeled Data
Class Priorを推定する。既存のf-divergenceでの推定は過大にClass Priorを推定してしまう。t>1の部分でf(t)=infとすることで防げる。 理論的には、Fenchelの双対性定理などを用いてちゃんと凸最適化できる！と説明していた。
2014-NIPS-[Ramp]Analysis of Learning from Positive and Unlabeled Data
PU学習について、式変形すれば重み付きの既存のPositiveとNegativeの学習に帰着できる。損失はPNならHingeが普通だが、PUの場合目的関数から損失項を減らせるRamp損失のほうがいい。そのうえ、Class Priorの間違った推定が与える影響も説明されている。理論的には、PUはPNの性能とたかだか2√2倍までしか悪くならない。