Sen(Qian)’s Memo
2021-TPAMI-[LBE]Instance-Dependent Positive and Unlabeled Learning With Labeling Bias Estimation
グラフィカルモデルによって、ground truthのyiは隠れ変数であり、ラベルがついているかsiとインスタンスxiは明示されている変数である。 モデルとして、多層パーセプトロンかロジスティック回帰を使っている。これで、グラフィカルモデルに従って必要なp(yi|xi)やp(si|xi, yi)を定義する。 学習自体はEMアルゴリズムで行っている(変分推論ではない)
2021-NIPS-[TEDn]Mixture Proportion Estimation and PU Learning: A Modern Approach
Class Priorの推定は、BBEという手法を用いる。Uの中の閾値を超える割合/Pの中の閾値を超える割合の値が最小になるとき、その値がClass Priorだという。 学習については、Warm-up(普通に雑にPN Learning)しつつ、Uのl(f(x),-1)についての損失が少ない1-π割にNegativeというPseudo Labelを付与して、重みπを考慮したPN Learningで学習していく。これはSelf-supervised Learningベースのもの。 Class Priorの推定とSelf-supervised Learningを交互にやっていく感じ。
2021-TKDE-[LIISP]Learning From Incomplete and Inaccurate Supervision
1. PU Learningをまずする 2. Pseudo Labelをつけてみる。その中でおかしいものを是正したい。 3. 是正の手段の1つとして、Bregman Divergenceを尺度として経験分布の密度比と予測したいものの密度比を最小化する。この時の式は文献[44]にあるものを使う。 4. 推定した密度比をもちいて、Pseudo Labelの損失を補正しそれに普通のPUの損失を加えて再度本番の学習させる。
2016-NIPS-Estimating The Class Prior And Posterior from Noisy Positives And Unlabeled Data
問題設定は、Noiseはクラスやインスタンスに依存せずに発生するという強い仮定 Univariateという、データを低次元に落としたうえでいろいろ考える手法を使う。
2018-NIPS-[GCE]Generalized Cross Entropy Loss for Training Deep Neural Networks with Noisy Labels
1. BoxCox1変換を導入したGCEという損失関数を考えた。 2. 各サンプルを使うor使わないを離散ではなく連続変数に条件を緩めて、DNN本体のパラメタ更新と片方を固定して相方を最適化をするACSの手法を考案。
2020-ICML-[APL]Normalized Loss Functions for Deep Learning with Noisy Labels
損失関数は、「対象のクラスである確率を上げる」ためのActive Lossと、「それのみならず対象以外のクラスである確率を下げる」Passive Lossがある。これらについて、一定の係数つきで組み合わせたほうがNoiseにも強くいい結果を生む。 複雑なデータセットでは、Passive Lossの比重を下げたほうがいい。
2023-KDD-[RobustPU]Robust Positive-Unlabeled Learning via Noise Negative Sample Self-correction
典型的なCurriculum Learningを導入したPU。
2020-NIPS-[aPU]Learning from Positive and Unlabeled Data with Arbitrary Positive Shift
abs-puを開発。これはnnPUの式のmaxを絶対値に。 全体的な流れは、N in U in train, N in testが同分布という仮定。 まずはtrain同士でPU learningして、そこからp(y=-1|x)から比率で変換して、うまくUからN in Uを抽出する。 そして、test domainにあるデータとNUかPNU Learningする。