Sen(Qian)’s Memo
2020-NIPS-Partial Optimal Transport with Applications on Positive-Unlabeled Learning
Denoisingにも使えそう。
2020-CIKM-[VAE-PU]Deep Generative Positive-Unlabeled Learning under Selection Bias
PにバイアスがあるSAR仮定における解決法として、生成モデルで本来のPに含まれるが与えられたデータには含まれてないPを生成させて、それをまとめて、SAR仮定のPU Learningの式で学ばせるというもの。 生成ではVAEをベースに、Discriminatorとの敵対的訓練を使っている。
2020-onlyarxiv-[MixPUL] Consistency-based Augmentation for Positive and Unlabeled Learning
2022-ICLR-[P3Mix]Who Is Your Right Mixup Partner in Positive and Unlabeled Learning
PUのcost-sensitiveのnegative assumptionを防ぐため、識別境界に近い(これは識別確率が[0.5-x, 0.5+x]に含まれているって感じの)データをmixupして学習させるという手法。 面白いのは、cost sensitiveなのにPUの項の重みは固定ではなくハイパラにしているところ。
2020-onlyarxiv-A Novel Perspective for Positive-Unlabeled Learning via Noisy Labels
Pは普通にLabeledデータとして損失を扱う。 Uについては、Pseudo LabelとのKL Divergenceを損失にする。 そしてさらに、Uにおいて、すべてのcalibrationされた後の予測値の平均はclass priorと同じ値でありたい。そして、明示的にすべてのUデータに対して、予測値がclass priorになってしまうのを防ぎたいので、Entropy Minimizationを入れている。 Pseudo Labelは過去数エポックのモデル出力の移動平均とする。
2022-CVPR-[Dist-PU] Positive-Unlabeled Learning from a Label Distribution Perspective
ラベルの予測確率について、Pでは平均が1、Uでは平均がclass priorにしたい。 1. 自明な解としてUのすべての確率がclass priorになること。これを防ぐためUの分布にEntropy Minimizationも入れる。 2. それだけでは過学習するので、mix-upを導入する。mix-upしたデータに対してもEntropy Minimizationも行う。
2021-TKDE-[LIISP]Learning From Incomplete and Inaccurate Supervision
1. PU Learningをまずする 2. Pseudo Labelをつけてみる。その中でおかしいものを是正したい。 3. 是正の手段の1つとして、Bregman Divergenceを尺度として経験分布の密度比と予測したいものの密度比を最小化する。この時の式は文献[44]にあるものを使う。 4. 推定した密度比をもちいて、Pseudo Labelの損失を補正しそれに普通のPUの損失を加えて再度本番の学習させる。
2016-NIPS-Estimating The Class Prior And Posterior from Noisy Positives And Unlabeled Data
問題設定は、Noiseはクラスやインスタンスに依存せずに発生するという強い仮定 Univariateという、データを低次元に落としたうえでいろいろ考える手法を使う。
2018-NIPS-[GCE]Generalized Cross Entropy Loss for Training Deep Neural Networks with Noisy Labels
1. BoxCox1変換を導入したGCEという損失関数を考えた。 2. 各サンプルを使うor使わないを離散ではなく連続変数に条件を緩めて、DNN本体のパラメタ更新と片方を固定して相方を最適化をするACSの手法を考案。