Sen(Qian)’s Memo
2020-onlyarxiv-A Novel Perspective for Positive-Unlabeled Learning via Noisy Labels
Pは普通にLabeledデータとして損失を扱う。 Uについては、Pseudo LabelとのKL Divergenceを損失にする。 そしてさらに、Uにおいて、すべてのcalibrationされた後の予測値の平均はclass priorと同じ値でありたい。そして、明示的にすべてのUデータに対して、予測値がclass priorになってしまうのを防ぎたいので、Entropy Minimizationを入れている。 Pseudo Labelは過去数エポックのモデル出力の移動平均とする。
2022-CVPR-[Dist-PU] Positive-Unlabeled Learning from a Label Distribution Perspective
ラベルの予測確率について、Pでは平均が1、Uでは平均がclass priorにしたい。 1. 自明な解としてUのすべての確率がclass priorになること。これを防ぐためUの分布にEntropy Minimizationも入れる。 2. それだけでは過学習するので、mix-upを導入する。mix-upしたデータに対してもEntropy Minimizationも行う。
2021-TKDE-[LIISP]Learning From Incomplete and Inaccurate Supervision
1. PU Learningをまずする 2. Pseudo Labelをつけてみる。その中でおかしいものを是正したい。 3. 是正の手段の1つとして、Bregman Divergenceを尺度として経験分布の密度比と予測したいものの密度比を最小化する。この時の式は文献[44]にあるものを使う。 4. 推定した密度比をもちいて、Pseudo Labelの損失を補正しそれに普通のPUの損失を加えて再度本番の学習させる。
2016-NIPS-Estimating The Class Prior And Posterior from Noisy Positives And Unlabeled Data
問題設定は、Noiseはクラスやインスタンスに依存せずに発生するという強い仮定 Univariateという、データを低次元に落としたうえでいろいろ考える手法を使う。
2019-IJCAI-[PULD]Positive and Unlabeled Learning with Label Disambiguation
Noisy Labelの手法で、以下のような、ラベル書き換えを盛り込む 1. 周辺のラベルと違いすぎないようなラベルとする。 2. 毎イテレーションではラベルがあまり書き換わらないようにする。 3. SVMでこれらの条件をもとにマージンを最大化 解くときは線形計画問題として交互に最適化していく。離散値をとるものでも計算の便利のために連続最適化とする。
2020-AAAICAI-Class Prior Estimation with Biased Positives and Unlabeled Examples
Pをk個(ハイパラ)の集合(k-meansなどで)に分けて、Uもそのk個の中のどれかに属してもらう(k-NNみたいに) そしてそれぞれのグループを生成するようなk個のお互いかぶらない分布を考え、これを基底みたいだと考える。 そして、混合比(該当分布のデータ数が占める割合)で基底を混ぜたのが全体の混合分布だとして、合成した後にClass PriorをAlphaMaxを用いて推定している。
2022-DSAA-Positive-Unlabeled Domain Adaptation
Covariance Shiftがあって、ソースはFull Supervised。ターゲットは大量にあって、PUであるという問題設定。 毎ステップ、識別の最後の層の中間表現が大きく変わらないように正則化している。また、Domain Shiftでは、同じところへ写像するようにEncoder-Decoderモデルを使っている。