Sen(Qian)’s Memo
2024-AIII-[NPN]Adaptive Integration of Partial Label Learning and Negative Learning for Enhanced Noisy Label Learning
Noisy Labelで学習させるとき、識別器の予測のtop-kの予測を「ありうるかもしれないラベル」と考えれば、(与えられたラベルにこれらを加えたものが)Partial Label Learningとして学ばせることができる。 そして、このラベルの補ラベルを考えると、Negative Label Learningもすることができる。 各エポックごとにPartial Labelを更新し、それの補集合のラベルの補ラベルも作れて、それらを組み合わせたObjectiveとして学習させている。 正則化手法では、強いと弱いデータ拡張を用いている
2024-ICLR-[Label Wave]Early Stopping Against Label Noise Without Validation Data
DNNがNoisy Dataを学習するとき、毎エポックの予測が変わったサンプルの数(の移動平均)を指標にすると、最初はまず下がっていき(正しく学習する)、次に上がり(ここからNoisy Labelにもフィットし始めてしまう)、最後に下がる(Noisy Labelの学習を成功しつつある)というトレンドが見える。 なので、最初の下がっていく谷で、early stoppingするぞ。
2021-TPAMI-[LBE]Instance-Dependent Positive and Unlabeled Learning With Labeling Bias Estimation
グラフィカルモデルによって、ground truthのyiは隠れ変数であり、ラベルがついているかsiとインスタンスxiは明示されている変数である。 モデルとして、多層パーセプトロンかロジスティック回帰を使っている。これで、グラフィカルモデルに従って必要なp(yi|xi)やp(si|xi, yi)を定義する。 学習自体はEMアルゴリズムで行っている(変分推論ではない)
2020-NIPS-Partial Optimal Transport with Applications on Positive-Unlabeled Learning
Denoisingにも使えそう。
2020-onlyarxiv-A Novel Perspective for Positive-Unlabeled Learning via Noisy Labels
Pは普通にLabeledデータとして損失を扱う。 Uについては、Pseudo LabelとのKL Divergenceを損失にする。 そしてさらに、Uにおいて、すべてのcalibrationされた後の予測値の平均はclass priorと同じ値でありたい。そして、明示的にすべてのUデータに対して、予測値がclass priorになってしまうのを防ぎたいので、Entropy Minimizationを入れている。 Pseudo Labelは過去数エポックのモデル出力の移動平均とする。
2021-TKDE-[LIISP]Learning From Incomplete and Inaccurate Supervision
1. PU Learningをまずする 2. Pseudo Labelをつけてみる。その中でおかしいものを是正したい。 3. 是正の手段の1つとして、Bregman Divergenceを尺度として経験分布の密度比と予測したいものの密度比を最小化する。この時の式は文献[44]にあるものを使う。 4. 推定した密度比をもちいて、Pseudo Labelの損失を補正しそれに普通のPUの損失を加えて再度本番の学習させる。
2016-NIPS-Estimating The Class Prior And Posterior from Noisy Positives And Unlabeled Data
問題設定は、Noiseはクラスやインスタンスに依存せずに発生するという強い仮定 Univariateという、データを低次元に落としたうえでいろいろ考える手法を使う。
2018-NIPS-[GCE]Generalized Cross Entropy Loss for Training Deep Neural Networks with Noisy Labels
1. BoxCox1変換を導入したGCEという損失関数を考えた。 2. 各サンプルを使うor使わないを離散ではなく連続変数に条件を緩めて、DNN本体のパラメタ更新と片方を固定して相方を最適化をするACSの手法を考案。
2020-ICML-[APL]Normalized Loss Functions for Deep Learning with Noisy Labels
損失関数は、「対象のクラスである確率を上げる」ためのActive Lossと、「それのみならず対象以外のクラスである確率を下げる」Passive Lossがある。これらについて、一定の係数つきで組み合わせたほうがNoiseにも強くいい結果を生む。 複雑なデータセットでは、Passive Lossの比重を下げたほうがいい。