Sen(Qian)’s Memo
2017-AAAIAI-Robust Loss Functions under Label Noise for Deep Neural Networks.
なぜ対称な損失はNoisyなラベルに強いのか。
2019-IJCAI-[PULD]Positive and Unlabeled Learning with Label Disambiguation
Noisy Labelの手法で、以下のような、ラベル書き換えを盛り込む 1. 周辺のラベルと違いすぎないようなラベルとする。 2. 毎イテレーションではラベルがあまり書き換わらないようにする。 3. SVMでこれらの条件をもとにマージンを最大化 解くときは線形計画問題として交互に最適化していく。離散値をとるものでも計算の便利のために連続最適化とする。
2020-NIPS-[aPU]Learning from Positive and Unlabeled Data with Arbitrary Positive Shift
abs-puを開発。これはnnPUの式のmaxを絶対値に。 全体的な流れは、N in U in train, N in testが同分布という仮定。 まずはtrain同士でPU learningして、そこからp(y=-1|x)から比率で変換して、うまくUからN in Uを抽出する。 そして、test domainにあるデータとNUかPNU Learningする。
2020-NIPS-[DIW]Rethinking Importance Weighting for Deep Learning under Distribution shift
密度比推定はDNNではうまく働かない。この論文では、識別器の内部表現をもとに線形予測器で密度比を予測した。ただそれだけでは性能が低下するので、予測した密度比で学習し、その損失をbackwardすることで識別器を密度比予測に使われている線形識別器ごと訓練している。 他方、先ほどの手法にも限界はあり、もう1つは損失の比を予測するという提案。こちらの方がやりやすいし良い結果につながる。
2018-NIPS-Co-teaching: Robust Training of Deep Neural Networks with Extremely Noisy Labels
後の手法の基本となったCo-Teachingについて。 先行研究のDecouplingもここにある。 Small Loss Trickで、最初は高い割合のデータを使うが、どんどんlossが小さいデータだけを使うようにする。後続研究と矛盾する提案。
2019-PMLR-[SELFIE] Refurbishing Unclean Samples for Robust Deep Learning
1. ラベルのp(y|x)の各クラスごとのエントロピーを測って、低い=ほぼクラスyかほぼクラスyではない、ということならp(z|x)を最大化するzを新しいラベルにする。 2. backwardするときは、それなりに正しいと思われるサンプル(損失が少ない上位X割)とrelabeledされたデータだけで計算。 3. このアルゴリズムで信頼できるサンプルを選べるが、そのラベル修正込みのサンプルで、訓練を頭からもう1回やり直す=restartでロバストなモデルを作っている SELFIEは高ノイズ環境に強い！