Sen(Qian)’s Memo

後の手法の基本となったCo-Teachingについて。 先行研究のDecouplingもここにある。 Small Loss Trickで、最初は高い割合のデータを使うが、どんどんlossが小さいデータだけを使うようにする。後続研究と矛盾する提案。

1. ラベルのp(y|x)の各クラスごとのエントロピーを測って、低い=ほぼクラスyかほぼクラスyではない、ということならp(z|x)を最大化するzを新しいラベルにする。 2. backwardするときは、それなりに正しいと思われるサンプル(損失が少ない上位X割)とrelabeledされたデータだけで計算。 3. このアルゴリズムで信頼できるサンプルを選べるが、そのラベル修正込みのサンプルで、訓練を頭からもう1回やり直す=restartでロバストなモデルを作っている SELFIEは高ノイズ環境に強い！

まずCleanなラベルを選び出してそれで普通に訓練する。 Cleanなラベルを選び出すには以下のようにしている。 1. 高い学習率でNoiseまで覚えさせないようにしてから、Noisy Labelでbackbornを訓練。 2. Backbornを訓練→更新したら、Backbornの予測結果でラベルを更新。予測結果の分布そのままで更新するソフトラベルと、予測結果の最大確率のクラスのone-hotで更新するハードラベルがある。 3. 1と2を1イテレーションの間に1回ずつやる。 収束したら、それで予測と与えられたラベルが同じであるサンプルはCleanなラベルを持っているものとする

NNDL第10章 独立した複数のモデルの訓練による効用 フィッシャー情報行列