Sen(Qian)’s Memo

まずCleanなラベルを選び出してそれで普通に訓練する。 Cleanなラベルを選び出すには以下のようにしている。 1. 高い学習率でNoiseまで覚えさせないようにしてから、Noisy Labelでbackbornを訓練。 2. Backbornを訓練→更新したら、Backbornの予測結果でラベルを更新。予測結果の分布そのままで更新するソフトラベルと、予測結果の最大確率のクラスのone-hotで更新するハードラベルがある。 3. 1と2を1イテレーションの間に1回ずつやる。 収束したら、それで予測と与えられたラベルが同じであるサンプルはCleanなラベルを持っているものとする

3段階の訓練をする。 1. 高い学習率でNoiseを学ばないようにbackbornを訓練。 2. ラベルをonehotではなく、sigmoidでsmoothing labelにする。そのsmoothing labelで学習し、ある程度正しいbackbornを信頼して高い学習率でsmoothing labelを学習していく。あとは本来のラベルと離れすぎないような損失項、backbornの出力が偏るようなEntropy Regularizationを加える。 3. 最後に学習がある程度されたsmoothing labelとbackbornとで学習をしてチューニングして終わり。