Sen(Qian)’s Memo

DNNがNoisy Dataを学習するとき、毎エポックの予測が変わったサンプルの数(の移動平均)を指標にすると、最初はまず下がっていき(正しく学習する)、次に上がり(ここからNoisy Labelにもフィットし始めてしまう)、最後に下がる(Noisy Labelの学習を成功しつつある)というトレンドが見える。 なので、最初の下がっていく谷で、early stoppingするぞ。

まずはnnPUで訓練し、ある程度信頼できるモデルにする。Noisy LabelのSmall Loss Trickを使い、そのあとから、Unlabeledの中のlossが大きいものを選んで、Positive扱いにする。しかし、Uから選んだPositive扱いのものは、nnPUでmaxを取った項の中での計算はさせない(強い過学習傾向がnnPUでさえ見られてしまう).

Noisy Labelのまま予測した値の行列Pに対して、-log Pを重みとした最適輸送をすることでDenoisingがおのずとできるというテクがある。 この論文では、最適輸送は100%輸送するというのではなく、最初は50%などと少な目に輸送することで、コストが最も低い部分の輸送=運びやすい輸送=間違ってなさそうなサンプルを運ばせることができる。これでカリキュラム学習を実現させている。