Sen(Qian)’s Memo

DNNがNoisy Dataを学習するとき、毎エポックの予測が変わったサンプルの数(の移動平均)を指標にすると、最初はまず下がっていき(正しく学習する)、次に上がり(ここからNoisy Labelにもフィットし始めてしまう)、最後に下がる(Noisy Labelの学習を成功しつつある)というトレンドが見える。 なので、最初の下がっていく谷で、early stoppingするぞ。