Sen(Qian)’s Memo

典型的なCurriculum Learningを導入したPU。

3段階の訓練をする。 1. 高い学習率でNoiseを学ばないようにbackbornを訓練。 2. ラベルをonehotではなく、sigmoidでsmoothing labelにする。そのsmoothing labelで学習し、ある程度正しいbackbornを信頼して高い学習率でsmoothing labelを学習していく。あとは本来のラベルと離れすぎないような損失項、backbornの出力が偏るようなEntropy Regularizationを加える。 3. 最後に学習がある程度されたsmoothing labelとbackbornとで学習をしてチューニングして終わり。

Noisy Labelのまま予測した値の行列Pに対して、-log Pを重みとした最適輸送をすることでDenoisingがおのずとできるというテクがある。 この論文では、最適輸送は100%輸送するというのではなく、最初は50%などと少な目に輸送することで、コストが最も低い部分の輸送=運びやすい輸送=間違ってなさそうなサンプルを運ばせることができる。これでカリキュラム学習を実現させている。