Sen(Qian)’s Memo

組成データ、Compositional Dataについての簡単な紹介あり。 普通のデータはLabel Smoothingで組成データに変換できる。ilr変換をするが、その時に使うのはHelmert行列。 分類だが、わざわざガウスモデルとかを使って、再帰問題に落とし込む。 再帰問題でガウスモデルを使うことをReweightingと言ってるが既存のReweightingとは違う。そのうえで、そのままでは性能不足なので、与えられたnoisyなラベルではなくパラメタの指数移動平均で作ったモデルの出力と、今のモデルの出力のMSEで誤差として計算する。

3段階の訓練をする。 1. 高い学習率でNoiseを学ばないようにbackbornを訓練。 2. ラベルをonehotではなく、sigmoidでsmoothing labelにする。そのsmoothing labelで学習し、ある程度正しいbackbornを信頼して高い学習率でsmoothing labelを学習していく。あとは本来のラベルと離れすぎないような損失項、backbornの出力が偏るようなEntropy Regularizationを加える。 3. 最後に学習がある程度されたsmoothing labelとbackbornとで学習をしてチューニングして終わり。