Sen(Qian)’s Memo
2020-onlyarxiv-A Novel Perspective for Positive-Unlabeled Learning via Noisy Labels
Pは普通にLabeledデータとして損失を扱う。 Uについては、Pseudo LabelとのKL Divergenceを損失にする。 そしてさらに、Uにおいて、すべてのcalibrationされた後の予測値の平均はclass priorと同じ値でありたい。そして、明示的にすべてのUデータに対して、予測値がclass priorになってしまうのを防ぎたいので、Entropy Minimizationを入れている。 Pseudo Labelは過去数エポックのモデル出力の移動平均とする。
2022-CVPR-[Dist-PU] Positive-Unlabeled Learning from a Label Distribution Perspective
ラベルの予測確率について、Pでは平均が1、Uでは平均がclass priorにしたい。 1. 自明な解としてUのすべての確率がclass priorになること。これを防ぐためUの分布にEntropy Minimizationも入れる。 2. それだけでは過学習するので、mix-upを導入する。mix-upしたデータに対してもEntropy Minimizationも行う。
2018-CVPR-Joint Optimization Framework for Learning with Noisy Labels
まずCleanなラベルを選び出してそれで普通に訓練する。 Cleanなラベルを選び出すには以下のようにしている。 1. 高い学習率でNoiseまで覚えさせないようにしてから、Noisy Labelでbackbornを訓練。 2. Backbornを訓練→更新したら、Backbornの予測結果でラベルを更新。予測結果の分布そのままで更新するソフトラベルと、予測結果の最大確率のクラスのone-hotで更新するハードラベルがある。 3. 1と2を1イテレーションの間に1回ずつやる。 収束したら、それで予測と与えられたラベルが同じであるサンプルはCleanなラベルを持っているものとする
2019-CVPR-[PENCIL]Probabilistic End-To-End Noise Correction for Learning With Noisy Labels
3段階の訓練をする。 1. 高い学習率でNoiseを学ばないようにbackbornを訓練。 2. ラベルをonehotではなく、sigmoidでsmoothing labelにする。そのsmoothing labelで学習し、ある程度正しいbackbornを信頼して高い学習率でsmoothing labelを学習していく。あとは本来のラベルと離れすぎないような損失項、backbornの出力が偏るようなEntropy Regularizationを加える。 3. 最後に学習がある程度されたsmoothing labelとbackbornとで学習をしてチューニングして終わり。