Sen(Qian)’s Memo

Covariance Shiftがあって、ソースはFull Supervised。ターゲットは大量にあって、PUであるという問題設定。 毎ステップ、識別の最後の層の中間表現が大きく変わらないように正則化している。また、Domain Shiftでは、同じところへ写像するようにEncoder-Decoderモデルを使っている。

典型的なCurriculum Learningを導入したPU。

まずはnnPUで訓練し、ある程度信頼できるモデルにする。Noisy LabelのSmall Loss Trickを使い、そのあとから、Unlabeledの中のlossが大きいものを選んで、Positive扱いにする。しかし、Uから選んだPositive扱いのものは、nnPUでmaxを取った項の中での計算はさせない(強い過学習傾向がnnPUでさえ見られてしまう).

後の手法の基本となったCo-Teachingについて。 先行研究のDecouplingもここにある。 Small Loss Trickで、最初は高い割合のデータを使うが、どんどんlossが小さいデータだけを使うようにする。後続研究と矛盾する提案。