Sen(Qian)’s Memo
This website is Donglin Qian (Torin Sen)’s memo, especially about machine learning papers and competitive programming.
10/14
2024-05-10
2014-NIPS-[Ramp]Analysis of Learning from Positive and Unlabeled Data
PU学習について、式変形すれば重み付きの既存のPositiveとNegativeの学習に帰着できる。損失はPNならHingeが普通だが、PUの場合目的関数から損失項を減らせるRamp損失のほうがいい。そのうえ、Class Priorの間違った推定が与える影響も説明されている。理論的には、PUはPNの性能とたかだか2√2倍までしか悪くならない。
2024-04-23
2019-PMLR-[SELFIE] Refurbishing Unclean Samples for Robust Deep Learning
1. ラベルのp(y|x)の各クラスごとのエントロピーを測って、低い=ほぼクラスyかほぼクラスyではない、ということならp(z|x)を最大化するzを新しいラベルにする。 2. backwardするときは、それなりに正しいと思われるサンプル(損失が少ない上位X割)とrelabeledされたデータだけで計算。 3. このアルゴリズムで信頼できるサンプルを選べるが、そのラベル修正込みのサンプルで、訓練を頭からもう1回やり直す=restartでロバストなモデルを作っている SELFIEは高ノイズ環境に強い！