Sen(Qian)’s Memo
This website is Donglin Qian (Torin Sen)’s memo, especially about machine learning papers and competitive programming.
Density Estimation
2024-09-10
2016-NIPS-Estimating The Class Prior And Posterior from Noisy Positives And Unlabeled Data
問題設定は、Noiseはクラスやインスタンスに依存せずに発生するという強い仮定 Univariateという、データを低次元に落としたうえでいろいろ考える手法を使う。
2024-06-20
2020-NIPS-[DIW]Rethinking Importance Weighting for Deep Learning under Distribution shift
密度比推定はDNNではうまく働かない。この論文では、識別器の内部表現をもとに線形予測器で密度比を予測した。ただそれだけでは性能が低下するので、予測した密度比で学習し、その損失をbackwardすることで識別器を密度比予測に使われている線形識別器ごと訓練している。 他方、先ほどの手法にも限界はあり、もう1つは損失の比を予測するという提案。こちらの方がやりやすいし良い結果につながる。
2024-05-10
2015-ICML-[uPU] Convex Formulation for Learning from Positive and Unlabeled Data
PU学習で2014-RampはR_Xの書き換えをするとき、余事象を使うことで損失項の和が定数にできるというテクを使った。ここでは、余事象を使って書き換えずに普通に代入したとき、損失関数の差が線形関数(-zにしている)になるとしても、いい性質があると提案した。後は外れ値検出のDiscussionがあるが難しくてわからなかった。