Sen(Qian)’s Memo
2020-NIPS-[DIW]Rethinking Importance Weighting for Deep Learning under Distribution shift
密度比推定はDNNではうまく働かない。この論文では、識別器の内部表現をもとに線形予測器で密度比を予測した。ただそれだけでは性能が低下するので、予測した密度比で学習し、その損失をbackwardすることで識別器を密度比予測に使われている線形識別器ごと訓練している。 他方、先ほどの手法にも限界はあり、もう1つは損失の比を予測するという提案。こちらの方がやりやすいし良い結果につながる。
2021-Survey-A Comprehensive Survey on Transfer Learning (Part3) Feature Transformation Strategy
Introduction, Related Work, Overview, Instance Weighting Strategy
2021-Survey-A Comprehensive Survey on Transfer Learning (Part1) Instance Weighting Strategy
Introduction, Related Work, Overview, Instance Weighting Strategy
2023-AAAI-[GradPU]Positive-Unlabeled Learning via Gradient Penalty and Positive Upweighting
理論的に面白いのは、ワッサースタイン距離で誤差上界を評価できること。普通のPositiveと経験的Positive in Unlabeledの評価ができている。 その理論的な結果から、損失関数と識別器の合成写像のリプシッツ定数が小さいほうが望ましい。また、真のPositiveの分布と、Positive in UnlabeledにDomain Shiftが生じて、矛盾するようなDomain Shiftが得られた(間違ったラベルとか)とすると、識別器はなめらかではなくなりGradientが大きくなる。 P in Uの学習とPの学習は上界から評価する限りだと、トレードオフの関係にありそう。 提案手法として、Gradient PenaltyとAdaboostのような重みづけで学習促進がある。Class Priorは使わず、その代わりに学習はAdaBoostの機構による重みづけで行っている。
2019-NIPS workshop-[aaPU] Revisiting Sample Selection Approach to Positive-Unlabeled Learning- Turning Unlabeled Data into Positive rather than Negative
まずはnnPUで訓練し、ある程度信頼できるモデルにする。Noisy LabelのSmall Loss Trickを使い、そのあとから、Unlabeledの中のlossが大きいものを選んで、Positive扱いにする。しかし、Uから選んだPositive扱いのものは、nnPUでmaxを取った項の中での計算はさせない(強い過学習傾向がnnPUでさえ見られてしまう).
2019-ECML PKDD-[PWE]Beyond the Selected Completely At Random Assumption for Learning from Positive and Unlabeled Data
BiasつきのPUについて、数理的に考察をし手法も提案した論文。propensity scoreという量を導入し、それを損失関数の重みに寄与させることでbiasを考慮できるとした。それをRiskの式に導入したのちに、推定の手法として2つの変数があるので(propensity scoreと本体の推定器)、EMアルゴリズムで交互に最適化をしていた。
2017-NIPS-[nnPU] Positive-Unlabeled Learning with Non-Negative Risk Estimator
PUの訓練の式で経験損失がというか一定値以下にならないようにclipするといい感じ。実用的には、一定値以下となった時、損失関数全体が負となった原因の項(本文参照)を取り出し、そのgradientでgradient ascentすることで過学習を防いでいる。