Sen(Qian)’s Memo
2022-CVPR-[Dist-PU] Positive-Unlabeled Learning from a Label Distribution Perspective
ラベルの予測確率について、Pでは平均が1、Uでは平均がclass priorにしたい。 1. 自明な解としてUのすべての確率がclass priorになること。これを防ぐためUの分布にEntropy Minimizationも入れる。 2. それだけでは過学習するので、mix-upを導入する。mix-upしたデータに対してもEntropy Minimizationも行う。
2021-TKDE-[LIISP]Learning From Incomplete and Inaccurate Supervision
1. PU Learningをまずする 2. Pseudo Labelをつけてみる。その中でおかしいものを是正したい。 3. 是正の手段の1つとして、Bregman Divergenceを尺度として経験分布の密度比と予測したいものの密度比を最小化する。この時の式は文献[44]にあるものを使う。 4. 推定した密度比をもちいて、Pseudo Labelの損失を補正しそれに普通のPUの損失を加えて再度本番の学習させる。
2016-NIPS-Estimating The Class Prior And Posterior from Noisy Positives And Unlabeled Data
問題設定は、Noiseはクラスやインスタンスに依存せずに発生するという強い仮定 Univariateという、データを低次元に落としたうえでいろいろ考える手法を使う。
2018-NIPS-[GCE]Generalized Cross Entropy Loss for Training Deep Neural Networks with Noisy Labels
1. BoxCox1変換を導入したGCEという損失関数を考えた。 2. 各サンプルを使うor使わないを離散ではなく連続変数に条件を緩めて、DNN本体のパラメタ更新と片方を固定して相方を最適化をするACSの手法を考案。
2020-ICML-[APL]Normalized Loss Functions for Deep Learning with Noisy Labels
損失関数は、「対象のクラスである確率を上げる」ためのActive Lossと、「それのみならず対象以外のクラスである確率を下げる」Passive Lossがある。これらについて、一定の係数つきで組み合わせたほうがNoiseにも強くいい結果を生む。 複雑なデータセットでは、Passive Lossの比重を下げたほうがいい。
2017-AAAIAI-Robust Loss Functions under Label Noise for Deep Neural Networks.
なぜ対称な損失はNoisyなラベルに強いのか。
2019-IJCAI-[PULD]Positive and Unlabeled Learning with Label Disambiguation
Noisy Labelの手法で、以下のような、ラベル書き換えを盛り込む 1. 周辺のラベルと違いすぎないようなラベルとする。 2. 毎イテレーションではラベルがあまり書き換わらないようにする。 3. SVMでこれらの条件をもとにマージンを最大化 解くときは線形計画問題として交互に最適化していく。離散値をとるものでも計算の便利のために連続最適化とする。
2024-CVPR-Driving Everywhere with Large Language Model Policy Adaptation
LLMから得た運転指針にPrompt Tuningをして、地域ごとに追加で守るべき交通ルールをPromptに追加して再度LLMに運転指針を提供したらうまく行く。