Sen(Qian)’s Memo

LLMへのプロンプトで、すでにLLMが知っているもの=自己情報量が低いものは削除したほうがToken節約できませんか？やってみました。 自己情報量の計算は、単語の生成の条件付確率が必要だが、これはOpen Modelであれば単語を入れたら出力確率が得られるので実現できる。

Noisy Labelで学習させるとき、識別器の予測のtop-kの予測を「ありうるかもしれないラベル」と考えれば、(与えられたラベルにこれらを加えたものが)Partial Label Learningとして学ばせることができる。 そして、このラベルの補ラベルを考えると、Negative Label Learningもすることができる。 各エポックごとにPartial Labelを更新し、それの補集合のラベルの補ラベルも作れて、それらを組み合わせたObjectiveとして学習させている。 正則化手法では、強いと弱いデータ拡張を用いている

2Dや3Dのピースを集めて元の画像や3Dオブジェクトに復元する(ジグソーパズルみたいな)ことをかんがえる。 整っている状況から、Diffusion Modelを用いて、座標や向き、そしてピースの特徴をGNNで計算しつつ、毎ステップ乱雑にしていく。そしてそれを復元するように学習する。 顕著に良い復元結果が得られた。

VLMでの自動運転はVLMに1. 画像から物体を認識, 2. 物体の種類や動きを分析させる, 3. これをもとに自分の動くべき軌道を考える　の3ステップ。 しかしすべてVLMに任せると計算コストが高く高頻度で更新できない。なので、計算コストが低い既存の手法を組み合わせる。画像認識については画像から3D物体認識させて、それをCVで今の視覚に投影させるとどうなるかを判定させ、それで信頼できるような物体検出をする。軌跡については、既存手法でVLMの出力軌跡を参考にして高頻度で軌跡を更新させる。

DNNがNoisy Dataを学習するとき、毎エポックの予測が変わったサンプルの数(の移動平均)を指標にすると、最初はまず下がっていき(正しく学習する)、次に上がり(ここからNoisy Labelにもフィットし始めてしまう)、最後に下がる(Noisy Labelの学習を成功しつつある)というトレンドが見える。 なので、最初の下がっていく谷で、early stoppingするぞ。

DIstPU余と同様に、Negative Assumptionに対抗するために識別器によるUデータの識別結果のうちclass priorの割合だけPであるようにするMAEをつけた。 DistPUではMixupもして、本体とmixupの両方にEntropy項をつけた。この手法では、識別データが識別境界から一定以上のマージンを持つような項をつけている。そのマージン項についてuPU, nnPUのようなリスク書き換えを行って新たなObjective Functionを作った。

決定木は2つの子グループに分けるとき、Entropyやジニ係数が一番下がる特徴量&それの閾値で分けていた。Entropyやジニ係数について、実は損失関数として組み込んだObjectiveの式にまとめ直すことができる。 ということで、先行研究のuPUやnnPUの式をObjectiveとして使って、決定木の決断に使う。 そのうえでRandom Forestの時は、通常各木で使う特徴量やデータもランダムに選んだ部分集合にするが、今はさらにその閾値すらランダムに決定する、Extra Treesという手法を使う。

グラフィカルモデルによって、ground truthのyiは隠れ変数であり、ラベルがついているかsiとインスタンスxiは明示されている変数である。 モデルとして、多層パーセプトロンかロジスティック回帰を使っている。これで、グラフィカルモデルに従って必要なp(yi|xi)やp(si|xi, yi)を定義する。 学習自体はEMアルゴリズムで行っている(変分推論ではない)

Class Priorの推定は、BBEという手法を用いる。Uの中の閾値を超える割合/Pの中の閾値を超える割合の値が最小になるとき、その値がClass Priorだという。 学習については、Warm-up(普通に雑にPN Learning)しつつ、Uのl(f(x),-1)についての損失が少ない1-π割にNegativeというPseudo Labelを付与して、重みπを考慮したPN Learningで学習していく。これはSelf-supervised Learningベースのもの。 Class Priorの推定とSelf-supervised Learningを交互にやっていく感じ。