Sen(Qian)’s Memo

違うパラメタでも同じような損失関数の値をとることがDNNではある。これについて、より勾配が急なところにテレポートして勾配降下すればいいので、

LLMへのプロンプトで、すでにLLMが知っているもの=自己情報量が低いものは削除したほうがToken節約できませんか？やってみました。 自己情報量の計算は、単語の生成の条件付確率が必要だが、これはOpen Modelであれば単語を入れたら出力確率が得られるので実現できる。

Noisy Labelで学習させるとき、識別器の予測のtop-kの予測を「ありうるかもしれないラベル」と考えれば、(与えられたラベルにこれらを加えたものが)Partial Label Learningとして学ばせることができる。 そして、このラベルの補ラベルを考えると、Negative Label Learningもすることができる。 各エポックごとにPartial Labelを更新し、それの補集合のラベルの補ラベルも作れて、それらを組み合わせたObjectiveとして学習させている。 正則化手法では、強いと弱いデータ拡張を用いている

2Dや3Dのピースを集めて元の画像や3Dオブジェクトに復元する(ジグソーパズルみたいな)ことをかんがえる。 整っている状況から、Diffusion Modelを用いて、座標や向き、そしてピースの特徴をGNNで計算しつつ、毎ステップ乱雑にしていく。そしてそれを復元するように学習する。 顕著に良い復元結果が得られた。

VLMでの自動運転はVLMに1. 画像から物体を認識, 2. 物体の種類や動きを分析させる, 3. これをもとに自分の動くべき軌道を考える　の3ステップ。 しかしすべてVLMに任せると計算コストが高く高頻度で更新できない。なので、計算コストが低い既存の手法を組み合わせる。画像認識については画像から3D物体認識させて、それをCVで今の視覚に投影させるとどうなるかを判定させ、それで信頼できるような物体検出をする。軌跡については、既存手法でVLMの出力軌跡を参考にして高頻度で軌跡を更新させる。

DNNがNoisy Dataを学習するとき、毎エポックの予測が変わったサンプルの数(の移動平均)を指標にすると、最初はまず下がっていき(正しく学習する)、次に上がり(ここからNoisy Labelにもフィットし始めてしまう)、最後に下がる(Noisy Labelの学習を成功しつつある)というトレンドが見える。 なので、最初の下がっていく谷で、early stoppingするぞ。

DIstPU余と同様に、Negative Assumptionに対抗するために識別器によるUデータの識別結果のうちclass priorの割合だけPであるようにするMAEをつけた。 DistPUではMixupもして、本体とmixupの両方にEntropy項をつけた。この手法では、識別データが識別境界から一定以上のマージンを持つような項をつけている。そのマージン項についてuPU, nnPUのようなリスク書き換えを行って新たなObjective Functionを作った。