Sen(Qian)’s Memo
2021-ICML-[EGNN]E(n) Equivariant Graph Neural Networks
Equivariant Graph Neural Network(EGNN)。 同変性について、GNNは順序同変性を持つが、回転と平行移動同変性も導入したい。この時、GNNに座標埋め込みという新たなものを導入することで実現した。
2024-CVPR-MLP Can Be A Good Transformer Learner
VisionTransformerはAttentionメカニズムを利用してるが、最初の数個のAttention Blockは情報理論的にみると、情報量が少ない。ならば、「最初に数個とかではなく、消してよさげなAttention Blockを見つけておけば、推論時にそのBlockを消すことで、モデルの軽量化できるよね？」というのを考え付いた。
2023-ICML-A Universal Unbiased Method for Classification from Aggregate Observations
様々なAggregate Observationの手法に対して、不偏のRisk Functionを提案した。これの訓練をするためには、ある比率を求める必要がある。 その比率はEMアルゴリズムで別の目標値を訓練するうちに副次的に求まる。 あとは様々なAggregate Observationに対してフレームワークを統合させて、答えを出した。
2024-ICLR-Improving Convergence and Generalization Using Parameter Symmetries
違うパラメタでも同じような損失関数の値をとることがDNNではある。これについて、より勾配が急なところにテレポートして勾配降下すればいいので、
2024-AIII-[NPN]Adaptive Integration of Partial Label Learning and Negative Learning for Enhanced Noisy Label Learning
Noisy Labelで学習させるとき、識別器の予測のtop-kの予測を「ありうるかもしれないラベル」と考えれば、(与えられたラベルにこれらを加えたものが)Partial Label Learningとして学ばせることができる。 そして、このラベルの補ラベルを考えると、Negative Label Learningもすることができる。 各エポックごとにPartial Labelを更新し、それの補集合のラベルの補ラベルも作れて、それらを組み合わせたObjectiveとして学習させている。 正則化手法では、強いと弱いデータ拡張を用いている
2024-CoRL-DRIVEVLM: The Convergence of Autonomous Driving and Large Vision-Language Models
VLMでの自動運転はVLMに1. 画像から物体を認識, 2. 物体の種類や動きを分析させる, 3. これをもとに自分の動くべき軌道を考える の3ステップ。 しかしすべてVLMに任せると計算コストが高く高頻度で更新できない。なので、計算コストが低い既存の手法を組み合わせる。画像認識については画像から3D物体認識させて、それをCVで今の視覚に投影させるとどうなるかを判定させ、それで信頼できるような物体検出をする。軌跡については、既存手法でVLMの出力軌跡を参考にして高頻度で軌跡を更新させる。
2023-TPAMI-[PULDA]Positive-Unlabeled Learning With Label Distribution Alignment
DIstPU余と同様に、Negative Assumptionに対抗するために識別器によるUデータの識別結果のうちclass priorの割合だけPであるようにするMAEをつけた。 DistPUではMixupもして、本体とmixupの両方にEntropy項をつけた。この手法では、識別データが識別境界から一定以上のマージンを持つような項をつけている。そのマージン項についてuPU, nnPUのようなリスク書き換えを行って新たなObjective Functionを作った。