Sen(Qian)’s Memo

Knowledge Distillationでは、教師モデルの出力分布にはバイアスがあるかもしれないので、学生モデルが完全に学んでしまうのはある意味よくない。 そこで、KL Divergenceをマクローリン展開して、摂動を加えるということを考える。このフレームワークによる表現力は非常に高い。 摂動自体はbrute forceで選ぶらしいが、指針となるものは数学で導いた誤差上界とする。 具体的には、手を加えたKL Divergenceを計算して、それに該当するKL Divergenceを得るような代理教師の分布がなんなのかを計算して、それで誤差上界の計算を実現する。

1. PU Learningをまずする 2. Pseudo Labelをつけてみる。その中でおかしいものを是正したい。 3. 是正の手段の1つとして、Bregman Divergenceを尺度として経験分布の密度比と予測したいものの密度比を最小化する。この時の式は文献[44]にあるものを使う。 4. 推定した密度比をもちいて、Pseudo Labelの損失を補正しそれに普通のPUの損失を加えて再度本番の学習させる。