Sen(Qian)’s Memo

Knowledge Distillationでは、教師モデルの出力分布にはバイアスがあるかもしれないので、学生モデルが完全に学んでしまうのはある意味よくない。 そこで、KL Divergenceをマクローリン展開して、摂動を加えるということを考える。このフレームワークによる表現力は非常に高い。 摂動自体はbrute forceで選ぶらしいが、指針となるものは数学で導いた誤差上界とする。 具体的には、手を加えたKL Divergenceを計算して、それに該当するKL Divergenceを得るような代理教師の分布がなんなのかを計算して、それで誤差上界の計算を実現する。

1. BoxCox1変換を導入したGCEという損失関数を考えた。 2. 各サンプルを使うor使わないを離散ではなく連続変数に条件を緩めて、DNN本体のパラメタ更新と片方を固定して相方を最適化をするACSの手法を考案。

損失関数は、「対象のクラスである確率を上げる」ためのActive Lossと、「それのみならず対象以外のクラスである確率を下げる」Passive Lossがある。これらについて、一定の係数つきで組み合わせたほうがNoiseにも強くいい結果を生む。 複雑なデータセットでは、Passive Lossの比重を下げたほうがいい。