Sen(Qian)’s Memo

Knowledge Distillationでは、教師モデルの出力分布にはバイアスがあるかもしれないので、学生モデルが完全に学んでしまうのはある意味よくない。 そこで、KL Divergenceをマクローリン展開して、摂動を加えるということを考える。このフレームワークによる表現力は非常に高い。 摂動自体はbrute forceで選ぶらしいが、指針となるものは数学で導いた誤差上界とする。 具体的には、手を加えたKL Divergenceを計算して、それに該当するKL Divergenceを得るような代理教師の分布がなんなのかを計算して、それで誤差上界の計算を実現する。