Sen(Qian)’s Memo

機械学習するとき、訓練ロスが一定値を下回ったらgradient ascendさせるという、Flooding(一定の深さの水が浮かんでいて、それより下に行くと浮力が働く感じ)の手法は、汎化性能、平坦な最小値探索の向上に有効である。実装も簡単なのでみんなやろう。

PUの訓練の式で経験損失がというか一定値以下にならないようにclipするといい感じ。実用的には、一定値以下となった時、損失関数全体が負となった原因の項(本文参照)を取り出し、そのgradientでgradient ascentすることで過学習を防いでいる。