Sen(Qian)’s Memo

一定の仮定下では、損失についてResNetは線形識別器より必ず良いが、全結合ネットワークはよくても高々線形識別器と同じ程度という証明ができた。 何層にもわたるResNetのRademacher複雑度も証明した。

大学院講義　統計的機械学習のノート

組成データ、Compositional Dataについての簡単な紹介あり。 普通のデータはLabel Smoothingで組成データに変換できる。ilr変換をするが、その時に使うのはHelmert行列。 分類だが、わざわざガウスモデルとかを使って、再帰問題に落とし込む。 再帰問題でガウスモデルを使うことをReweightingと言ってるが既存のReweightingとは違う。そのうえで、そのままでは性能不足なので、与えられたnoisyなラベルではなくパラメタの指数移動平均で作ったモデルの出力と、今のモデルの出力のMSEで誤差として計算する。