Sen(Qian)’s Memo

典型的なCurriculum Learningを導入したPU。

一定の仮定下では、損失についてResNetは線形識別器より必ず良いが、全結合ネットワークはよくても高々線形識別器と同じ程度という証明ができた。 何層にもわたるResNetのRademacher複雑度も証明した。

大学院講義　統計的機械学習のノート Neural Networkの性能解析。

大学院講義　統計的機械学習のノート Neural Networkの性能解析。

大学院講義　統計的機械学習のノート

abs-puを開発。これはnnPUの式のmaxを絶対値に。 全体的な流れは、N in U in train, N in testが同分布という仮定。 まずはtrain同士でPU learningして、そこからp(y=-1|x)から比率で変換して、うまくUからN in Uを抽出する。 そして、test domainにあるデータとNUかPNU Learningする。

Introduction, Related Work, Overview, Instance Weighting Strategy

密度比推定はDNNではうまく働かない。この論文では、識別器の内部表現をもとに線形予測器で密度比を予測した。ただそれだけでは性能が低下するので、予測した密度比で学習し、その損失をbackwardすることで識別器を密度比予測に使われている線形識別器ごと訓練している。 他方、先ほどの手法にも限界はあり、もう1つは損失の比を予測するという提案。こちらの方がやりやすいし良い結果につながる。