Sen(Qian)’s Memo

Introduction, Related Work, Overview, Instance Weighting Strategy

大学院講義　統計的機械学習のノート Neural Networkの性能解析。

Introduction, Related Work, Overview, Instance Weighting Strategy

Data Augmentationして損失に導入する。ここで、強い拡張と弱い拡張の両方を考えてみる。 1. ラベルありデータの損失 2. ラベルなしデータに弱い拡張を施し予測されたラベルをhard labelにする。そのhard labelと同じラベルありデータに強い拡張を施したものの損失を計算する。 弱い拡張は左右反転とか平行移動。強い拡張はモザイクとか

大学院講義　分布の検査

大学院講義　乱択アルゴリズムのノート　データの次元削減

大学院講義　分布の検査

大学院講義　統計的機械学習のノート Boostingの理論解析。Gradient Boosting。

理論的に面白いのは、ワッサースタイン距離で誤差上界を評価できること。普通のPositiveと経験的Positive in Unlabeledの評価ができている。 その理論的な結果から、損失関数と識別器の合成写像のリプシッツ定数が小さいほうが望ましい。また、真のPositiveの分布と、Positive in UnlabeledにDomain Shiftが生じて、矛盾するようなDomain Shiftが得られた(間違ったラベルとか)とすると、識別器はなめらかではなくなりGradientが大きくなる。 P in Uの学習とPの学習は上界から評価する限りだと、トレードオフの関係にありそう。 提案手法として、Gradient PenaltyとAdaboostのような重みづけで学習促進がある。Class Priorは使わず、その代わりに学習はAdaBoostの機構による重みづけで行っている。

大学院講義　統計的機械学習のノート SVMの計算理論的な解析