Sen(Qian)’s Memo

中国の有名な機械学習の本の勉強ノート。自分がわからなかったところだけなので飛び飛びだろう。特に線形学習は大体わかってるし。

https://nndl.github.io/

やらないとやはりヤバい。存亡の際に立っている認識で臨む。

線形識別器は、$\mathbf{w}^T \mathbf{x}+b$。これが妥当な重みが存在して完全に分類できるときは、線形分類可能という。

カテゴリがみな$K$個あるとする。特徴量は$P$次元。

• 1 vs other。$K$個の識別器を作って判断する。
• 1 vs 1。$K(K-1)/2$個の識別器を作って、すべてのありうるカテゴリのペアで作る。
• argmax。識別結果としてスカラーを出すのではなく、$K$次元のベクトルを出して、各成分ごとにそのカテゴリに所属していることに対しての評価値(正ほど良い)。これを実現するために$\mathbf{w}$は$P \times 1$のベクトルではなく、$P \times K$の行列とすればいい。実質的には$K$個の識別器を同時に訓練している。
  • これが一番いいです。
  • argmaxで分類できる場合、多クラス線形分類可能であるという。

線形識別器をロジスティック関数に入れたもので、事後確率を近似する試み。

式変形するとこうなる。logの中身は、Oddsという。log OddはLogitという。

なので、Logistic回帰は、Logit回帰とも言われたりする。

Logistic回帰の学習については、クロスエントロピー誤差によって勾配降下法で行う。式変形をすると以下のように導関数は明示的に得ることができる。二次導関数も明示的に求まるので、ニュートン法でもいい。

多クラスのLogistic回帰ともいえる。

$C=2$の時$\argmax _{y \in 0, 1} \mathbf{w}_y ^ T \mathbf{x}=\mathbf{1}[(\mathbf{w_1 - w_0}) ^ T \mathbf{x} > 0]$とみなせるので(バイアス項はベクトルの中に折りたためる)、Logistic回帰とも兼ねている。

これの学習も同様にクロスエントロピー誤差によって行う。明示的にできるので、以下のようにLogistic回帰と似た形になる。$W$は各$\mathbf{w_i}^T$という行ベクトルを各列に並べたもの。

最も簡単なニューラルネットワークのニューロン。ここでは同様にバイアスは重みの中に折りたたんでいることに注意。

間違った分類がなされた時、誤差逆伝搬するとgradientは明らかに$\mathbf{x}$なので、以下のような更新式でできる。

データが有限で、線形で可分なのであればパーセプトロンは必ず有限回の更新を経て収束することが保証されている。

ただ欠点としては、可分でなければ収束は永遠にしないし、過学習するし、更新する順序によって最終的に得る分類超平面も異なってくる。

各種を防ぐために過去のパラメタを保存して、それぞれに重みを設定し、最終的な識別結果は重み付きの各識別器による投票で判定することで、ロアスト性を高めることができる。しかし、パラメタ保存するのがめんどくさい。=Voted Perceptron

毎回保存するのがめんどくさいときは、最近のものを重視する指数平均、単純に平均を取る無印の平均などで対処できる。

全てのラベルの集合を$Y$とする。この時、多クラス分類の式は、外積演算子$\mathrm{vec}(\mathbf{a} \mathbf{b} ^ T)$を用いると以下のようになる。$\mathbf{y}$はone-hotである前提。

外積を取る事によって、$K$カテゴリで$P$次元の特徴量であることから、$P \times K$次元のベクトルとなる。具体的には以下のように、指定の部分の$P$行だけ値が入ってそれ以外が0になっている。

マージンとは、各点から識別器の超平面までの最短距離だと定義する。

より大きいマージンだとより良い分類ができるのでそれが望ましい。

$\gamma ||\mathbf{w}||=1$と制限しても表現力は変わらないので、以下の最適化問題となる。

s.t.の部分で=1となるようなすべてのサンプルの位置ベクトルは、サポートベクトルという。

凸最適化問題に書き換えると以下の通り。

あとは、ラグランジュの未定乗数法などで解けばよい。サボります。

あとはカーネル法を使えばSVMの表現力を上げることができる。

また、分離不可能な場合では、最適化問題をペナルティの係数$C$を導入して以下のようにあらわす。