Sen(Qian)’s Memo

このQiitaの記事やこのブログを参考に書いた。

ELBOという重要な概念についてはここを参考 📄ELBOとEM Algorithmについて

ELBOとは、以下のようなもの。

基本的には尤度は非常に大きい、小さい値を扱うことを考えて、計算精度の問題上、対数で扱う。

データ $X$ の背後にあるパラメタ $θ$ を学習したい。しかし、隠れパラメタがある都合上上手くこのままでは難しい。

ここで、隠れパラメタ $Z$だとする。以下のように周辺確率に分解でき、対数を取る事ができる。

実際には、隠れ変数$Z$は明示的に設計者が決めなければならない。なぜならば、以降のEステップもMステップも明確に$Z$についての条件付確率、条件付期待値を求めるためである。

しかし、 $log ∫$は扱いづらい！(以下の参考資料では $log Σ$となっている)。ここで、いい感じの関数 $q(Z)$を導入することで、以下のように式変形できる。なお、 $q$が何であるかは明示的に決める必要はない。以下のEステップで自明に決まるからである。

このように、 $q(Z)$についての期待値に変形できる。

そして、 $log$ が上に凸の関数であるので、イェンゼンの不等式を用いると以下のように変形できる。汎関数 $ℒ$という変分下限を得ることができる。

ELBOは、以下のように定義されている。

上の得られた変分下限は、以下のようになる。

ここでは、本来のELBOと違うのは、$q(z|x) \to q(\mathbf{Z})$である。

• ELBOでは、変分推論で使われている$q(z|x)$は、本来わからない$p(z|x)$の代替となるような分布を人が選んでそのパラメタをいじって学習させている。
• EM Algorithmでは、$q(\mathbf{Z})$はただの関数であり、特に$p(\mathbf{Z})$や$p(\mathbf{Z|X}, \theta)$を近似するために選んだわけではない。

ELBOと似た形である以上、以下のように差分はKLダイバージェンス$KL[q(Z)|p(Z|X, θ)]$になる。下図参照。

KLダイバージェンスは非負なので、 $log p(X|θ)$ではなく、 $ℒ(q, θ)$の最大化を代わりに行うことで結果的に $p(X|θ)$の最大化をしよう！(下限を大きくするので必ず最善というわけではないが)というのがEM Algorithm。

というわけで、目標は以下のELBOを最大化すること。

これを、$q, \theta$を交互に動かすことで最大化をしていく。

• EステップはExpectation。$p(\mathbf{X,Z}|\theta)$のパラメタたる$θ$を固定して、 $q$を動かして最大化をする。
• MステップはMaximaization。$q$を固定して、 $θ$を動かして最大化をする。

E->M->E->M…と行い、収束したら終了。

この式において、 $θ$を固定しているので、左辺は定数となる。この時、 $q$を動かして $ℒ(q, θ)$を最大化するということは、 $KL[q(Z)|p(Z|X, θ)]$の最小化と同じ意味である。

KLダイバージェンスが0ということは、解は $q(Z) = p(Z|X, θ)$である。

なので、明示的に$q$について定める必要はなく、既知の$p(Z|X)$が$q(Z)$であればいい。

$q(Z) = p(Z|X, \theta_{old})$を代入して解く。ここで、$\theta_{old}$は今までの $θ$であり、パラメタ $θ$の最適化を行う際には定数として固定するものである。このように一方を固定してもう一方を最適化するのはよくある手法。

このように、前半だけ $θ$で最小化できればよい。つまり、以下の対数尤度の条件付期待値がθにおいて最適化できるということであれば、EMアルゴリズムを用いて最終的に最適解へ収束できる。

例えば、指数分布族やガウス分布なら解析的に解ける。

ガウス分布の例を時間会ったらここに乗せる。

積分を近似的に解いてから、勾配を計算し、勾配上昇法やニュートン法でやるしかない。