2017-NIPS-Toward Robustness Against Label Noise in Training Deep Discriminative Neural Networks

https://arxiv.org/abs/1706.00038

Introduction

既存のアルゴリズムでは、以下のグラフィルカルモデルのようにNoisy LabelからGround-truthを得るモデルを使っている。

この論文では、Conditionla Random Fieldという以下の無向のグラフィカルモデルを用いた手法を開発した。 $h$ は隠れたバイナリ変数。

無向グラフィカルモデルの定式化については、📄NNDL 第11章独立した複数のモデルの訓練による効用を見るとわかる。

Robust Discriminative Neural Network

小さいCleanなデータセットと大きなNoisyなラベルから訓練して、よいDNNを作る。サンプルは $\mathbf{x}$ であり、ラベルはone-hotの $\mathbf{y} = (0, 1, 0, \cdots)^T$ となる。ラベルの中で、Cleanなもので確定したのは $\hat{\mathbf{y}}$ である。

提案したグラフィカルモデルでは、 $\mathbf{y, \hat{y}}$ のいずれも $\mathbf{x}$ に依存している。Noisyなラベル存在するときに、この相関から真のラベルを推測していく。Noisy Labelの分布は $p(\mathbf{y} | \hat{\mathbf{y}}, \mathbf{x})$ で表す。ここに、 $h \in H$ で表す二値変数を導入する。

CRFモデルは、パラメタ化されたエネルギー関数 $E_\theta$ を用いて、ポテンシャルスコアを定義する。

E_\theta(\mathbf{y, \hat{y}, h, x})

そして、ボルツマン分布を定義する。

p_\theta(\mathbf{y, \hat{y}, h | x}) = \frac{1}{Z_\theta(\mathbf{x})} \exp(-E_\theta(\mathbf{y, \hat{y}, h, x})) \\ Z_\theta(\mathbf{x}) = \sum_{\mathbf{y} \in Y_N} \sum_{\mathbf{\hat{y}} \in Y_C} \sum_{\mathbf{h} \in H} \exp(-E_\theta(\mathbf{y, \hat{y}, h, x}))