ニューラルネットワークとサポートベクターマシン

公開日： 2016年5月15日日曜日 データ解析

ニューラルネットワークにおいて中間層が一層で活性化関数に動径基底関数 (radial basis function, RBF) を用いて、サポートベクターマシンのカーネル関数にガウシアンカーネルを使うときの話です。

上の２つのネットワーク構造は同じになります。

サポートベクターマシンを用いて、新しいデータを予測するときに、式を丁寧に書き起こしてみると分かります。

サポートベクターマシンでも、

1. すべてのトレーニングデータと新しいデータとの間でカーネルを計算し、
2. それに重みをつけて目的変数の推定値とします。

1. がニューラルネットワークにおける活性化関数を計算するまでに対応し、2. が活性化関数の出力に重みをつけて目的変数の値にするところに対応します。

サポートベクターマシンでは、重みが0になりスパースなモデルになるのが特徴です。