マハラノビス距離(Mahalanobis distance)と多次元正規分布｜改めて理解する多次元正規分布 #1

正規分布は様々なモデリングで前提として使用する、基本かつ非常に便利な分布ですが、1次元だと比較的シンプルに取り扱うことができますが、多次元正規分布となると様々なトピックが出てきて少し難しそうな印象を受けます。
とはいえ、多次元正規分布関連の導出は非常に重要なものが多く、多くの理論展開のベースとなりやすいです。そこで、多次元正規分布を改めて理解できるように、新規でシリーズを作成しました。

Pattern Recognition and Machine Learning | Christopher Bishop | Springer

参考としては、上記のSection2-3の"The Gaussian Distribution"を中心に確認していきます。

参照テキストは2次元に限らない形式で記述されている項目もありますが、多次元に関連する一般的な式で議論するとややこしいので、当シリーズでは基本的に2次元ベースで考えていきたいと思います。
#1では参照テキストのSection2-3の冒頭部を参考に、マハラノビス距離の図的な意味合いを掴みたいと思います。

以下、#1の目次になります。
1. 正規分布の数式とマハラノビス距離
2. 座標変換による分布の回転
3. まとめ

1. 正規分布の数式とマハラノビス距離
1節では正規分布の数式の確認と、数式中に出てくるマハラノビス距離(Mahalanobis distance)について取り扱います。

参照テキストにおいて正規分布の数式は上記のように表されており、(2.42)式が1次元、(2.43)式が多次元(参照テキストではD次元となっている)の式を表しています。少し式の形は違うものの、基本的には同じ数式の形になっていることは抑えておくと良いと思います。また、(2.42)式は変数がスカラーである一方で、(2.43)式はベクトルを変数として取り扱います。が、左辺の値自体はどちらも確率密度関数の値でスカラー関数となっていることは間違えないように気をつけると良いです。

さて、(2.43)式の解釈にあたって、expの中身を取り出したのが上記の(2.44)式で表されたマハラノビス距離(Mahalanobis distance)です。またこの際に分散共分散行列のΣが単位行列(identity matrix)の場合は、マハラノビス距離はユークリッド距離(Euclidean distance)と一致します。また、(2.44)式のマハラノビス距離の式は、ベクトルxに関する二次形式(quadratic form; xに関して二次の形)であることも、抑えておきたいところです。

この(2.44)式で表したマハラノビス距離は、(2.43)式における指数関数(exp)の中身となっていることを強調した上で、1節はここまでとしたいと思います。

2. 座標変換による分布の回転
2節では1節で確認したマハラノビス距離の数式を考えることで、座標変換によって分布を回転させると考えることができることについて確認していきます。

上記は冒頭の図と同じですが、こちらを導出するのが2節の主な流れです。要はxをベースとする数値をyをベースとする数値に変換する(回転させる)ことで、共分散が0でない際の計算を行うようなイメージです。

論理展開の流れとしては、1節で取り扱ったxについての(2.44)式を上記の(2.50)式のようなyを元にした式に変換するという流れです。以下、固有値ベクトルなどの考え方を用いた(2.44)式から(2.50)式への導出を確認していきます。

まず上記では、(2.45)式で分散共分散行列のΣの固有値、固有ベクトル(eigenvectors)のuを考えています。ここで、固有ベクトルは向きが議論上重要で、スカラーについてはある程度恣意的に決めて良いことから、正規直交系（orthonormal system; 難しければ固有ベクトルの大きさが1であるとざっくり抑えておいてください）を仮定しているのが(2.46)式と(2.47)式です。

次に上記では、固有ベクトルのuについて論理展開を行なっています。(2.51)式のようにyを定義することで、(2.44)式のマハラノビス距離を(2.50)式のように変換することができます。これを元に、(2.52)式のように行列Uによってxに関する座標を回転させ、yに変換すると考えることができます。

3. まとめ
#1ではマハラノビス距離の中身に着目して、座標変換による正規分布の回転について見てきました。この辺の議論は主成分分析にもつながってくるので、必見です。
#2では多次元正規分布における条件付き確率分布を取り扱いたいと思います。