二次形式の微分｜ベクトル解析を確認する #2

f:id:lib-arts:20210213195311p:plain

ベクトル解析(vector calculus)の基本的なトピックを確認するシリーズです。
#1では簡単に概要の把握について確認しました。

#2では二次形式(quadratic form)の微分について取り扱います。（二次形式の微分をベクトル解析で取り扱うのが良いのかについては明示的な記載がすぐに見つかりませんでしたが、二次形式の微分については把握しておく方が様々なところで役に立つのでこちらで取り扱うこととしました。）

以下が目次となります。
1. 二次形式(quadratic form)とは
2. 二次形式の微分
3. まとめ

1. 二次形式(quadratic form)とは
1節では二次形式(quadratic form)について簡単に確認します。下記の記載を主に参考にします。

線型代数学/二次形式 - Wikibooks

上記によると、「二次形式とはすべての項の次数が2である多項式のこと」であり、一般に下記の数式で表されるとされています。

$\displaystyle \sum_{i,j=1}^{n} a_{ij}x_ix_j = \sum_{i=1}^{n}\sum_{j=1}^{n} a_{ij}x_ix_j$

少々上記の式だけだとわかりにくいため、 $n=2$ とした上で具体的に考えてみようと思います。まず、 $n=2$ の状況では、 $i$ と $j$ は $1$ と $2$ の値を取るため、 $x_1$ 、 $x_2$ 、 $a_{11}$ 、 $a_{21}$ 、 $a_{12}$ 、 $a_{22}$ がここで存在することになります。

ここで $\displaystyle A=\left(\begin{array}{rr} a_{11}　a_{12} \\ a_{21}　a_{22} \\ \end{array} \right)$ 、 $\displaystyle x=\left(\begin{array}{c} x_{1} \\ x_{2} \\ \end{array} \right)$ とすると下記が成立します。

$\displaystyle \sum_{i,j=1}^{2} a_{ij}x_ix_j = \sum_{i=1}^{2}\sum_{j=1}^{2} a_{ij}x_ix_j$
　　 $\displaystyle = a_{11}x_1x_1 + a_{12}x_1x_2 + a_{21}x_2x_1 + a_{22}x_2x_2$
　　 $\displaystyle = a_{11}x_1^2 + a_{12}x_1x_2 + a_{21}x_2x_1 + a_{22}x_2^2$
　　 $\displaystyle = \left(\begin{array}{r} a_{11}x_1+a_{21}x_2　a_{12}x_1+a_{22}x_2 \\ \end{array} \right)\left(\begin{array}{c} x_{1} \\ x_{2} \\ \end{array} \right)$
　　 $\displaystyle = \left(\begin{array}{r} x_1　x_2 \\ \end{array} \right)\left(\begin{array}{rr} a_{11}　a_{12} \\ a_{21}　a_{22} \\ \end{array} \right)\left(\begin{array}{c} x_{1} \\ x_{2} \\ \end{array} \right)$
　　 $\displaystyle = x^{T}Ax$

上記のように二次形式を $\displaystyle x^{T}Ax$ の式で導出することができます。ここで注意が必要なのが式が与えられた際に $x_1x_2=x_2x_1$ が成立するため、 $a_{12}+a_{21}$ は和が一定であれば良いということです。そのため、 $x_1x_2=x_2x_1$ が成立する状況では二次形式の対角成分はそれぞれ和が一定であれば一意とはならないことは把握しておく方が良いかと思います。これは $n$ が3以上でも同様です。
逆に値を一意に設定したい場合は行列の対称性を設定すれば $a_{ij}+a_{ji}=Const$ と $a_{ij}=a_{ji}$ より、 $\displaystyle a_{ij} = a_{ji} = \frac{Const}{2}$ が成立します。この辺は分散・共分散行列のように二次形式を考える際の行列は対称な行列を取り扱うことが多いので、一意に定まることが多いと把握しておくのが良さそうです。

二次形式の概要について取り扱えたので1節はここまでとします。

2. 二次形式の微分
2節では対称行列 $A$ の二次形式 $\displaystyle = x^{T}Ax$ の微分について取り扱います。

$\displaystyle f(x_1, x_2) = \sum_{i,j=1}^{2} a_{ij}x_ix_j = \sum_{i=1}^{2}\sum_{j=1}^{2} a_{ij}x_ix_j$
　　 $\displaystyle = a_{11}x_1^2 + a_{12}x_1x_2 + a_{21}x_2x_1 + a_{22}x_2^2$

上記に対し、 $\displaystyle \nabla=\left(\begin{array}{c} \frac{\delta}{\delta x_{1}} \\ \frac{\delta}{\delta x_{2}} \\ \end{array} \right)$ とした際に、二次形式の微分(勾配)を $grad f(x_1,x_2) = \nabla f(x_1, x_2)$ のように定義します。この際に $\nabla f(x_1, x_2)$ は下記のようになります。

$\displaystyle \nabla f(x_1, x_2) = \left(\begin{array}{c} \frac{\delta f(x_1, x_2)}{\delta x_{1}} \\ \frac{\delta f(x_1, x_2)}{\delta x_{2}} \\ \end{array} \right)$
　　 $\displaystyle = \left(\begin{array}{c} 2a_{11}x_1+(a_{12}+a_{21})x_2 \\ (a_{12}+a_{21})x_1+2a_{22}x_2 \\ \end{array} \right)$
　　 $\displaystyle = \left(\begin{array}{rr} 2a_{11}　a_{12}+a_{21} \\ a_{21}+a_{12}　2a_{22} \\ \end{array} \right) \left(\begin{array}{c} x_1 \\ x_2 \\ \end{array} \right)$

上記において、 $a_{12}=a_{21}$ より、下記が成立します。

$\displaystyle = \left(\begin{array}{rr} 2a_{11}　a_{12}+a_{21} \\ a_{21}+a_{12}　2a_{22} \\ \end{array} \right) \left(\begin{array}{c} x_1 \\ x_2 \\ \end{array} \right)$
　　 $\displaystyle = \left(\begin{array}{rr} 2a_{11}　2a_{12} \\ 2a_{21}　2a_{22} \\ \end{array} \right) \left(\begin{array}{c} x_1 \\ x_2 \\ \end{array} \right)$
　　 $\displaystyle = 2\left(\begin{array}{rr} a_{11}　a_{12} \\ a_{21}　a_{22} \\ \end{array} \right) \left(\begin{array}{c} x_1 \\ x_2 \\ \end{array} \right)$
　　 $\displaystyle = 2Ax$