2021-06-17

二次形式の微分とデザイン行列｜ベクトル解析を確認する #3

Math

f:id:lib-arts:20210616180614p:plain

ベクトル解析(vector calculus)の基本的なトピックを確認するシリーズです。
#1では簡単に概要の把握について、#2では二次形式の微分について取り扱いました。

#3では二次形式(quadratic form)の微分の応用例の確認にあたって、回帰分析を考える際に出てくるデザイン行列(design matrix)の二次形式の微分について取り扱います。

以下が目次となります。
1. デザイン行列(design matrix)とは
2. デザイン行列の二次形式の微分
3. まとめ

1. デザイン行列(design matrix)とは
1節ではデザイン行列(design matrix)に関して取り扱います。

f:id:lib-arts:20210616180718p:plain

Design matrix - Wikipedia

デザイン行列は上記のように回帰分析のような処理を行う際に用いる行列です。「(予測値)=(それぞれのサンプルにおける変数)×(係数、パラメータ)」のような形式で基本的に表されます。上記のWikipediaの例では「(予測値)=(それぞれのサンプルにおける変数)×(係数、パラメータ)+(誤差項)」を取り扱っていると考えて良いかと思います。これを行列表記すると、 $y = X\beta + \epsilon$ のように表すことができます。
また、このとき抑えておくと良いのが、変数の値を表す行列の $X$ の1列目を $1$ にすることで $\beta_0$ を定数項と見なせることです。

このように表すことで、重回帰分析の際などに現れる複雑な式を一つの行列演算でほぼ表すことができるので非常に有用です。ここまででデザイン行列の概要について確認できたので2節ではデザイン行列の二次形式の微分について取り扱います。

2. デザイン行列の二次形式の微分
2節ではデザイン行列の二次形式の微分について取り扱います。この関連で出てくる話で抑えておきたいのが、重回帰分析のパラメータを求める際の正規方程式(normal equation)です。
いきなりデザイン行列を用いた表記から確認すると大変なので、先に $\displaystyle \hat{y}_i = \beta_1 x_i + \beta_0$ を元に流れの確認を行います。

$\displaystyle \hat{y}_i = \beta_1 x_i + \beta_0$
$\displaystyle E(a,b) = \sum_{i=1}^{n} (y_i-\hat{y}_i)^2$
　　 $\displaystyle = \sum_{i=1}^{n} (y_i-(ax_i+b))^2$

上記で定義した $E(a,b)$ を $a$ や $b$ で偏微分し、 $0$ に一致する $a$ や $b$ を求めるというのが基本的な流れです。

以下、重回帰分析のパラメータを求める話をデザイン行列を用いて表記することを考えます。

f:id:lib-arts:20210616180614p:plain

上記を $\hat{y}=X\beta$ と表し、 $\hat{y}$ に対応する実測値を $y$ 、最小二乗和誤差関数を $E(\beta)$ とすると $E(\beta)$ は下記のように表すことができます。

$E(\beta) = (y-\hat{y})^{T}(y-\hat{y})$
　　 $= (y-X\beta)^{T}(y-X\beta)$
　　 $= y^{T}y-y^{T}X\beta + (X\beta)^{T}y-(X\beta)^{T}X\beta$
　　 $= y^{T}y-y^{T}X\beta + \beta^{T}X^{T}y-\beta^{T}X^{T}X\beta$

ここで $\Sigma$ が出てこないのは行列の積で和を表すことができるからです。これを $\beta$ に関して微分( $E(\beta)$ のgradientを計算するのに一致)すると、下記のように計算できます。

$\nabla E(\beta) = -2X^{T}y + 2X^{T}X\beta = 0$
$2X^{T}X\beta = 2X^{T}y$
$X^{T}X\beta = X^{T}y$
$\beta = (X^{T}X)^{-1}X^{T}y$

このようにデザイン行列を用いることで、回帰分析にあたってのパラメータを二次形式の微分を考えることで求めることが可能です。

3. まとめ
#3ではデザイン行列における二次形式の微分について取り扱いました。
#4以降でも関連のテーマについて取り扱います。

2021-06-16

加法定理の図形的理解｜三角関数の公式を完全に理解する #5

Math

f:id:lib-arts:20210615171144p:plain

三角関数の公式は数が多く大変なので、まとめて抑えるにあたってなるべくシンプルな導出について取り扱っていくシリーズです。
#1では加法定理とその導出について、#2では倍角の公式・半角の公式について、#3では和積の変換公式について、#4では三倍角の公式について取り扱いました。

#2〜#4の公式はどれも「加法定理」を元にしているため、#5では加法定理についてより理解ができるように「加法定理の図形的理解」について取り扱います。

以下当記事の目次になります。
1. 加法定理の図形的理解について
2. まとめ

1. 加法定理の図形的理解について
1節では「加法定理の図形的理解」について取り扱います。まず $\cos(a+b) = \cos{a}\cos{b} - \sin{a}\sin{b}$ の導出について確認します。

f:id:lib-arts:20210615171144p:plain

上図を用いて $\cos(a+b) = \cos{a}\cos{b} - \sin{a}\sin{b}$ を示すことができます。また、以下では $\displaystyle \sin{a} = \cos{\left( a+\frac{\pi}{2} \right)}$ 、 $\displaystyle \cos{a} = \sin{\left( a-\frac{\pi}{2} \right)}$ を利用して $\sin(a+b) = \sin{a}\cos{b} + \sin{b}\cos{a}$ を導出します。

$\displaystyle \sin{(a+b)} = \cos{\left( a + \left(b + \frac{\pi}{2} \right) \right)}$
　　 $\displaystyle = \cos{a}\cos{\left(b + \frac{\pi}{2} \right)} - \sin{a}\sin{\left(b + \frac{\pi}{2} \right)}$
　　 $\displaystyle = \cos{a}\sin{\left(b + \frac{\pi}{2} -\frac{\pi}{2} \right)} - \sin{a}\cos{\left(b + \frac{\pi}{2} + \frac{\pi}{2} \right)}$
　　 $\displaystyle = \cos{a}\sin{b} - \sin{a}\cos{\left(b + \pi \right)}$
　　 $\displaystyle = \cos{a}\sin{b} - \sin{a}(-\cos{b})$
　　 $\displaystyle = \cos{a}\sin{b} + \sin{a}\cos{b}$
　　 $\displaystyle = \sin{a}\cos{b} + \sin{b}\cos{a}$

上記より、 $\sin(a+b) = \sin{a}\cos{b} + \sin{b}\cos{a}$ を導出することができました。また、 $\displaystyle \cos{(a + \pi)} = -\cos{a}$ も用いました。
・ $\displaystyle \sin{a} = \cos{\left( a+\frac{\pi}{2} \right)}$
・ $\displaystyle \cos{a} = \sin{\left( a-\frac{\pi}{2} \right)}$
・ $\displaystyle \cos{(a + \pi)} = -\cos{a}$
ここで用いた上記は単位円や三角関数を考えれば直感的に導出できると考えて良いと思われるので、ここまでの話により加法定理の $\sin(a+b) = \sin{a}\cos{b} + \sin{b}\cos{a}$ と $\cos(a+b) = \cos{a}\cos{b} - \sin{a}\sin{b}$ をそれぞれ直感的に示すことができたと思います。

2. まとめ
#5では「加法定理の図形的理解」について取り扱いました。
#6では下記の図を元に、 $\sin$ 、 $\cos$ 、 $\tan$ 以外の三角関数について取り扱います。

f:id:lib-arts:20210615171312p:plain

三角関数 - Wikipedia より

2021-06-15

三倍角の公式とその導出｜三角関数の公式を完全に理解する #4

Math

f:id:lib-arts:20210213195311p:plain

三角関数の公式は数が多く大変なので、まとめて抑えるにあたってなるべくシンプルな導出について取り扱っていくシリーズです。
#1では加法定理とその導出について、#2では倍角の公式・半角の公式について、#3では和積の変換公式を取り扱いました。

#4では三倍角の公式とその導出について取り扱います。
主に下記を参考に進めます。

大学受験数学三角関数/公式集 - Wikibooks

以下当記事の目次になります。
1. $\sin{3a} = -4\sin^3{b}+3\sin{a}$ の導出
2. $\cos{3a} = 4\cos^3{b}-3\cos{a}$ の導出
3. まとめ

1. $\sin{3a} = -4\sin^3{b}+3\sin{a}$ の導出

1節では $\sin{3a} = -4\sin^3{b}+3\sin{a}$ の導出について取り扱います。導出にあたってはオーソドックスな進め方をするのであれば加法定理を適用した後に倍角の公式を用いれば示すことができます。

$\sin{3a} = \sin{a}\cos{2a} + \cos{a}\sin{2a}$
　　 $= \sin{a}(1-2\sin^2{a}) + \cos{a}(2\sin{a}\cos{a})$
　　 $= \sin{a} - 2\sin^3{a} + 2\sin{a}\cos^2{a}$
　　 $= \sin{a} - 2\sin^3{a} + 2\sin{a}(1-\sin^2{a})$
　　 $= \sin{a} - 2\sin^3{a} + 2\sin{a}-2\sin^3{a}$
　　 $= -4\sin^3{a} + 3\sin{a}$

・ $\sin{(a+b)} = \sin{a}\cos{b} + \cos{a}\sin{b}$
・ $\sin{2a} = 2\sin{a}\cos{a}$
・ $\cos{2a} = 1 - 2\sin^2{a}$
・ $\cos^2{a}+\sin^2{a}=1$
などが用いられており少々複雑ですが、計算の練習にもなるのでそう考えると良いのかもしれません。

$\sin{3a} = -4\sin^3{b}+3\sin{a}$ の導出ができたので1節はここまでとします。

2. $\cos{3a} = 4\cos^3{b}-3\cos{a}$ の導出

2節では $\cos{3a} = -4\sin^3{b}+3\sin{a}$ の導出について取り扱います。こちらも加法定理を適用した後に倍角の公式を用いれば示すことができます。

$\cos{3a} = \cos{a}\cos{2a} - \sin{a}\sin{2a}$
　　 $= \cos{a}(2\cos^2{a}-1) - \sin{a}(2\sin{a}\cos{a})$
　　 $= 2\cos^3{a} - \cos{a} - 2\cos{a}\sin^2{a}$
　　 $= 2\cos^3{a} - \cos{a} - 2\cos{a}(1-\cos^2{a})$
　　 $= 4\cos^3{a} - 3\cos{a}$

・ $\sin{(a+b)} = \sin{a}\cos{b} + \cos{a}\sin{b}$
・ $\sin{2a} = 2\sin{a}\cos{a}$
・ $\cos{2a} = 2\cos^2{a} - 1$
・ $\cos^2{a}+\sin^2{a}=1$
こちらの導出では上記が用いられています。 $\cos{a}$ の式で表すにあたって、 $\cos{2a} = 2\cos^2{a} - 1$ や $\sin^2{a}=1-\cos^2{a}$ などが意図的に用いられていることは着目しておくと良いと思います。

$\cos{3a} = 4\cos^3{b}-3\cos{a}$ の導出について取り扱えたので2節はここまでとします。

3. まとめ
#4では「三倍角の公式」に関して取り扱いました。
#5では「加法定理の図形的理解」について取り扱います。

2021-06-14

和積の変換公式とその導出｜三角関数の公式を完全に理解する #3

Math

f:id:lib-arts:20210213195311p:plain

三角関数の公式は数が多く大変なので、まとめて抑えるにあたってなるべくシンプルな導出について取り扱っていくシリーズです。
#1では加法定理とその導出について、#2では倍角の公式・半角の公式について取り扱いました。

#3では和積の変換公式とその導出について取り扱います。
主に下記を参考に進めます。

大学受験数学三角関数/公式集 - Wikibooks

以下当記事の目次になります。
1. $\sin{a} \pm \sin{b}$ の変換について
2. $\cos{a} \pm \cos{b}$ の変換について
3. まとめ

1. $\sin{a} \pm \sin{b}$ の変換について
1節では $\sin{a} \pm \sin{b}$ の変換について取り扱います。まず、変換公式は下記のように表すことができます。

$\displaystyle \sin{a} + \sin{b} = 2\sin{\frac{a+b}{2}}\cos{\frac{a-b}{2}}$
$\displaystyle \sin{a} - \sin{b} = 2\cos{\frac{a+b}{2}}\sin{\frac{a-b}{2}}$

以下上記の導出を行います。

・ $\displaystyle \sin{a} + \sin{b} = 2\sin{\frac{a+b}{2}}\cos{\frac{a-b}{2}}$ の導出について
$a+b=x$ 、 $a-b=y$ とおくと、 $\displaystyle a=\frac{x+y}{2}$ 、 $\displaystyle b=\frac{x-y}{2}$ と表すことができる。
このとき加法定理により下記のように計算できる。
$\displaystyle \sin{a} + \sin{b} = \sin{\frac{x+y}{2}} + \sin{\frac{x-y}{2}}$
　　 $\displaystyle = \left( \sin{\frac{x}{2}}\cos{\frac{y}{2}}+\cos{\frac{x}{2}}\sin{\frac{y}{2}} \right) + \left( \sin{\frac{x}{2}}\cos{\frac{y}{2}}-\cos{\frac{x}{2}}\sin{\frac{y}{2}} \right)$
　　 $\displaystyle = 2\sin{\frac{x}{2}}\cos{\frac{y}{2}}$
　　 $\displaystyle = 2\sin{\frac{a+b}{2}}\cos{\frac{a-b}{2}}$

・ $\displaystyle \sin{a} - \sin{b} = 2\cos{\frac{a+b}{2}}\sin{\frac{a-b}{2}}$ の導出について
$a+b=x$ 、 $a-b=y$ とおくと、 $\displaystyle a=\frac{x+y}{2}$ 、 $\displaystyle b=\frac{x-y}{2}$ と表すことができる。
このとき加法定理により下記のように計算できる。
$\displaystyle \sin{a} - \sin{b} = \sin{\frac{x+y}{2}} - \sin{\frac{x-y}{2}}$
　　 $\displaystyle = \left( \sin{\frac{x}{2}}\cos{\frac{y}{2}}+\cos{\frac{x}{2}}\sin{\frac{y}{2}} \right) - \left( \sin{\frac{x}{2}}\cos{\frac{y}{2}}-\cos{\frac{x}{2}}\sin{\frac{y}{2}} \right)$
　　 $\displaystyle = 2\cos{\frac{x}{2}}\sin{\frac{y}{2}}$
　　 $\displaystyle = 2\cos{\frac{a+b}{2}}\sin{\frac{a-b}{2}}$

$\sin{a} \pm \sin{b}$ の変換について取り扱えたので1節はここまでとします。

2. $\cos{a} \pm \cos{b}$ の変換について

2節では $\cos{a} \pm \cos{b}$ の変換について取り扱います。変換公式は下記のように表すことができます。
```
$\displaystyle \cos{a} + \cos{b} = 2\cos{\frac{a+b}{2}}\cos{\frac{a-b}{2}}$
$\displaystyle \cos{a} - \cos{b} = -2\sin{\frac{a+b}{2}}\sin{\frac{a-b}{2}}$
```
以下上記の導出を行います。

・ $\displaystyle \cos{a} + \cos{b} = 2\cos{\frac{a+b}{2}}\cos{\frac{a-b}{2}}$ の導出について
$a+b=x$ 、 $a-b=y$ とおくと、 $\displaystyle a=\frac{x+y}{2}$ 、 $\displaystyle b=\frac{x-y}{2}$ と表すことができる。
このとき加法定理により下記のように計算できる。
$\displaystyle \cos{a} + \cos{b} = \cos{\frac{x+y}{2}} + \cos{\frac{x-y}{2}}$
　　 $\displaystyle = \left( \cos{\frac{x}{2}}\cos{\frac{y}{2}}-\sin{\frac{x}{2}}\sin{\frac{y}{2}} \right) + \left( \cos{\frac{x}{2}}\cos{\frac{y}{2}}+\sin{\frac{x}{2}}\sin{\frac{y}{2}} \right)$
　　 $\displaystyle = 2\cos{\frac{x}{2}}\cos{\frac{y}{2}}$
　　 $\displaystyle = 2\cos{\frac{a+b}{2}}\cos{\frac{a-b}{2}}$

・ $\displaystyle \cos{a} - \cos{b} = -2\sin{\frac{a+b}{2}}\sin{\frac{a-b}{2}}$ の導出について
$a+b=x$ 、 $a-b=y$ とおくと、 $\displaystyle a=\frac{x+y}{2}$ 、 $\displaystyle b=\frac{x-y}{2}$ と表すことができる。
このとき加法定理により下記のように計算できる。
$\displaystyle \cos{a} - \cos{b} = \cos{\frac{x+y}{2}} - \cos{\frac{x-y}{2}}$
　　 $\displaystyle = \left( \cos{\frac{x}{2}}\cos{\frac{y}{2}}-\sin{\frac{x}{2}}\sin{\frac{y}{2}} \right) - \left( \cos{\frac{x}{2}}\cos{\frac{y}{2}}+\sin{\frac{x}{2}}\sin{\frac{y}{2}} \right)$
　　 $\displaystyle = -2\sin{\frac{x}{2}}\sin{\frac{y}{2}}$
　　 $\displaystyle = -2\sin{\frac{a+b}{2}}\sin{\frac{a-b}{2}}$

$\cos{a} \pm \cos{b}$ の変換について取り扱えたので2節はここまでとします。

3. まとめ
#3では「和積の変換公式」に関して取り扱いました。
#4では「三倍角の公式」について取り扱います。

2021-06-13

倍角の公式・半角の公式の式とその導出｜三角関数の公式を完全に理解する #2

Math

f:id:lib-arts:20210213195311p:plain

三角関数の公式は数が多く大変なので、まとめて抑えるにあたってなるべくシンプルな導出について取り扱っていくシリーズです。
#1では加法定理とその導出について取り扱いました。

#2では「倍角の公式」・「半角の公式」の式とその導出について取り扱います。基本的には#1で取り扱った加法定理の式から導出が行えるので、#1と比較しながら抑えるのが良いのではと思います。
主に下記を参考に進めます。

大学受験数学三角関数/公式集 - Wikibooks

以下当記事の目次になります。
1. 倍角の公式の導出
2. 半角の公式の導出
3. まとめ

1. 倍角の公式の導出
1節では「倍角の公式」の導出について取り扱います。まず、倍角の公式は下記のように表すことができます。

$\sin{2a} = 2\sin{a}\cos{a}$
$\cos{2a} = 1-2\sin^2{a}$
$\displaystyle \tan{2a} = \frac{2\tan{a}}{1-\tan^2{a}}$

以下、加法定理などを元に上記の導出について確認を行います。

・ $\sin{2a} = 2\sin{a}\cos{a}$ の導出

$\sin{2a} = \sin{(a+a)}$
　　 $= \sin{a}\cos{a}+\sin{a}\cos{a}$
　　 $= 2\sin{a}\cos{a}$

・ $\cos{2a} = 1-\sin^2{a}$ の導出

$\cos{2a} = \cos{(a+a)}$
　　 $= \cos{a}\cos{a}-\sin{a}\sin{a}$
　　 $= \cos^2{a}-\sin^2{a}$
　　 $= (\cos^2{a}+\sin^2{a})-2\sin^2{a}$
　　 $= 1-2\sin^2{a}$

・ $\displaystyle \tan{2a} = \frac{2\tan{a}}{1-\tan^2{a}}$ の導出

$\displaystyle \tan{2a} = \frac{\sin{2a}}{\cos{2a}}$
　　 $\displaystyle = \frac{2\sin{a}\cos{a}}{1-2\sin^2{a}}$
　　 $\displaystyle = \frac{2\sin{a}\cos{a}/\cos^2{a}}{(1-2\sin^2{a})/\cos^2{a}}$
　　 $\displaystyle = \frac{2\sin{a}/\cos{a}}{(\cos^2{a}-\sin^2{a})/\cos^2{a}}$
　　 $\displaystyle = \frac{2\sin{a}/\cos{a}}{1-\sin^2{a}/\cos^2{a}}$
　　 $\displaystyle = \frac{2\tan{a}}{1-\tan^2{a}}$

上記のように倍角の公式は加法定理などを用いて示すことができます。

2. 半角の公式の導出

2節で「半角の公式」の導出について取り扱います。まず、半角の公式は下記のように表すことができます。

$\displaystyle \sin^2{\frac{a}{2}} = \frac{1}{2}(1-\cos{a})$
$\displaystyle \cos^2{\frac{a}{2}} = \frac{1}{2}(1+\cos{a})$
$\displaystyle \tan^2{\frac{a}{2}} = \frac{1-\cos{a}}{1+\cos{a}}$

以下、倍角の公式を元に上記の導出について確認を行います。

・ $\displaystyle \sin^2{\frac{a}{2}} = \frac{1}{2}(1-\cos{a})$ の導出

$\displaystyle \cos{a} = \cos{\left( \frac{a}{2}+\frac{a}{2} \right)}$
　　 $\displaystyle = 1-2\sin^2{\frac{a}{2}}$
上記を $\displaystyle \sin^2{\frac{a}{2}}$ に関して整理すると、 $\displaystyle \sin^2{\frac{a}{2}} = \frac{1}{2}(1-\cos{a})$ となる。

・ $\displaystyle \cos^2{\frac{a}{2}} = \frac{1}{2}(1+\cos{a})$ の導出

$\displaystyle \cos{a} = \cos{\left( \frac{a}{2}+\frac{a}{2} \right)}$
　　 $\displaystyle = 1-2\sin^2{\frac{a}{2}}$
　　 $\displaystyle = 2\cos^2{\frac{a}{2}}-1$
上記を $\displaystyle \cos^2{\frac{a}{2}}$ に関して整理すると、 $\displaystyle \cos^2{\frac{a}{2}} = \frac{1}{2}(1+\cos{a})$ となる。

・ $\displaystyle \tan^2{\frac{a}{2}} = \frac{1-\cos{a}}{1+\cos{a}}$ の導出

$\displaystyle \tan{\frac{a}{2}} = \frac{\sin^2{\frac{a}{2}}}{\cos^2{\frac{a}{2}}}$
　　 $\displaystyle = \frac{\frac{1}{2}(1-\cos{a})}{\frac{1}{2}(1+\cos{a})}$
　　 $\displaystyle = \frac{1-\cos{a}}{1+\cos{a}}$

上記のように半角の公式は倍角の公式などを用いて示すことができます。

3. まとめ
#2では「倍角の公式」と「半角の公式」に関して取り扱いました。
#3では「和積の変換公式」について取り扱います。

2021-06-12

固有値・固有ベクトル②（行列のn乗を理解する）｜行列〜線形代数の基本を確認する #4

Math

f:id:lib-arts:20210213195311p:plain

当シリーズでは高校〜大学教養レベルの行列〜線形代数のトピックを簡単に取り扱います。#1では外積の定義とその活用について、#2では逆行列の計算について、#3では固有値・固有ベクトルの計算についてそれぞれ簡単に取り扱いました。

#4では行列の $n乗$ について取り扱います。下記などを参考にします。

線型代数学/行列の対角化 - Wikibooks

以下、目次になります。
1. 行列の $n$ 乗の計算の流れ
2. 固有値・固有ベクトルを用いた行列の $n$ 乗の計算の理解
3. まとめ

1. 行列の $n$ 乗の計算の流れ
1節では行列の $n$ 乗の計算の流れについて確認を行います。議論の簡易化のために#3と同様に $\displaystyle A=\left(\begin{array}{rr} 2　1 \\ 1　2 \\ \end{array} \right)$ の $n$ 乗の計算について取り扱うこととします。このとき、固有値 $\lambda$ とそれに対応する固有ベクトル $\vec{x}$ は#3より下記のようになります。

・ $\lambda=3$ のとき、 $\displaystyle \vec{x} = t\left(\begin{array}{c} 1 \\ 1 \\ \end{array} \right)$ （ $t$ は任意の実数）
・ $\lambda=1$ のとき、 $\displaystyle \vec{x} = t\left(\begin{array}{c} 1 \\ -1 \\ \end{array} \right)$ （ $t$ は任意の実数）

上記のように固有値とそれに対応する固有ベクトルが計算できます。ここでは議論の簡略化のため、固有ベクトル $t=1$ とおいて以下確認を行います（ $t$ をそのままにした上で議論も可能ですが、複雑なだけであまりリターンはないのでここではなるべくシンプルな議論を行うものとします）。
このとき、固有値・固有ベクトルの大元の式より、下記が成立します。

・ $\displaystyle \left(\begin{array}{rr} 2　1 \\ 1　2 \\ \end{array} \right)\left(\begin{array}{c} 1 \\ 1 \\ \end{array} \right) = 3\left(\begin{array}{c} 1 \\ 1 \\ \end{array} \right)$ ①
・ $\displaystyle \left(\begin{array}{rr} 2　1 \\ 1　2 \\ \end{array} \right)\left(\begin{array}{c} 1 \\ -1 \\ \end{array} \right) = \left(\begin{array}{c} 1 \\ -1 \\ \end{array} \right)$ ②

上記までは#3の議論と同様ですが、行列の $n$ 乗を考えるにあたっては上記において固有値ベクトルを並べた $\displaystyle X = \left(\begin{array}{rr} 1　　1 \\ 1　-1 \\ \end{array} \right)$ を定義することでその後の計算を行います。このように $X$ を定義すると、①と②の関係式を元に下記のように書き直せます。

$\displaystyle \left(\begin{array}{rr} 2　1 \\ 1　2 \\ \end{array} \right)\left(\begin{array}{rr} 1　　1 \\ 1　-1 \\ \end{array} \right) = \left(\begin{array}{rr} 3　　1 \\ 3　-1 \\ \end{array} \right)$
$\displaystyle = \left(\begin{array}{rr} 1　　1 \\ 1　-1 \\ \end{array} \right)\left(\begin{array}{rr} 3　0 \\ 0　1 \\ \end{array} \right)$

上記の式において、 $\displaystyle \Lambda = \left(\begin{array}{rr} 3　0 \\ 0　1 \\ \end{array} \right)$ とおくと、 $AX=X\Lambda$ が成立します。ここで $det(X) = 1\times(-1)-1\times1=-2\neq0$ より、 $X$ は正則行列(逆行列 $X^{-1}$ が存在する行列)であり、 $A=X\Lambda X^{-1}$ が成立します。ここで $A^n$ を考えると、 $A^n=(X\Lambda X^{-1})^n$ も成立し、ここで $XX^{-1}=E$ のように単位行列となることから、 $A^n=X\Lambda^nX^{-1}$ が成立します。
ここで $\displaystyle \Lambda^n = \left(\begin{array}{rr} 3^n　0 \\ 0　1^n \\ \end{array} \right) = \left(\begin{array}{rr} 3^n　0 \\ 0　　1 \\ \end{array} \right)$ 、 $\displaystyle X^{-1} = -\frac{1}{2} \left(\begin{array}{rr} -1　-1 \\ -1　　1 \\ \end{array} \right)$ より、 $A^n$ は下記のようになります。

$\displaystyle A^n = X\Lambda^nX^{-1}$
　　 $\displaystyle = -\frac{1}{2}\left(\begin{array}{rr} 1　　1 \\ 1　-1 \\ \end{array} \right)\left(\begin{array}{rr} 3^n　0 \\ 0　　1 \\ \end{array} \right)\left(\begin{array}{rr} -1　-1 \\ -1　　1 \\ \end{array} \right)$
　　 $\displaystyle = \frac{1}{2} \left(\begin{array}{rr} 3^n+1　3^n-1 \\ 3^n-1　3^n+1 \\ \end{array} \right)$

このように行列 $A^n$ の $n$ 乗を求めることができます。

2. 固有値・固有ベクトルを用いた行列の $n$ 乗の計算の理解
1節では固有値・固有ベクトルを用いたオーソドックスな行列の $n$ 乗の計算について取り扱いましたが、2節ではこの話をより直感的に理解ができるように確認を行います。もちろん固有値・固有ベクトルを用いて行列の $n$ 乗を求めるプロセスは非常に有用なのですが、いまいち直感的なイメージがわかない導出でもあると思います。
この話を理解するにあたっては固有ベクトルを元にした行列は「元々の行列に対応して操作しやすいように基底（平面や空間を構成するベクトルくらいで理解しておけば十分だと思います。）の変換を行う」と理解すると良いです。だいたいの話においては $\displaystyle \vec{e}_1=\left(\begin{array}{c} 1 \\ 0 \\ \end{array} \right)$ 、 $\displaystyle \vec{e}_2=\left(\begin{array}{c} 0 \\ 1 \\ \end{array} \right)$ が基底となりますが、1節で取り扱った固有ベクトルを $\vec{u}_1$ 、 $\vec{u}_2$ とし、こちらを基底に用いて計算を行うことを考えます。
このとき上記で設定した基底を元にベクトル $\vec{a}$ を2通りの表し方で表すことを考えます。

$\vec{a} = x_1\vec{e}_1 + y_1\vec{e}_2$
　 $= x_2\vec{u}_1 + y_2\vec{u}_2$ ③

上記では $(x_1,y_1)$ は $\vec{e}_1$ 、 $\vec{e}_2$ に基づく座標、 $(x_2,y_2)$ は $\vec{u}_1$ 、 $\vec{u}_2$ に基づく座標のイメージをそれぞれ持つと良いと思います。また、1節の計算結果より、 $\vec{e}_1$ 、 $\vec{e}_2$ と $\vec{u}_1$ 、 $\vec{u}_2$ に下記のような関係が成り立ちます。

$\displaystyle \vec{u}_1 = \left(\begin{array}{c} 1 \\ 1 \\ \end{array} \right) = \vec{e}_1+\vec{e}_2$
$\displaystyle \vec{u}_2 = \left(\begin{array}{c} 1 \\ -1 \\ \end{array} \right) = \vec{e}_1-\vec{e}_2$

これを③に代入します。

$\vec{a} = x_2\vec{u}_1 + y_2\vec{u}_2$
　 $= x_2(\vec{e}_1+\vec{e}_2) + y_2(\vec{e}_1-\vec{e}_2)$
　 $= (x_2+y_2)\vec{e}_1 + (x_2-y_2)\vec{e}_2$

上記は $\vec{a} = x_1\vec{e}_1 + y_2\vec{e}_2$ でもあるので、 $x_1=x_2+y_2$ 、 $y_1=x_2-y_2$ が成立します。この関係は下記のように表すことができます。

$\displaystyle \left(\begin{array}{c} x_1 \\ y_1 \\ \end{array} \right) = \left(\begin{array}{c} x_2+y_2 \\ x_2-y_2 \\ \end{array} \right)$
　　　 $\displaystyle = \left(\begin{array}{rr} 1　　1 \\ 1　-1 \\ \end{array} \right)\left(\begin{array}{c} x_2 \\ y_2 \\ \end{array} \right)$

このことにより、 $\displaystyle \left(\begin{array}{c} x_2 \\ y_2 \\ \end{array} \right)$ に1節で定義した $X$ を左からかけることにより $(x_2,y_2)$ から $(x_1,y_1)$ を求めることができることがわかります。反対に $X^{-1}$ を左からかけることで $(x_1,y_1)$ から $(x_2,y_2)$ を計算することも可能です。これらの処理を図式化すると下記のようになります。

f:id:lib-arts:20210612163756p:plain

このように $\vec{e}_1$ 、 $\vec{e}_2$ に基づく座標系を固有ベクトルの $\vec{u}_1$ 、 $\vec{u}_2$ に基づく座標系に変換することについて確認してきたわけですが、固有ベクトルに基づいた座標系を用いることで元の行列による操作を単に固有値倍するだけで変換を求めることが可能になります。これによって $A^n$ を作用させる際などに役に立ち、 $X^{-1}$ を元に固有ベクトルに基づいた $\vec{u}_1$ 、 $\vec{u}_2$ を基底に変更し、固有値倍を繰り返し、計算後に $X$ をかけて $\vec{e}_1$ 、 $\vec{e}_2$ に基づいた基底に戻すということも可能になります。

このように固有ベクトルは基底を変換し、計算の簡易化を実現することができますが、これを分散共分散行列に用いるのが主成分分析です。難しく考え過ぎずに単に、固有ベクトルを元に空間を考えると行列演算が簡単になるくらいで抑えておけば十分だと思います。

3. まとめ
#4では行列の $n$ 乗の計算とそれに関連して固有ベクトルを用いた処理のイメージについて確認しました。
#5では分散共分散行列の固有値・固有ベクトルについて考えます。

2021-06-11

加法定理とその導出｜三角関数の公式を完全に理解する #1

Math

f:id:lib-arts:20210213195311p:plain

様々な利用シーンで役に立つ三角関数ですが、意味を抑えること自体はそれほど難しくない反面、加法定理、二倍角の定理などのような公式が多くなかなか大変です。ということで「三角関数の公式を完全に理解する（少々タイトルは盛りました）」をテーマに新規のシリーズを始めます。
#1では加法定理とその導出について取り扱います。主に下記を参考に進めます。

高等学校数学II/いろいろな関数 - Wikibooks

以下当記事の目次になります。
1. $\sin(a+b) = \sin{a}\cos{b} + \sin{b}\cos{a}$ の導出
2. $\sin(a+b) = \cos{a}\cos{b} - \sin{a}\sin{b}$ の導出
3. まとめ

1. $\sin(a+b) = \sin{a}\cos{b} + \sin{b}\cos{a}$ の導出
1節では $\sin(a+b) = \sin{a}\cos{b} + \sin{b}\cos{a}$ の導出について取り扱います。
https://ja.wikibooks.org/wiki/高等学校数学II/いろいろな関数#加法定理の導出
基本的には上記の導出を確認します。
まず、単位円を考えた際に角 $a$ の表す点 $A$ を $(\cos{a},\sin{a})$ 、角 $a+b$ の表す点 $M$ を $(\cos{(a+b)},\sin{(a+b)})$ とした際にベクトル $\displaystyle \overrightarrow{AM}$ は下記のようになります。

$\displaystyle \overrightarrow{AM} = \left(\begin{array}{c} \cos{(a+b)} \\ \sin{(a+b)} \\ \end{array} \right) - \left(\begin{array}{c} \cos{a} \\ \sin{a} \\ \end{array} \right)$ ①

f:id:lib-arts:20210609161346p:plain

また、角 $a$ の表す点 $A$ を $(\cos{a},\sin{a})$ 、角 $0$ の表す点 $X$ を $(\cos{a},\sin{a})$ としたとき、 $\displaystyle \overrightarrow{AM}$ は $\displaystyle \overrightarrow{XB}$ ベクトルを角 $a$ だけ時計回りに回転させたベクトルに等しくなります。少し話が複雑ですが、以下の図と見比べると理解しやすいと思います。

f:id:lib-arts:20210609154805p:plain

上記のようにそれぞれ点をおいた際に、ベクトル $\displaystyle \overrightarrow{XB}$ は下記のように表すことができます。

$\displaystyle \overrightarrow{XB} = \left(\begin{array}{c} \cos{b} \\ \sin{b} \\ \end{array} \right) - \left(\begin{array}{c} 1 \\ 0 \\ \end{array} \right)$

また、回転行列を $R(a)$ と置いた際に $\displaystyle R(a) = \left(\begin{array}{rr} \cos{a}　-\sin{a} \\ \sin{a}　　\cos{a} \\ \end{array} \right)$ であるので、 $\displaystyle \overrightarrow{AM}$ は下記のように計算できます。

$\displaystyle \overrightarrow{AM} = \left(\begin{array}{rr} \cos{a}　-\sin{a} \\ \sin{a}　　\cos{a} \\ \end{array} \right) \left(\begin{array}{c} \cos{b}-1 \\ \sin{b} \\ \end{array} \right)$ ②

①と②より下記が成立します。

$\displaystyle \left(\begin{array}{c} \cos{(a+b)} \\ \sin{(a+b)} \\ \end{array} \right) - \left(\begin{array}{c} \cos{a} \\ \sin{a} \\ \end{array} \right) = \left(\begin{array}{rr} \cos{a}　-\sin{a} \\ \sin{a}　　\cos{a} \\ \end{array} \right) \left(\begin{array}{c} \cos{b}-1 \\ \sin{b} \\ \end{array} \right)$

上記の $y$ 成分に着目すると、下記が成立します。

$\sin{(a+b)}-\sin{a} = \sin{a}(\cos{b}-1)+\cos{a}\sin{b}$

上記を整理すると、 $\sin(a+b) = \sin{a}\cos{b} + \sin{b}\cos{a}$ を導出することができます。

2. $\cos(a+b) = \cos{a}\cos{b} - \sin{a}\sin{b}$ の導出
2節では $\sin(a+b) = \cos{a}\cos{b} - \sin{a}\sin{b}$ の導出について取り扱います。

$\displaystyle \left(\begin{array}{c} \cos{(a+b)} \\ \sin{(a+b)} \\ \end{array} \right) - \left(\begin{array}{c} \cos{a} \\ \sin{a} \\ \end{array} \right) = \left(\begin{array}{rr} \cos{a}　-\sin{a} \\ \sin{a}　　\cos{a} \\ \end{array} \right) \left(\begin{array}{c} \cos{b}-1 \\ \sin{b} \\ \end{array} \right)$

上記は1節で導出した式ですが、こちらの $x$ 成分に着目すると下記が成立します。

$\displaystyle \cos{(a+b)} - \cos{a} = \cos{a}(\cos{b}-1)-\sin{a}\sin{b}$

上記を整理すると、 $\cos(a+b) = \cos{a}\cos{b} - \sin{a}\sin{b}$ を導出することができます。

3. まとめ
#1では加法定理の導出について行いました。余弦定理を用いるよりも回転行列を用いる方が導出を抑えておきやすいのではと思われました。
#2では2倍角の定理について取り扱います。