「計量時系列分析」読解メモ③(Ch_2 ARMA過程②)|時系列分析の基礎を学ぶ #5

f:id:lib-arts:20190710004835p:plain

連載経緯は#1に記しました。

#1では時系列データとはどのようなデータであるかやモデリングにおいて重要になる定常過程について、#2ではモデリングにおいてよく用いられるAR、MA、ARMAについてご紹介しました。

#3以降では時系列分析の入門本として評判の良い、「経済・ファイナンスデータの計量時系列分析」について取り扱っています。

朝倉書店|経済・ファイナンスデータの 計量時系列分析

#3では1章の時系列分析の基礎概念について、#4では2.1のARMA過程の性質までを取り扱いました。

#5では2.2のARMA仮定の定常性と反転可能性以降について取り扱います。
以下目次になります。

1. ARMA過程の定常性と反転可能性(2.2)
1-1. AR過程の定常性(2.2.1)
1-2. MA過程の反転可能性(2.2.2)
1-3. ARMA過程の定常・反転可能性(2.2.3)
2. ARMAモデルの推定(2.3)
2-1. 最小二乗法(2.3.1)
2-2. 最尤法(2.3.2)
3. まとめ


1. ARMA過程の定常性と反転可能性(2.2の簡単な要約)
AR(Auto Regressive)過程は定常であるとは限らない。また、MA(Moving Average)過程は常に定常であるが、こちらも完璧なモデルというわけではない。したがって自己相関のモデル化という観点からはどのモデルを選択すれば良いかが定かではない。
MAモデルを選択するにあたっての基準としてよく用いられるのが反転可能性という概念である。2.2節ではARMA過程の定常条件と反転可能条件についてまとめる。

 

1-1. AR過程の定常性(2.2.1の簡単な要約)
AR過程の定常性は差分方程式の理論と密接に関連している。より正確には、AR過程と同一の係数を持つ差分方程式が安定的になる場合にAR過程は定常となる。
y_{t}=c+\phi_{1}y_{t-1}+\phi_{2}y_{t-2}+...+\phi_{p}y_{t-p}+\epsilon_{t}
上記のAR(p)過程の定常条件は、下記の方程式の全ての解の絶対値が1より大きいとき、AR過程は定常となる。
1-\phi_{1}z-\phi_{2}z^2-...-\phi_{p}z^p=0
このとき上記の方程式をAR特性方程式(AR characteristic)と呼ばれ、特性方程式の左辺の多項式はAR多項式(AR polynominal)と呼ばれる。わかりにくいため、本の記載の例2.4で記載されているAR(1)過程の定常条件についてまとめる。
y_{t}=c+\phi_{1}y_{t-1}+\epsilon_{t}
上記の過程の特性方程式1-\phi_{1}z=0となるので、AR方程式の解はz=\phi_{1}^{-1}で与えられる。したがって、|\phi_{1}|< 1のとき|z|>1となるので、AR(1)過程の定常条件は\phi_{1}<1である。

また、定常AR過程の性質として、定常AR過程はMA(∞)で書き直すことができるという性質もある。(詳細の議論については本を入手の上ご確認ください)


1-2. MA過程の反転可能性(2.2.2の簡単な要約)
MA過程はAR過程とは違い常に定常になるので、MA過程において過程が定常かを心配する必要はない。一方で、MA過程にはまた別の問題が存在し、「任意のMA過程に関して同一の期待値と自己相関構造を持つ異なるMA過程が複数存在するということ」である。
y_{t}=\epsilon_{t}+\theta\epsilon_{t-1}    \epsilon_{t} 〜 W.N.(\sigma^2)
y_{t}=\tilde{\epsilon}_{t}+\frac{1}{\theta} \tilde{\epsilon}_{t-1}   \tilde{\epsilon}_{t} 〜 W.N.(\theta^2\sigma^2)
上記の二つのMA(1)過程は数式的には異なりながら同一の期待値と自己相関関数を持つ(詳細は本に記載があります)。時系列モデルを用いる1つの目的は、データの平均的な挙動と自己相関構造をモデル化することである。しかしながら、そのような観点からすると、同一の期待値と自己相関構造を持つMA過程が複数存在するとき、どのMA過程を用いるべきかが定かではない。
この際に1つの基準となるのが、MA家庭の反転可能性(invertibility)である。反転可能性は下記のように定義できる。
「MA過程がAR(∞)過程に書き直せるとき、MA過程は反転可能(invertible)といわれる」
この考え方を用いることで選択にあたっての基準を設けることができる(詳細は本に記載があります)。


1-3. ARMA過程の定常・反転可能性(2.2.3の簡単な要約)
MA過程は常に定常な過程であるので、ARMA過程のAR家庭の部分が定常であればARMAは定常なAR過程とMA過程の和として表すことができるので、ARMA過程は定常になることがわかる。


2. ARMAモデルの推定(2.3の簡単な要約)
2.3ではARMAモデルの代表的な推定方法である、最小二乗法と最尤法についてまとめられている。


2-1. 最小二乗法(2.3.1の簡単な要約)
ARモデルを推定する最も基本的な方法は最小二乗法(OLS; Ordinary Least Squares)である。下記、具体的な例題としてAR(1)モデルを用いた際のOLSについてまとめる。
y_{t}=c+\phi_{t-1}+\epsilon_{t} \epsilon_{t}〜iid(0,\sigma^2) (1)
OLSではパラメータを推定する上記のモデルのことを回帰モデル(regression model)と呼び、左辺の変数y_{t}のことを被説明変数(dependent variable)と呼ぶ。また、\epsilon_{t}のことを誤差項(error term)と呼び、誤差項以外の右辺の変数のことを説明変数(independent variable)と呼ぶ。
(1)の回帰モデルにおけるcと\phiの任意の推定量\tilde{c}\tilde{\phi}とすると、OLSではモデルが説明できない部分の
e_{t}=y_{t}-\tilde{c}-\tilde{\phi}y_{t-1}
を残差(residual)と呼び、残差e_{t}を平均的に0に近くすることを考える。このとき残差が正にも負にもなり、単純に足し合わせることができないので、OLSでは残差平方和(SSR; Sum of Squared Residuals)が最小になるように、\tilde{c}\tilde{\phi}を選択する。
SSR = \sum_{t=1}^T e_{t}^2 = \sum_{t=1}^T(y_{t}-\tilde{c}-\tilde{\phi}y_{t-1})^2
SSRは上記のように定義することができる。これを\tilde{c}\tilde{\phi}について偏微分し、方程式を整理すると、下記のような正規方程式(normal equations)が得られる。このときOLS推定量\hat{c}\hat{\phi}とおいている。
\sum_{t=1}^T(y_{t}-\hat{c}-\hat{\phi}y_{t-1})
\sum_{t=1}^Ty_{t-1}(y_{t}-\hat{c}-\hat{\phi}y_{t-1})
これを解くことで、下記のようなOLS推定量を得ることができる。
\hat{c}=\bar{y}_{t}-\hat{\phi}\bar{y}_{t-1}
\hat{\phi}=\frac{\sum_{t=1}^T(y_{t}-\bar{y}_{t})(y_{t-1}-\bar{y}_{t-1})}{\sum_{t=1}^T(y_{t-1}-\bar{y}_{t-1})^2}
ここで\bar{y}_{t}y_{t}の平均(期待値)を表している。


2-2. 最尤法(2.3.2)
最小二乗法(OLS; Ordinary Least Squares)は最尤法の特殊なバージョンとみなすことができ、手法を用いる目的も同じため割愛します。
具体的には被説明変数の分布に正規分布を仮定して最尤法を行うと最小二乗法になります。詳しくはPRML上巻の1章の論述などがわかりやすいかと思います。


3. まとめ
#5では2.2節のARMA過程の定常性と反転可能性と2.3節のARMAモデルの推定について取り扱いました。
#6では2.4節のARMAモデルの選択について取り扱います。