「計量時系列分析」読解メモ②（Ch_2 ARMA過程）｜時系列分析の基礎を学ぶ #4

f:id:lib-arts:20190710004835p:plain

連載経緯は#1に記しました。

#1では時系列データとはどのようなデータであるかやモデリングにおいて重要になる定常過程について、#2ではモデリングにおいてよく用いられるAR、MA、ARMAについてご紹介しました。

#3以降では時系列分析の入門本として評判の良い、「経済・ファイナンスデータの計量時系列分析」について取り扱います。

#3では1章の時系列分析の基礎概念について取り扱いました。

#4では引き続き2章のARMA過程について取り扱います。重要事項が多いため、今回は2.1のARMA過程の性質までを取り扱います。
以下目次になります。

1. ARMA過程（Ch_2）
1-1. ARMA過程の性質（2.1）
2. まとめ

1. ARMA過程（Ch_2の簡単な要約）
第2章では1変量の時系列データを分析するための基本的なモデルである自己回帰移動平均(ARMA)過程について述べる。本の後半で紹介するより複雑なモデルはARMAモデルを基に構築されていることが多いので、それらのモデルを理解する上でもARMAモデルは非常に重要である。

1-1. ARMA過程の性質（2.1の簡単な要約）
経済・ファイナンスデータの中には自己相関を持つデータが数多く存在するので、自己相関をモデル化する必要が出てくる。
一つ目の方法が $y_{t}$ と $y_{t-1}$ のモデルに共通の成分を含める方法である。
$y_{t}=a+b$
$y_{t-1}=b+c$
のようにモデル化すると、共通の成分bを通して $y_{t}$ と $y_{t-1}$ が相関を持つことができる。この考え方を移動平均(MA; Moving Average)と呼んでいる。
またもう一つの方法としては、 $y_{t}$ のモデルに $y_{t-1}$ を含めることである。
$y_{t}=ay_{t}+b$
のようにこれはモデル化できる。これを自己回帰(AR; AutoRegressive)と呼んでいる。以下MA過程とAR過程についてそれぞれまとめる。

◆ MA(Moving Average)過程
移動平均過程(Moving Average Process)はホワイトノイズを拡張したものであり、具体的にはホワイトノイズの線形和で表される。1次MA過程（MA(1）過程とも書く）は
$y_{t}=\mu+\epsilon_{t}+\theta_{1}\epsilon_{t-1}$ $\epsilon_{t} 〜 W.N.(\sigma^2)$
で定義され、 $y_{t}$ がMA過程に従うことは $y_{t}〜MA(1)$ と表記される。この時、
$y_{t-1}=\mu+\epsilon_{t-1}+\theta_{1}\epsilon_{t-2}$
となるため、 $y_{t}$ のモデルと $y_{t-1}$ のモデルが $\epsilon_{t-1}$ という共通項を持つので、 $y_{t}$ と $y_{t-1}$ の間に相関が生じる。つまりMA(1)モデルは1次自己相関を持つモデルとなっている。
また、以下ではMA(1)過程の期待値と分散、自己共分散、自己相関について考える。
・期待値
$E(y_{t})=E(\mu+\epsilon_{t}+\theta_{1}\epsilon_{t-1})=E(\mu)+E(\epsilon_{t})+E(\theta_{1}\epsilon_{t-1})=\mu$
・分散
$\gamma_{0}=Var(y_{t})=Var(\mu+\epsilon_{t}+\theta_{1}\epsilon_{t-1})=Var(\epsilon_{t})+\theta_{1}^2Var(\epsilon_{t-1})+2\theta_{1}Cov(\epsilon_{t},\epsilon_{t-1})=(1+\theta_{1}^2)\sigma^2$
・自己共分散
$\gamma_{1}=Cov(y_{t},y_{t-1})=（中略）=\theta_{1}\sigma^2$
・自己相関
$\rho_{1}=\frac{\gamma_{1}}{\gamma_{0}}=\frac{\theta_{1}}{1+\theta_{1}^2}$

◆ AR(Auto Regressive)過程
自己回帰(AR; Auto Regressive Process)は、過程が自身の過去に回帰された形で表現される過程である。1次AR過程（AR(1）過程）は下記のように定義される。
$y_{t}=c+\phi_{1}y_{t-1}+\epsilon_{t}$ $\epsilon_{t}〜W.N.(\sigma^2)$
$y_{t}$ を計算するにあたって $y_{t-1}$ が追加されていることで、 $y_{t}$ と $y_{t-1}$ が相関を持つ形となっている。以下具体的なパラメータの値を元に考察を行う。
$y_{t}=2+0.8y_{t-1}+\epsilon_{t}$ $\epsilon_{t}〜iid N(0,1)$ (1)
$y_{t}=2+y_{t-1}+\epsilon_{t}$ $\epsilon_{t}〜iid N(0,1)$ (2)
$y_{t}=2+1.1y_{t-1}+\epsilon_{t}$ $\epsilon_{t}〜iid N(0,1)$ (3)
この時(1)については定常過程、(2)と(3)が非定常過程となる。特に(3)の過程は指数的に値が上昇するので爆発的(explosive)と呼ばれる。
次に、以下ではAR過程の期待値、分散、自己共分散、自己相関について考える。
・期待値
$E(y_{t})=E(c+\phi_{1}y_{t-1}+\epsilon_{t})=c+\phi_{1}E(y_{t-1})$
・分散
$Var(y_{t})=Var(c+\phi_{1}y_{t-1}+\epsilon_{t})=\phi_{1}^2Var(y_{t-1})+Var(\epsilon_{t})+2Cov(y_{t},\epsilon_{t})=\phi_{1}^2Var(y_{t-1})+\sigma^2$
・k次自己共分散
$\gamma_{k}=Cov(y_{t},y_{t-k})=（中略）=\phi_{1}\gamma_{k-1}$
・k次自己相関
$\rho_{k}=\phi_{1}\rho_{k-1}$
このとき、k次自己相関を求める式をユール・ウォーカー方程式(Yule-Walker equation)と呼んでいる。ユール・ウォーカー方程式は、AR過程の自己相関が、 $y_{t}$ の従うAR過程と同一の係数を持つ差分方程式に従うことを示すものである。

◆ ARMA過程
自己回帰移動平均過程(ARMA過程; Auto Regressive Moving Average Process)はARモデルとMAモデルの両方を含んだ過程である。(p,q)次ARMA過程（ARMA(p,q)）は下記のように表せる。
$y_{t}=c+\phi_{1}y_{t-1}+...+\phi_{p}y_{p}+\theta_{1}\epsilon_{t-1}+...+\theta_{q}\epsilon_{t-q}$
ARMA(p,q)過程は、AR過程とMA過程の性質を併せもっており、両過程の性質のうち強い方がARMA過程の性質となる。例えば、ARMA仮定の定常性を考えると、MA過程は常に定常であるのに対してAR過程は定常になるとは限らないのでこの場合はAR仮定の性質が残り、ARMA過程は定常になるとは限らないということになる。

2. まとめ
#4では2.1のARMA過程の性質についてまとめました。記述の中身が充実しており要点が多かったため、ゆっくり進める形にしました。本の論述自体はもっと詳しいので、ご興味ある方は購入を推奨します。非常に中身が濃く読みやすいです。
#5では2.2のARMA仮定の定常性と反転可能性について取り扱っていきます。