時系列データの取り扱いとモデルの作成②（AR、MA、ARMA）｜時系列分析の基礎を学ぶ #2

f:id:lib-arts:20190526201416p:plain

強化学習などについて取り扱っていくにあたり、通常の時系列データについての取り扱いも一度まとめておく方が良さそうなので時系列分析の基本についてまとめていきます。
#1では時系列データとはどのようなデータであるかやモデリングにおいて重要になる定常過程についてご紹介しました。

#2ではモデリングにおいてよく用いられるAR、MA、ARMAについて取り扱います。
以下目次になります。

1. AR(Auto Regressive)モデル
2. MA(Moving Average)モデル
3. ARMA(Auto Regressive Moving Average)モデル
4. まとめ

1. AR(Auto Regressive)モデル
1節ではAR(Auto Regressive)モデルについて取り扱っていきます。まず時系列分析におけるモデリングですが、#1では $x_{t}=f(x_{t-1},x_{t-2},...)$ のように表現を行いました。この形式では関数のInputとOutputがわかっただけなので、次に数式の中身に関して話をしていきます。
ARモデルではAuto Regressive(自己回帰)という言葉で回帰という言葉が出てくることからもわかるように、回帰分析に似たような数式で表記することができます。数式としては以下になります。
$x_{t}=\sum_{i=1}^p\varphi_{i}x_{t-i}+c+\varepsilon_{t}$
ここで $\varphi_{i}$ はモデルのパラメーターで、 $c$ は定数項、 $\varepsilon_{t}$ はホワイトノイズです。
この式を解釈するにあたっては、過去のp個の値の相関を元に新しい値を予測するので、自己回帰と把握しておけば良いです。ここで、pはARモデルのハイパーパラメータでAR(p)と表すこともあり、この表記はわかりやすいので覚えておくと良いと思います。
また、過去のp個の値のみ考慮する際はそれ以前の情報を捨てているという風に解釈することもできます。ここにはマルコフ性という仮定が関わっていると把握しておくと良いです。マルコフ性というのはざっくりというと直近の過去に基づいて現在が決まるとする過程です。過去のいくつの値を参考にするかを階数と言い、1階のマルコフモデルを数式で表すと下記のようになります。
$P(x_{t}|x_{0},x_{1},..,x_{t-1})=P(x_{t}|x_{t-1})$
要は現在の値が決まるにあたって、一つ前のステップしか考慮しないのが1階のマルコフモデルです。この観点でAR(p)のモデルを見ると、
$P(x_{t}|x_{0},x_{1},..,x_{t-1})=P(x_{t}|x_{t-p},..,x_{t-1})$
を仮定して回帰を行っているので、AR(p)はp階のマルコフモデルだと考えることができます。
このように系列データの取り扱いの際にはマルコフ性を仮定し、条件付き確率の書式で表すことが多いというのは意識しておくと良いと思います。

2. MA(Moving Average)モデル
1節ではARについて解説したので、2節ではMA(Moving Average)について解説できればと思います。移動平均モデルは下記のように数式で表現します。
$x_{t}=\varepsilon_{t}+\sum_{i=1}^{q}\theta_{i}\varepsilon_{t-i}$
上記の式においては、過去q個のノイズの移動平均(Moving Average)を取っているので、これをMA(Moving Average)モデルとしています。
過去qステップの $\varepsilon$ を用いることを表すためにMA(q)という表記で表すということもおさえておくと良いと思います。

3. ARMA(Auto Regressive Moving Average)モデル
ARMAは自己回帰(AR; Auto Regressive)と移動平均(MA; Moving Average)の二つの考え方を足したモデルです。数式で表すと以下のようになります。
$x_{t}=\varepsilon_{t}+\sum_{i=1}^p\varphi_{i}x_{t-i}+\sum_{i=1}^{q}\theta_{i}\varepsilon_{t-i}$
過去pステップの自己相関と過去qステップのノイズの移動平均を取っているため、ARMA(p,q)とも表記します。またここでpとqをそれぞれp次、q次とも言ったりします。
ここで意識しておきたいのが、ARMAモデルは定常過程を前提としているので、観測される値の平均が時間に依存して変わるのはNGです。そのため、トレンドのあるデータや周期性のあるデータは定常状態ではないためARMAモデルで取り扱うことはできません。
これを取り扱うにあたって、#3でARIMAモデルをご紹介します。