指数型分布族の定義とその具体例｜統計モデリング #3

f:id:lib-arts:20191112170245p:plain

統計モデリングについてまとめています。
#1ではGLMの話について、#2では計算方法としてMCMCについて取り扱いました。

指数型分布族と一般化線形モデル｜統計モデリング #1 - lib-arts’s diary

モンテカルロサンプリングとMCMC｜統計モデリング #2 - lib-arts’s diary
#3では#1で出てきた指数型分布族の数式的な定義とその具体例についてまとめていきます。
以下目次になります。
1. 指数型分布族の数式的な定義
1-1. 指数型分布族の定義と正規分布
1-2. 指数型分布族の定義とベルヌーイ分布
1-3. 指数型分布族の定義とポアソン分布
2. まとめ

1. 指数型分布族の数式的な定義
1節では指数型分布族(exponential family of distribution)について取り扱います。指数型分布族は下記の数式が成り立つ分布のことであるとされています。
$P(x|\theta)=exp(a(x)b(\theta)+c(\theta)+d(x))$
ここで $a(x)=x$ のケースは正準形(canonical form)と呼ばれています。また、指数型分布族を考えるメリットとしては、統計モデリングにあたって取り扱いやすい性質を持っているというのがあるとされています。
正規分布、ベルヌーイ分布、ポアソン分布はどれも指数型分布族なのですが、1-2節〜1-3節で普段の見慣れた確率分布の式から指数型分布族の表現形式に式変形を行うことで、これらが指数型分布族に含まれることについて確認します。

1-1. 指数型分布族の定義と正規分布
 正規分布において、 $\mu$ をパラメータ(数式上は元の数式の $\theta$ を $\mu$ で置き換えて計算します)としてみなすと、数式は下記のように書くことができます。
$P(x|\mu)=\frac{1}{\sqrt{2 \pi \sigma^2}}exp(-\frac{(x-\mu)^2}{2 \sigma^2})$
これをexpの外の項も $x=exp(log x)$ を用いて変形することで、expの中に入れることが可能です。
$P(x|\mu)=exp(log \frac{1}{\sqrt{2 \pi \sigma^2}})exp(-\frac{(x-\mu)^2}{2 \sigma^2})=exp(-\frac{(x-\mu)^2}{2 \sigma^2}-log \frac{1}{\sqrt{2 \pi \sigma^2}})$
上記の数式のexpの中を二乗を展開して整理すると下記のように変形できます。
$P(x|\mu)=exp(-\frac{x^2}{2 \sigma^2}+\frac{x \mu}{\sigma^2}-\frac{\mu^2}{2 \sigma^2}-\frac{1}{2}log(2 \pi \sigma^2))$
上記のexpの中の項の順番を入れ替えると下記のようになります。
$P(x|\mu)=exp(\frac{x \mu}{\sigma^2}-\frac{\mu^2}{2 \sigma^2}-\frac{1}{2}log(2 \pi \sigma^2)-\frac{x^2}{2 \sigma^2})$
ここで、 $a(x)=x$ 、 $b(\mu)=\frac{\mu}{\sigma^2}$ 、 $c(\mu)=-\frac{\mu^2}{2 \sigma^2}-\frac{1}{2}log(2 \pi \sigma^2)$ 、 $d(x)=-\frac{x^2}{2 \sigma^2}$ と考えることで、正規分布が指数型分布族の定義を満たしていることが確認できます。

1-2. 指数型分布族の定義とベルヌーイ分布
ベルヌーイ分布において $p$ をパラメータとしてみなすと、数式は下記のように書くことができます。
$P(x|p)=p^x(1-p)^{1-x}, x={0,1}$
今回も $x=exp(log x)$ を用いて変形することで、数式を指数関数で表現することを考えます。
$P(x|p)=p^x(1-p)^{1-x}=exp(log(p^x))exp(log{(1-p)^{1-x}})=(＊)$

$(＊)=exp(xlog{p}+(1-x)log(1-p))=exp(x(log{p}-log(1-p))+log(1-p))$
ここで、 $a(x)=x$ 、 $b(p)=log{p}-log(1-p)$ 、 $c(p)=log(1-p)$ 、 $d(x)=0$ と考えることで、ポアソン分布が指数型分布族の定義を満たしていることが確認できます。

1-3. 指数型分布族の定義とポアソン分布
ポアソン分布において $\mu$ をパラメータとしてみなすと、数式は下記のように書くことができます。
$P(x|\mu)=\frac{\mu^x exp(-\mu)}{x!}$
今回もexpの外の項について $x=exp(log x)$ を用いて変形することで、数式を指数関数で表現することを考えます。
$P(x|\mu)=\frac{\mu^x exp(-\mu)}{x!}=exp(log \mu^x) exp(-\mu) exp(log \frac{1}{x!})=exp(xlog{\mu} - \mu - log{x!})$
ここで、 $a(x)=x$ 、 $b(\mu)=log{\mu}$ 、 $c(\mu)=-\mu$ 、 $d(x)=-log{x!}$ と考えることで、ポアソン分布が指数型分布族の定義を満たしていることが確認できます。