確率分布の利用 (3) もっとベイズ的アプローチ

なんとなく昔学んだことを吐き出したくなりました3。

お題

コイントスをn回繰り返してr回表が出た。更に1回コイントスしたとき表が出る確率を考える。

解答

確率分布パラメータを推定しない解

\thetaを推定せず、\thetaの確率分布を利用して、更に1回コイントスしたとき表が出る確率p(H|n,r)を計算する。

\begin{aligned} p(H|n,r) &= \int_0^1 p(H, \theta | n, r) d\theta \\ &= \int_0^1 p(H|\theta, n, r) p(\theta | n, r) d\theta \\ &= \int_0^1 \theta p(\theta | n, r) d\theta \\ p(\theta|n,r) &\propto \theta^{r+\alpha-1}(1-\theta)^{n-r+\beta-1} \end{aligned}

p(\theta|n,r) は確率分布であるから\displaystyle{ \int_0^ 1 p(\theta|n,r) d\theta = 1 }を満たす。ベータ関数の定義より

\displaystyle{ \int_0^1 p(\theta|n,r) d\theta } = B(r+\alpha, n-r+\beta)

であるから

p(\theta|n,r) = \displaystyle{ \frac{ \theta^{r+\alpha-1}(1-\theta)^{n-r+\beta-1} }{ B(r+\alpha, n-r+\beta) }}

よって

\begin{aligned} p(H|n,r) &= \frac{ 1 }{ B(r+\alpha, n-r+\beta) } \int_0^1 \theta \theta^{r+\alpha-1}(1-\theta)^{n-r+\beta-1} d\theta \\ &= \frac{ 1 }{ B(r+\alpha, n-r+\beta) } \int_0^1 \theta^{r+\alpha}(1-\theta)^{n-r+\beta-1} d\theta \\ &= \frac{ B(r+\alpha+1, n-r+\beta) }{ B(r+\alpha, n-r+\beta) } \end{aligned}

ここで

\begin{aligned} B(\alpha, \beta) &= \frac{ \Gamma(\alpha) \Gamma( \beta ) }{ \Gamma( \alpha + \beta ) } \\ \frac{ \Gamma(x) }{ \Gamma(x - 1) } &= x - 1 \end{aligned}

であるから

\begin{aligned} p(H|n,r) &= \frac{ \Gamma(r+\alpha+1) \Gamma(n-r+\beta) }{ \Gamma(r+\alpha) \Gamma(n-r+\beta) } \frac{ \Gamma(n + \alpha + \beta) }{ \Gamma(n + \alpha + \beta + 1) } \\ &= \frac{ r+\alpha }{ n + \alpha + \beta } \end{aligned}

となる。 これは最尤推定においてコインを n + \alpha + \beta 回投げ、うち r+\alpha回表が出た場合に相当する。 また n = r = 0, \alpha = \beta = 1 とすると \displaystyle{ \frac{ 1 }{ 2 }}となり、事前分布を一様分布として1回もコインを投げていない場合の表が出る確率を示している。