なんとなく昔学んだことを吐き出したくなりました。

お題

コイントスを $n$ 回繰り返して $r$ 回表が出た。更に1回コイントスしたとき表が出る確率を考える。

解答

確率分布パラメータを推定する解

最尤推定

コイントスを $n$ 回繰り返して $r$ 回表が出る確率は以下のようになる。

$\displaystyle{\binom{n}{r}}\theta^r(1-\theta)^{n-r}$

ここで $\theta$ はコイントスを1回行って表が出る確率。

今回は「コイントスを $n$ 回繰り返して $r$ 回表が出る」という事象は既に起こったことなので確率ではなく尤度といい、 $L$ と表記する。

$L(\theta)=\displaystyle{\binom{n}{r}}\theta^r(1-\theta)^{n-r}$

この尤度が最大になるような $\theta$ の値をもって $\theta$ の推定値とするのが最尤推定。

$\begin{aligned} \displaystyle{\frac{\partial}{\partial\theta}}L(\theta)&\propto \displaystyle{\frac{\partial}{\partial\theta}} \theta^r(1-\theta)^{n-r} \\ &= r \theta^{r-1} (1-\theta)^{n-r} + \theta^r (n-r)(1-\theta)^{n-r-1} \cdot (-1)\\ &= \theta^{r-1}(1-\theta)^{n-r-1}\bigl(r(1-\theta)-\theta(n-r)\bigr) \end{aligned}$