尤度推定のお勉強

【目次】

尤度と最尤推定量

最尤推定法は、標本から母集団のパラメータを点推定する方法（母集団の分布は既知）。

得られた標本を $x_{i} = x_{1}, x_{2},...,x_{n}$ （独立同一分布に従う）、推定したいパラメータを $\theta$ とすると、尤度関数は次と表される。

$\quad L\left( \theta | x \right) = \prod _{i=1}^{n} f\left( x_{i} | \theta \right)$

また、自然対数をとったものを対数尤度という。確率の足し算となり、値が小さくならないため計算機で扱いやすい。

$\quad \ln L\left( \theta | x \right) = \ln \prod _{i=1}^{n} f\left( x_{i} | \theta \right) = \Sigma _{i=1}^{n} \ln f\left( x_{i} | \theta \right)$

この尤度関数を最大化するパラメータ $\theta$ を最尤推定量と呼ぶ。

$\quad \widehat{\theta }_{ML}=\arg \max f\left( x| \theta \right)$

なお、最小化問題などでは、対数尤度にマイナスを乗じて 0 を最小値とした負の対数尤度を用いることがある。

尤度と確率

尤度と確率では分布パラメータθと得られる値 x のどちらが変数か定数かが違う。
見た目が同じなのでややこしい。

■ 尤度

$\quad L\left( \theta | x \right) = \prod _{i=1}^{n} \Pr \left( x | \theta \right)$

得られた値 x（定数）を元にして、分布パラメータθ（変数）を求める。
θで積分しても１にならない（１になるとは限らない）。比較に意味がある。

■ 確率

$\quad \prod _{i=1}^{n} \Pr \left( x | \theta \right)$

分布パラメータθ（定数）の下で得られる値 x（変数）の確率を求める。
θで積分すると１になる。確率の合計は１。

尤度と最尤推定量のざっくりしたイメージ。

f:id:cochineal19:20211107235358p:plain

例としてパラメータθの候補に a, b, c の３つの値（変数）を用意し、各パラメータの下での尤度を計算。
この中で尤度が最大なのは b なので、最尤推定量は b になる。