推定量の不偏性・一致性・効率性について調べたのでまとめておく。

主に計量経済学の第一歩を参考にした。

推定量 (estimator)

標本が互いに独立で、かつ同じ分布（i.i.d）から得られている場合、
母集団分布のパラメータを標本から統計的に推定することができる。
例えば、母平均を標本平均から推定することができる。
このとき、標本平均は母平均の推定方法という意味で推定量 (estimator)と呼ばれる
（一方、実際の値を代入して得られた値のことは推定値と呼ばれ区別される）。

推定量の持つべき性質

母集団分布のパラメータを$\theta$、その推定量を$\hat{\theta}$とする。

一致性 (consistency)

一致性とは、サンプルサイズを無限に大きくすると$\theta$が$\hat{\theta}$に確率収束する性質のこと。大数の法則ともいう。
$\hat{\theta_{n}}$をサンプルサイズ$n$の標本を用いたときの$\theta$の推定量とすると、

\[\lim_{n\rightarrow \infty}P(|\hat{\theta_{n}}-\theta|>\epsilon) = 0\]

一致性を持つ推定量は、サンプルサイズを大きくするとその分散が徐々に小さくなっていく。
サンプルサイズが無限になると推定量の分散は0になり、推定量が母集団分布のパラメータに完全に一致する。

不偏性 (unbiasedness)

不偏性とは、$\hat{\theta}$の期待値が$\theta$に一致する性質のこと。
一致性とは異なり、サンプルサイズは固定して考える。

\[E(\hat{\theta}) = \theta\]

不偏性を持つ推定量は、多少のばらつきはあれど平均的には母集団分布のパラメータに一致する。

効率性 (efficiency)

不偏推定量の中で最も分散が小さい推定量は、効率性あるいは有効性を持つという。
また、この推定量は最小分散不偏推定量と呼ばれる。

さまざまな推定量

標本平均

標本平均は母平均の一致推定量であり不偏推定量である。

標本分散

標本分散は母分散の一致推定量であるが、不偏推定量ではない。
標本分散の一致性と不偏性を参照。

不偏分散

不偏分散は母分散の一致推定量であり不偏推定量である。

最小二乗推定量

回帰分析は、標本から母集団分布の性質である回帰パラメータを推定するという意味で、統計的推論である。
回帰パラメータの推定に用いられる最小二乗法は、推定量の1つということで最小二乗推定量と呼ばれる。

最小二乗推定量は以下の4つの仮定が満たされていれば不偏性をもつことが知られている。

  1. 母集団モデルを回帰モデルとして書ける。
  2. 母集団からサンプルサイズ$n$の無作為抽出標本が得られる。
  3. 説明変数と誤差項は平均独立である。
  4. 説明変数に変動があり、説明変数間に完全な共線関係が無い。

上記不偏性のための4つの仮定に加え、誤差項の分散均一性を合わせた5つの仮定はガウス＝マルコフ仮定と呼ばれる。
ガウス＝マルコフ仮定を満たすとき最小二乗推定量は線形不偏推定量の中で分散が最小になるため、最良線形不偏推定量 (BLUE)である。

参考