みどりぼん 第3章 ポアソン回帰

みどりぼん第3章を読んでポアソン回帰について自分の理解をまとめた。

ポアソン分布

ポアソン分布の確率分布は以下の式で表される。

$$p(X=y|\lambda )=\frac{{\lambda }^y\exp (-\lambda )}{y!}$$

$p(X=y|\lambda )$は分布の平均が$\lambda$であるときに
ポアソン分布にしたがう確率変数$X$が$y$になる確率である。

ポアソン回帰

ここで、架空の植物の種子数をモデル化することを考える。

$\lambda$が全個体で共通の場合

どの個体の種子数$y_i$も平均$\lambda$のポアソン分布にしたがう場合、
個体$i$の種子数が$y_i$になる確率は以下の式で表される。

$$p(X=y_i|\lambda )=\frac{{\lambda }^{y_i}\exp (-\lambda )}{y_i!}$$

対数尤度関数は

$$\log L(\lambda )=\sum _i\log (p(X=y_i|\lambda ))$$

となる。

$\lambda$が個体によって異なる場合

個体ごとに異なる説明変数によって平均種子数が変わる場合、
個体$i$の種子数が$y_i$になる確率は以下の式で表される。

$$p(X=y_i|{\lambda }_i)=\frac{{\lambda }_i^{y_i}\exp (-{\lambda }_i)}{y_i!}$$

個体ごとの平均種子数${\lambda }_i$が体サイズ$x_i$に影響されるとき、
線形予測子(linear predictor)と対数リンク関数(log link function)を使って、

$$\log {\lambda }_i={\beta }_1+{\beta }_2{x}_i$$

と表される。

${\lambda }_i$は${\beta }_1,{\beta }_2$の関数なので、対数尤度関数は

$$\log L({\beta }_1,{\beta }_2)=\sum _i\log (p(X=y_i|{\beta }_1,{\beta }_2))$$

となる。

正規分布回帰

種子数がポアソン分布ではなく正規分布にしたがうと考えたとき、 種子数が$y_i$となる確率$p(y_i|{\mu }_i,{\sigma }_i)$は、

$$p(y_i|{\mu }_i,{\sigma }_i)=\frac{1}{\sqrt{2\pi {\sigma }_i^2}}\exp (-\frac{(y_i-{\mu }_i{)}^2}{2{\sigma }_i^2})$$

で表される。ここで、$\mu$は平均、$\sigma$は標準偏差である。

対数尤度関数は以下の式で表される。

$$\log L({\mu }_i,{\sigma }_i)=-\frac{1}{2}\sum _i\log (2\pi {\sigma }_i^2)-\frac{1}{2{\sigma }^2}\sum _i(y_i-{\mu }_i)$$

ここで分散${\sigma }_i^2$は平均${\mu }_i$によらず一定とすると、

$$\log L({\mu }_i)=-\sum _i(y_i-{\mu }_i)$$

線形予測子と恒等リンク関数を使って${\mu }_i={\beta }_1+{\beta }_2{x}_i$と表すと、

$$\log L({\beta }_1,{\beta }_2)=-\sum _i(y_i-({\beta }_1+{\beta }_2{x}_i))$$

となる。
この式より、正規分布回帰の回帰パラメータを最尤推定することは最小二乗法と同じになることがわかる。

ただし、

• 離散値をとる目的変数のモデリングに連続値の分布である正規分布を使っている
• 種子数$y$が負になりうる
• 平均の値に関わらず分散一定を仮定している

などの理由で、種子数のモデリングに正規分布を用いるのは適切ではない。

サンプルデータを使って種子数をモデリング

本書で使用されていたサンプルデータを使って、

• 説明変数が体サイズ$x$のみ
• 説明変数が施肥処理$f$のみ
• 説明変数が体サイズ$x$と施肥処理$f$

の3パターンで種子数をモデリングする。

Loading

Sorry, something went wrong. Reload?

Sorry, we cannot display this file.

Sorry, this file is invalid so it cannot be displayed.

view raw midoribon_section3_poisson_regression.ipynb hosted with ❤ by GitHub

まとめ

• どの分布を使用するかについて
  • 実データの応答変数$y$の構造をよく考えて分布を選ぶことが重要
  • なんでも正規分布を仮定して直線回帰させれば良いというものではない
• どのリンク関数を使用するかについて
  • 分布関係なく、恒等リンク関数を用いた場合$y$の回帰値の集合は直線に、
    対数リンク関数を用いた場合は指数関数となる
  • ちなみに、正規分布の正準リンク関数は恒等リンク関数、
    ポアソン分布は対数リンク関数である
  • 恒等リンク関数を使った場合、各説明変数の回帰値への効果は加算で表され、
    対数リンク関数を使った場合は乗算で表される
• 目的変数が種子数のようなカウントデータの場合はポアソン回帰を用いるとあるが、
  平均値が大きくサンプルサイズが十分ある場合は正規分布にしたがうとしてもよい
  • 中心極限定理により、平均値（あるいは合計値）の分布は正規分布に近づくため
  • 事実、ポアソン分布でも$\lambda$が大きくなると分布の形は正規分布に近づく
  • 種子数は平均値が小さく、ポアソン回帰が適していたと思われる
  • 詳しくは銀座で働くデータサイエンティストのモデル選択について: ニュースの社会科学的な裏側を参照

疑問

• みどりぼんによると、ポアソン分布で対数リンク関数を使う理由は
  「推定計算に都合よく」かつ「わかりやすい」からとあるが、理論的な理由があるのか？
• 正規分布で対数リンク関数を使うなど、
  正準リンク関数ではないリンク関数を使う場面は存在するのか？
  • $x$が増加すると$y$は指数的に増加し、ばらつきは一定であるような場合？
  • 対数変換と一般化線形モデル - DTAL（旧RCEAL）留学記録によると、
    $y=a{e}^{bx}+ϵ$のような指数関数で正規分布+対数リンク関数を使っている

参考文献・サイト

• データ解析のための統計モデリング入門 第3章
• 一般化線形 (混合) モデル (1) - 確率分布，最尤推定，ポアソン回帰
• 一般化線形モデルとは何か - 講義のページにようこそ
• Pythonで「データ解析のための統計モデリング入門」：第3章
• 対数変換と一般化線形モデル - DTAL（旧RCEAL）留学記録
• 今さら人に聞けない「重回帰分析の各手法の使い分け」 - 六本木で働くデータサイエンティストのブログ
• 「使い分け」ではなく「妥当かどうか」が大事：重回帰分析＆一般化線形モデル選択まわりの再まとめ - 六本木で働くデータサイエンティストのブログ
• 銀座で働くデータサイエンティストのモデル選択について: ニュースの社会科学的な裏側
• ポアソン回帰で推定しているモノはλの式 - 餡子付゛録゛