byErica·PublishedSeptember21,2020·UpdatedSeptember23,2020
はじめに
最尤は、時系列モデリング、パネルデータ、離散データ、さらには機械学習を含む多
今日のブログでは、最尤推定の基礎をカバーしています。
:
- 最尤の基本理論。
- 最尤推定の長所と短所。
- 対数尤度関数。
- モデリングアプリケーション。
さらに、最尤推定を線形回帰モデルに簡単に適用することを検討します。
最尤推定とは何ですか？
最尤推定は、モデルのパラメータを推定するための統計的方法です。 最尤推定では、仮定されたモデルが観測されたデータをもたらす尤度を最大にするためにパラメータが選択されます。
これは、最尤推定を実装するためには、次のことが必要であることを意味します:
- データ生成プロセスとも呼ばれるモデルを、データのために仮定します。
- 仮定されたモデルを考えると、データの尤度関数を導出できるようにします（これについては後で説明します）。
尤度関数が導出されると、最尤推定は単純な最適化問題に過ぎません。
最尤推定の長所と短所は何ですか？
この時点で、最小二乗回帰やモーメントの一般化法などの他の方法よりも最尤推定を選択する必要がある理由が不思議に思うかもしれません。 現実には、最尤推定を常に選択すべきではないということです。 他の推定手法と同様に、最尤推定には長所と短所があります。
最尤推定の利点
最尤推定には多くの利点があります:
- モデルが正しく仮定されている場合、最尤推定量が最も効率的な推定量です。
- これは、他のモデルの仮定に違反した場合を含む、幅広いアプリケーションに適した一貫性があるが柔軟なアプローチを提供します。
- これは、より大きなサンプルで公平な推定値をもたらします。
最尤推定の欠点
- モデルの仮定と尤度関数の導出に依存していますが、必ずしも容易ではありません。
- 他の最適化問題と同様に、最尤推定は開始値の選択に敏感である可能性があります。
- 尤度関数の複雑さに応じて、数値推定は計算上高価になる可能性があります。
- 小さなサンプルでは推定値に偏りがある可能性があります。
尤度関数とは何ですか？
最尤推定は、尤度関数の導出に依存する。 このため、尤度関数が何であり、どこから来たのかを十分に理解することが重要です。
10個の独立した観測値を持つ1つの系列y y$がある非常に単純なケースから始めましょう: 5, 0, 1, 1, 0, 3, 2, 3, 4, 1.
確率密度
最尤推定の最初のステップは、データの確率分布を仮定することです。 確率密度関数は、基礎となるモデルパラメーターのセットが与えられたデータを観測する確率を測定します。
この場合、私たちのデータは、特に非負のカウントデータであるデータに対して、一般的な仮定である基礎となるポアソン分布を持っていると仮定します。 個々の観測値Pois y_i/のポアソン確率密度関数は、
f f（y_i|\theta）=\frac{e^{-\theta}\theta^{y_i}}{y_i！Sample f（y_1、y_2、\ldots、y_{10}/\theta）=\prod_{i=1}!{10}\frac{e^{-\theta}\theta^{y_i}}{y_i！!f（y_1、y_2、\ldots、y_{10}/\theta）=\prod_{i=1}!{10}\frac{e^{-\theta}\theta^{y_i}}{y_i！!f（y_1、y_2、\ldots、y_{10}/\theta）=\prod_{i=1}!{10}\frac{e^{-\theta}\theta^{y_i}}{y_i！!f（y_1、y_2、\ldots、y_{10}/\theta）=\prod_{i=1}!{10}\frac{e^{-\theta}\theta^ e frac{e^{-10\theta}\theta^{\sum_{i=1}y{10}y_i}}{\prod_{i=1}!{10}y_i！ 確率密度を使用して、特定のパラメータが与えられたときにデータがどの程度発生する可能性があるかという問題に答えることができます。
尤度関数
尤度関数と確率密度関数の違いは微妙ですが重要です。
- 確率密度関数は、基礎となる分布パラメータが与えられたデータを観測する確率を表します。 これは、パラメータが既知であることを前提としています。
- 尤度関数は、観測されたデータが与えられたときにパラメータ値が発生する尤度を表します。 これは、パラメータが不明であることを前提としています。
数学的に尤度関数は確率密度に似ています：
l L（\theta|y_1、y_2、\ldots、y_{10}）=f（y_1、y_2、\ldots、y_{10}/\theta）Pois
ポアソンの例では、尤度関数
をかなり簡単に導き出すことができます
$ $L（\theta|y_1、y_2、\Ldots、y_{10}）=\frac{e^{-10\theta}\theta^{\sum_{i=1}!{10}y_i}}{\prod_{i=1}!{10}y_i！}=\frac{e^{-10\シータ}\シータ^{20}}{207,360}$$
未知のパラメータtheta theta.の最尤推定値は、この尤度を最大化する値です。.theta.の最大尤度推定値は、unknown theta.の最大尤度を最大化する値です。
対数尤度関数
実際には、共同分布関数は扱いにくく、代わりに尤度関数のln\ln.が使用されます。 ポアソンデータセットの場合、対数尤度関数は次のようになります:
$$\ln L（\theta|y）=-n\theta+\ln\sum_{i=1}!{n}y_i-\ln\theta\sum_{i=1}!{n}y_i！ =-10\シータ+20\ln（\シータ）-\ln(207,360)$$
対数尤度は、通常、尤度関数よりも最適化が容易です。
最尤推定量
私たちのデータセットの尤度と対数尤度のグラフは、maximum theta=2.のときに最尤が発生することを示しています。 これは、最尤推定量$hat{\theta}_{MLE}=2.を意味します。
条件付き最尤
上記の簡単な例では、最尤推定を使用してデータの密度のパラメータを推定します。 このアイデアを拡張して、観測されたデータy y.と他の説明変数x x.との関係を推定することができます。 この場合、条件付き最尤関数を使用します。
$ $L(\theta|y,x)$ $
次の例では、これをより詳しく見ていきます。
最尤推定の適用例
最尤推定の汎用性は、多くの経験的なアプリケーションで有用です。 これは、最も単純な線形回帰モデルから高度な選択モデルまで、あらゆるものに適用することができます。
このセクションでは、二つのアプリケーションを見ていきます:
- の線形回帰モデル
- 以下の時間帯にサービスを停止モデル
最尤推定とリニア型モデル
線形回帰し、これらのモデルの差が同一とは独立に通:
$$\ε=y\hat{\beta}x\sim N(0,\sigma^2)$$
この仮定のもとでは、尤度関数の未知パラメータベクトル$\theta=\{\beta,\sigma^2\}$条件とし、観測データ,$y$$x$が与:
$$\ln L(\theta|y,x)=-\frac{1}{2}\sum_{i=1}^n\ビ$$
最尤推定の$\beta$と$\sigma^2$者を最大化する可能性.
最尤推定とプロビットモデル
プロビットモデルは基本的な離散選択モデルです。
プロビットモデルは、離散的な結果を駆動する基礎となる潜在変数があることを前提としています。 潜在変数は次のような正規分布に従います:
$$y^*=x\theta+\ε$$$$\イプシロン\sim N(0,1)$$
ここで、
$$y_i=\begin{場合}0\text{if}y_i^*\le0\\1\text{if}y_i^*\gt0\\\end{場合} $$
確率密度
$$P(y_i=1|X_i)=P(y_i^*\gt0|X_i)=P(x\theta+\イプシロン\gt0|X_i)=$$$$P(\イプシロン\gt-x\theta|X_i)=1-\Phi(-x\theta)=\Phi(x\theta)$$
ここで，$\Phi$の正規分布の累積分布関数. このモデルの対数尤度は
ln ln l(\theta)=\sum_{i=1}n n\big
結論
おめでとうございます！ 今日のブログの後、最尤推定の基礎をよりよく理解する必要があります。 特に、我々はカバーしてきました:
- 最尤推定の基本的な理論。
- 最尤推定の長所と短所。
- 対数尤度関数。
- 条件付き最尤関数。
Ericaは2012年以来、GAUSSユニバースの構築、配布、強化に取り組んできました。 彼女はデータ分析とソフトウェア開発に熟練した経済学者です。 彼女は経済学と工学の学士号と修士号を取得しており、15年以上にわたり、データ分析と研究における業界と学術の経験を組み合わせています。