Guide Du Débutant Pour l’Estimation du Maximum de Vraisemblance

byErica * Publié21 Septembre 2020 * mis à jour23 septembre 2020

Introduction

Le Maximum de vraisemblance est une technique largement utilisée pour l’estimation avec des applications dans de nombreux domaines, notamment la modélisation de séries chronologiques, les données de panel, les données discrètes et même l’apprentissage automatique.

Dans le blog d’aujourd’hui, nous couvrons les principes fondamentaux de l’estimation du maximum de vraisemblance.

En particulier, nous discutons:

1. La théorie de base du maximum de vraisemblance.
2. Les avantages et les inconvénients de l’estimation du maximum de vraisemblance.
3. La fonction log-vraisemblance.
4. Applications de modélisation.

De plus, nous considérons une application simple de l’estimation du maximum de vraisemblance à un modèle de régression linéaire.

Qu’est-ce que l’Estimation du Maximum de vraisemblance?

L’estimation du maximum de vraisemblance est une méthode statistique pour estimer les paramètres d’un modèle. Dans l’estimation du maximum de vraisemblance, les paramètres sont choisis pour maximiser la probabilité que le modèle supposé produise les données observées.

Cela implique que pour mettre en œuvre l’estimation du maximum de vraisemblance, il faut:

1. Supposons un modèle, également appelé processus de génération de données, pour nos données.
2. Être capable de dériver la fonction de vraisemblance pour nos données, compte tenu de notre modèle supposé (nous en discuterons plus tard).

Une fois la fonction de vraisemblance dérivée, l’estimation du maximum de vraisemblance n’est rien de plus qu’un simple problème d’optimisation.

Quels sont les Avantages et les Inconvénients de l’Estimation du Maximum de Vraisemblance?

À ce stade, vous vous demandez peut-être pourquoi vous devriez choisir l’estimation du maximum de vraisemblance par rapport à d’autres méthodes telles que la régression par les moindres carrés ou la méthode généralisée des moments. La réalité est que nous ne devrions pas toujours choisir l’estimation du maximum de vraisemblance. Comme toute technique d’estimation, l’estimation du maximum de vraisemblance présente des avantages et des inconvénients.

Avantages de l’Estimation du Maximum de vraisemblance

Il existe de nombreux avantages de l’estimation du maximum de vraisemblance:

• Si le modèle est correctement supposé, l’estimateur du maximum de vraisemblance est l’estimateur le plus efficace.
• Il fournit une approche cohérente mais flexible qui le rend approprié pour une grande variété d’applications, y compris les cas où les hypothèses d’autres modèles sont violées.
• Il en résulte des estimations impartiales dans des échantillons plus grands.

Inconvénients de l’Estimation du Maximum de vraisemblance

• Elle repose sur l’hypothèse d’un modèle et la dérivation de la fonction de vraisemblance qui n’est pas toujours facile.
• Comme d’autres problèmes d’optimisation, l’estimation du maximum de vraisemblance peut être sensible au choix des valeurs de départ.
• Selon la complexité de la fonction de vraisemblance, l’estimation numérique peut être coûteuse en calcul.
• Les estimations peuvent être biaisées dans de petits échantillons.

Quelle est la fonction de vraisemblance ?

L’estimation du maximum de vraisemblance dépend de la dérivation de la fonction de vraisemblance. Pour cette raison, il est important de bien comprendre ce qu’est la fonction de vraisemblance et d’où elle vient.

Commençons par le cas très simple où nous avons une sérieyy with avec 10 observations indépendantes: 5, 0, 1, 1, 0, 3, 2, 3, 4, 1.

La Densité de probabilité

La première étape de l’estimation du maximum de vraisemblance consiste à supposer une distribution de probabilité pour les données. Une fonction de densité de probabilité mesure la probabilité d’observer les données à partir d’un ensemble de paramètres de modèle sous-jacents.

Dans ce cas, nous supposerons que nos données ont une distribution de Poisson sous-jacente qui est une hypothèse courante, en particulier pour les données qui sont des données de comptage non négatives.

La fonction de densité de probabilité de Poisson pour une observation individuelle,yy_i$, est donnée par

ff(y_i|\theta) = \frac{e^{-\theta}\theta^{y_i}}{y_i!}

Comme les observations de notre échantillon sont indépendantes, la densité de probabilité de notre échantillon observé peut être trouvée en prenant le produit de la probabilité des observations individuelles:

ff(y_1, y_2, \ldots, y_{10}|\theta) = \prod_{i= 1}^{10}\frac{e^{-\theta}\theta^{y_i}}{y_i!}= \frac {e^{-10\thêta}\thêta^{\sum_{i=1}^{10}y_i}} {\prod_{i=1}^{10}y_i!}

Nous pouvons utiliser la densité de probabilité pour répondre à la question de la probabilité que nos données se produisent compte tenu de paramètres spécifiques.

La fonction de vraisemblance

Les différences entre la fonction de vraisemblance et la fonction de densité de probabilité sont nuancées mais importantes.

• Une fonction de densité de probabilité exprime la probabilité d’observer nos données compte tenu des paramètres de distribution sous-jacents. Il suppose que les paramètres sont connus.
• La fonction de vraisemblance exprime la probabilité que des valeurs de paramètres se produisent compte tenu des données observées. Il suppose que les paramètres sont inconnus.

Mathématiquement, la fonction de vraisemblance ressemble à la densité de probabilité :

$$L(\theta|y_1, y_2, \ldots, y_{10}) = f(y_1, y_2, \ldots, y_{10}| \theta)

Pour notre exemple de Poisson, nous pouvons assez facilement dériver la fonction de vraisemblance

$$L(\thêta|y_1, y_2, \ldots, y_{10}) = \frac{e^{-10\thêta}\thêta^{\sum_{i=1}^{10}y_i}}{\prod_{i=1}^{10}y_i!} = \frac {e^{-10\thêta}\thêta^{20}}{207,360}$$

L’estimation du maximum de vraisemblance du paramètre inconnu,\\theta$, est la valeur qui maximise cette vraisemblance.

La fonction Log-Vraisemblance

En pratique, la fonction de distribution conjointe peut être difficile à utiliser et le $\ln of de la fonction de vraisemblance est utilisé à la place. Dans le cas de notre jeu de données de Poisson, la fonction log-vraisemblance est:

$$\ ln(L(\thêta/y)) = – n\thêta +\ln\somme_ {i= 1}^{n}y_i-\ln\thêta\somme_ {i= 1}^{n}y_i! = -10\thêta + 20\ln(\thêta) – \ln(207,360)$$

La log-vraisemblance est généralement plus facile à optimiser que la fonction de vraisemblance.

L’Estimateur du Maximum de Vraisemblance

Un graphique de la probabilité et de la log-vraisemblance pour notre ensemble de données montre que la probabilité maximale se produit lorsque $\thêta = 2$. Cela signifie que notre estimateur du maximum de vraisemblance,hat\hat{\theta}_{MLE} = 2$.

Le Maximum de vraisemblance conditionnel

Dans l’exemple simple ci-dessus, nous utilisons l’estimation du maximum de vraisemblance pour estimer les paramètres de la densité de nos données. Nous pouvons étendre cette idée pour estimer la relation entre nos données observées,yy$, et d’autres variables explicatives,xx$. Dans ce cas, nous travaillons avec la fonction de maximum de vraisemblance conditionnelle:

$$L(\thêta | y, x)

Nous examinerons cela de plus près dans notre exemple suivant.

Exemples d’applications de l’Estimation du Maximum de vraisemblance

La polyvalence de l’estimation du maximum de vraisemblance la rend utile dans de nombreuses applications empiriques. Il peut être appliqué à tout, des modèles de régression linéaire les plus simples aux modèles de choix avancés.

Dans cette section, nous examinerons deux applications:

• Le modèle de régression linéaire
• Le modèle probit

Estimation du Maximum de Vraisemblance et le Modèle Linéaire

Dans la régression linéaire, nous supposons que les valeurs résiduelles du modèle sont identiques et indépendamment distribuées normalement:

$$\epsilon = y – \hat{\beta}x \sim N(0, \sigma^2)$$

Se fondant sur cette hypothèse, le journal d’une fonction de vraisemblance du paramètre inconnu vecteur $\theta = \{\beta, \sigma^2\}$, à la condition que les données de l’observation, $y$ et $x$ est donnée par:

$$\ln L(\theta|y, x) = – \frac{1}{2}\sum_{i=1}^n \Big $$

Le maximum de vraisemblance des estimations de $\beta$ et $\sigma^2$ sont ceux qui maximisent la probabilité.

Estimation du maximum de vraisemblance et Modèle Probit

Le modèle probit est un modèle de choix discret fondamental.

Le modèle probit suppose qu’il existe une variable latente sous-jacente conduisant au résultat discret. Les variables latentes suivent une distribution normale telle que:

$y^* = x\theta + \epsilon$$$$\epsilon \sim N(0,1)$$

où

$$ y_i = \begin{cas} 0 \text{ si } y_i^* \le 0\\ 1 \text{ si } y_i^* \gt 0\\ \end{cas} $$

La densité de probabilité

$$P(y_i = 1|X_i) = P(y_i^* \gt 0|X_i) = P(x\theta + \epsilon\gt 0|X_i) = $$$$P(\epsilon \gt -x\theta|X_i) = 1 – \Phi(-x\theta) = \Phi(x\theta)$$

où $\Phi$ représente la normale de la fonction de distribution cumulée.

La log-vraisemblance pour ce modèle est

$$\ln L(\theta) =\sum_{i=1}^n\Big

Conclusions

Félicitations! Après le blog d’aujourd’hui, vous devriez avoir une meilleure compréhension des principes fondamentaux de l’estimation du maximum de vraisemblance. En particulier, nous avons couvert:

• La théorie de base de l’estimation du maximum de vraisemblance.
• Les avantages et les inconvénients de l’estimation du maximum de vraisemblance.
• La fonction log-vraisemblance.
• La fonction de maximum de vraisemblance conditionnelle.

Erica (Directrice des applications et de la formation chez Aptech Systems, Inc. )

Erica travaille à construire, distribuer et renforcer l’univers de GAUSS depuis 2012. Elle est économiste spécialisée dans l’analyse de données et le développement de logiciels. Elle est titulaire d’un baccalauréat et d’une maîtrise en économie et en ingénierie et possède plus de 15 ans d’expérience combinée dans l’industrie et l’enseignement dans l’analyse et la recherche de données.