Nybegynnerguide Til Maksimal Sannsynlighetsestimering

byErica · Publisertseptember 21, 2020 * Oppdatertseptember 23, 2020

Introduksjon

Maksimal sannsynlighet Er en mye brukt teknikk for estimering med applikasjoner på mange områder, inkludert tidsseriemodellering, paneldata, diskrete data og til og med maskinlæring.

i dagens blogg dekker vi grunnleggende om maksimal sannsynlighetsestimering.

spesielt diskuterer vi:

1. den grunnleggende teorien om maksimal sannsynlighet.
2. fordeler og ulemper ved maksimal sannsynlighet estimering.
3. funksjonen logg-sannsynlighet.
4. Modellering programmer.

i tillegg vurderer vi en enkel anvendelse av maksimal sannsynlighets estimering til en lineær regresjonsmodell.

Hva Er Maksimal Sannsynlighet Estimering?

Estimering Av Maksimal sannsynlighet Er en statistisk metode for å estimere parametrene til en modell. I estimering av maksimal sannsynlighet velges parametrene for å maksimere sannsynligheten for at den antatte modellen resulterer i de observerte dataene.

dette innebærer at for å gjennomføre maksimal sannsynlighetsestimering må vi:

1. Anta en modell, også kjent som en datagenereringsprosess, for våre data.
2. kunne utlede sannsynlighetsfunksjonen for våre data, gitt vår antatte modell (vi vil diskutere dette mer senere).

når sannsynlighetsfunksjonen er avledet, er maksimal sannsynlighetsestimering ikke noe mer enn et enkelt optimaliseringsproblem.

Hva Er Fordelene Og Ulempene Ved Maksimal Sannsynlighetsestimering?

På dette punktet lurer du kanskje på hvorfor du bør velge maksimal sannsynlighets estimering over andre metoder som minste kvadraters regresjon eller generalisert metode for øyeblikk. Realiteten er at vi ikke alltid bør velge maksimal sannsynlighet estimering. Som enhver estimeringsteknikk har maksimal sannsynlighets estimering fordeler og ulemper.

Fordeler Med Maksimal Sannsynlighet Estimering

det er mange fordeler med maksimal sannsynlighet estimering:

• hvis modellen er riktig antatt, er estimatoren for maksimal sannsynlighet den mest effektive estimatoren.
• Den gir en konsekvent, men fleksibel tilnærming som gjør den egnet for en rekke applikasjoner, inkludert tilfeller der antagelser om andre modeller brytes.
• det resulterer i objektive estimater i større prøver.

Ulemper Ved Maksimal Sannsynlighetsestimering

• det er avhengig av antagelsen om en modell og avledningen av sannsynlighetsfunksjonen som ikke alltid er lett.
• som andre optimaliseringsproblemer kan estimering av maksimal sannsynlighet være følsom for valg av startverdier.
• avhengig av kompleksiteten til sannsynlighetsfunksjonen, kan den numeriske estimeringen være beregningsmessig dyr.
• Estimater kan være partisk i små prøver.

Hva er Sannsynlighetsfunksjonen?

Maksimal sannsynlighet estimering hengsler på avledning av sannsynlighetsfunksjonen. Av denne grunn er det viktig å ha en god forståelse av hva sannsynlighetsfunksjonen er og hvor den kommer fra.

la oss starte med det veldig enkle tilfellet der vi har en serie $y$ med 10 uavhengige observasjoner: 5, 0, 1, 1, 0, 3, 2, 3, 4, 1.

Sannsynlighetstettheten

det første trinnet i estimering av maksimal sannsynlighet er å anta en sannsynlighetsfordeling for dataene. En sannsynlighetstetthetsfunksjon måler sannsynligheten for å observere dataene gitt et sett med underliggende modellparametere.

i dette tilfellet vil vi anta at våre data har en underliggende Poisson-fordeling som er en vanlig antagelse, spesielt for data som er ikke-negative telledata.

poisson-sannsynlighetstetthetsfunksjonen for en individuell observasjon, $y_i$, er gitt av

$ $ f (y_i | \theta ) = \frac{e^{-\theta}\theta^{y_i}}{y_i!} $ $

fordi observasjonene i vår prøve er uavhengige, kan sannsynlighetstettheten til vår observerte prøve bli funnet ved å ta produktet av sannsynligheten for de enkelte observasjonene:

$$f(y_1, y_2, \ldots, y_{10}|\theta) = \prod_{i=1}^{10} \frac{e^{-\theta}\theta^{y_i}}{y_i!} = \frac{e^{-10\theta}\theta^{\sum_{i=1}^{10}y_i}} {\prod_{i=1}^{10}y_i!} $ $

Vi kan bruke sannsynlighetstettheten til å svare på spørsmålet om hvor sannsynlig det er at våre data oppstår gitt bestemte parametere.

Sannsynlighetsfunksjonen

forskjellene mellom sannsynlighetsfunksjonen og sannsynlighetsfunksjonen er nyanserte, men viktige.

• en sannsynlighetstetthetsfunksjon uttrykker sannsynligheten for å observere våre data gitt de underliggende fordelingsparametrene. Det antas at parametrene er kjent.
• sannsynlighetsfunksjonen uttrykker sannsynligheten for at parameterverdier forekommer gitt de observerte dataene. Det antas at parametrene er ukjente.

Matematisk ser sannsynlighetsfunksjonen ut som sannsynlighetstettheten:

$$L(\theta|y_1, y_2, \ldots, y_{10}) = f(y_1, y_2, \ldots, y_{10}|\theta)$$

For vårt Poisson-eksempel kan vi ganske enkelt utlede sannsynlighetsfunksjonen

$$l(\theta|Y_1, y_2, \ldots, y_{10}) = \frac{e^{-10\theta}\theta^{\sum_{i=1}^{10}y_i}}{\prod_{i=1}^{10}y_i!} = \frac{e^{-10\theta}\theta^{20}}{207,360}$$

det maksimale sannsynlighetsestimatet for den ukjente parameteren, $\theta$, er verdien som maksimerer denne sannsynligheten.

Log-Sannsynlighetsfunksjonen

i praksis kan fellesfordelingsfunksjonen være vanskelig å jobbe med, og $\ln$ av sannsynlighetsfunksjonen brukes i stedet. I Tilfelle Av Vårt Poisson-datasett er log-sannsynlighetsfunksjonen:

$$\ln(l(\theta / y)) = – n \theta + \ln \ sum_{i = 1}^{n} y_i – \ ln \ theta \ sum_{i = 1}^{n} y_i! = -10\theta + 20 \ ln (\theta)- \ ln(207,360)$$

log-sannsynligheten er vanligvis lettere å optimalisere enn sannsynlighetsfunksjonen.

Estimatoren For Maksimal Sannsynlighet

en graf over sannsynligheten og loggsannsynligheten for datasettet vårt viser at maksimal sannsynlighet oppstår når $\theta = 2$. Dette betyr at vår maksimale sannsynlighets estimator, $ \ hat{\theta} _ {MLE} = 2$.

Den Betingede Maksimale Sannsynligheten

i det enkle eksemplet ovenfor bruker vi maksimal sannsynlighetsestimering for å estimere parametrene for dataens tetthet. Vi kan utvide denne ideen til å estimere forholdet mellom våre observerte data, $ y$ og andre forklarende variabler, $x$. I dette tilfellet jobber vi med betinget maksimal sannsynlighetsfunksjon:

$ $ L (\theta | y, x)$ $

Vi vil se nærmere på dette i vårt neste eksempel.

Eksempelapplikasjoner Med Maksimal Sannsynlighet Estimering

allsidigheten til maksimal sannsynlighet estimering gjør det nyttig på tvers av mange empiriske applikasjoner. Den kan brukes på alt fra de enkleste lineære regresjonsmodellene til avanserte valgmodeller.

i denne delen vil vi se på to programmer:

• den lineære regresjonsmodellen
• probit-modellen

Maksimal Sannsynlighetsestimering og Den Lineære Modellen

i lineær regresjon antar vi at modellrester er identiske og uavhengig normalfordelte:

$$\epsilon = y – \hat {\beta}x \ sim N (0, \sigma^2)$$

Basert på denne antagelsen er log-sannsynlighetsfunksjonen for den ukjente parametervektoren, $\theta = \{\beta, \sigma^2\}$, betinget av de observerte dataene, $y$ og $x$ gitt av:

$$\ln l(\theta|y, x) = – \frac{1}{2} \ sum_{i=1}^N \ Big $$

de maksimale sannsynlighetsestimatene for $ \ beta$ og $ \ sigma^2$ er de som maksimerer sannsynligheten.

Estimering Av Maksimal Sannsynlighet Og Probit-Modellen

probit-modellen er en grunnleggende diskret valgmodell.

probit-modellen antar at det er en underliggende latent variabel som driver det diskrete utfallet. De latente variablene følger en normalfordeling slik at:

$ $ y^ * = x \ theta + \ epsilon$ $ $ $ \epsilon \sim N(0,1)$$

hvor

$$ y_i = \begin{cases} 0 \text{ if } y_i^* \le 0\\ 1 \text{ if } y_i^* \gt 0\\ \end{cases} $$

sannsynlighetstettheten

$$P(y_i = 1|X_i) = P(y_i^* \gt 0|x_i) = p(x\theta + \epsilon\gt 0|x_i) = $$$$p(\epsilon \gt-x\theta|x_i) = 1 – \phi(-x\theta) = \phi(x\theta)$$

hvor $\phi$ representerer den normale kumulative distribusjonsfunksjonen.

log-sannsynligheten for denne modellen er

$$\ln l(\theta) = \ sum_{i=1}^N \ Big $$

Konklusjoner

Gratulerer! Etter dagens blogg, bør du ha en bedre forståelse av det grunnleggende av maksimal sannsynlighet estimering. Spesielt har vi dekket:

• Den grunnleggende teorien om maksimal sannsynlighet estimering.
• fordeler og ulemper ved maksimal sannsynlighet estimering.
• funksjonen logg-sannsynlighet.
• funksjonen betinget maksimal sannsynlighet.

Erica (Direktør For Applikasjoner og Opplæring Hos Aptech Systems, Inc. )

Erica Har jobbet med å bygge, distribuere OG styrke GAUSS-universet siden 2012. Hun er utdannet økonom innen dataanalyse og programvareutvikling. Hun har oppnådd En Ba og MSc i økonomi og ingeniørfag og har over 15 års kombinert industri og akademisk erfaring innen dataanalyse og forskning.