nybörjarguide till maximal sannolikhetsbedömning

byErica · PublishedSeptember 21, 2020 · UpdatedSeptember 23, 2020

introduktion

maximal sannolikhet är en allmänt använd teknik för uppskattning med applikationer inom många områden, inklusive tidsseriemodellering, paneldata, diskreta data och till och med maskininlärning.

i dagens blogg täcker vi grunden för maximal sannolikhetsbedömning.

i synnerhet diskuterar vi:

1. den grundläggande teorin om maximal sannolikhet.
2. fördelarna och nackdelarna med maximal sannolikhetsbedömning.
3. log-sannolikhetsfunktionen.
4. modellering applikationer.

dessutom anser vi en enkel tillämpning av maximal sannolikhetsuppskattning på en linjär regressionsmodell.

Vad är maximal sannolikhetsbedömning?

Maximum likelihood estimation är en statistisk metod för att uppskatta parametrarna för en modell. Vid maximal sannolikhetsbedömning väljs parametrarna för att maximera sannolikheten för att den antagna modellen resulterar i observerade data.

detta innebär att för att genomföra maximal sannolikhetsbedömning måste vi:

1. Antag en modell, även känd som en datagenereringsprocess, för våra data.
2. kunna härleda sannolikhetsfunktionen för våra data, med tanke på vår antagna modell (vi kommer att diskutera detta mer senare).

när sannolikhetsfunktionen är härledd är maximal sannolikhetsbedömning inget annat än ett enkelt optimeringsproblem.

vilka är fördelarna och nackdelarna med maximal sannolikhetsbedömning?

vid denna tidpunkt kanske du undrar varför du bör välja maximal sannolikhetsbedömning över andra metoder som minsta kvadratregression eller den generaliserade metoden för stunder. Verkligheten är att vi inte alltid ska välja maximal sannolikhetsbedömning. Liksom alla uppskattningstekniker har maximal sannolikhetsbedömning fördelar och nackdelar.

fördelar med maximal sannolikhetsbedömning

det finns många fördelar med maximal sannolikhetsbedömning:

• om modellen antas korrekt är den maximala sannolikhetsbedömaren den mest effektiva uppskattaren.
• det ger ett konsekvent men flexibelt tillvägagångssätt som gör det lämpligt för en mängd olika applikationer, inklusive fall där antaganden om andra modeller bryts.
• det resulterar i objektiva uppskattningar i större prover.

nackdelar med maximal sannolikhetsbedömning

• det bygger på antagandet av en modell och härledningen av sannolikhetsfunktionen som inte alltid är lätt.
• liksom andra optimeringsproblem kan maximal sannolikhetsbedömning vara känslig för valet av startvärden.
• beroende på komplexiteten i sannolikhetsfunktionen kan den numeriska uppskattningen vara beräkningsmässigt dyr.
• uppskattningar kan vara partiska i små prover.

Vad är sannolikhetsfunktionen?

maximal sannolikhetsuppskattning beror på härledningen av sannolikhetsfunktionen. Av denna anledning är det viktigt att ha en god förståelse för vad sannolikhetsfunktionen är och varifrån den kommer.

låt oss börja med det mycket enkla fallet där vi har en serie $y$ med 10 oberoende observationer: 5, 0, 1, 1, 0, 3, 2, 3, 4, 1.

sannolikhetstätheten

det första steget i maximal sannolikhetsuppskattning är att anta en sannolikhetsfördelning för data. En sannolikhetstäthetsfunktion mäter sannolikheten för att observera data som ges en uppsättning underliggande modellparametrar.

i det här fallet antar vi att våra data har en underliggande Poisson-distribution som är ett vanligt antagande, särskilt för data som är icke-negativa räkningsdata.

Poisson-sannolikhetstäthetsfunktionen för en individuell observation, $y_i$, ges av

$$f(y_i | \theta ) = \frac{e^{-\theta}\theta^{y_i}}{y_i!} $ $

eftersom observationerna i vårt prov är oberoende kan sannolikhetstätheten för vårt observerade prov hittas genom att ta produkten av sannolikheten för de enskilda observationerna:

$$f(y_1, y_2, \ldots, y_{10}|\theta) = \prod_{i=1}^{10} \frac{e^{-\theta}\theta^{y_i}}{y_i!} = \ frac{e^{-10 \ theta}\theta^{\sum_{i=1}^{10}y_i}} {\prod_{i=1}^{10}y_i!} $ $

vi kan använda sannolikhetstätheten för att svara på frågan om hur sannolikt det är att våra data uppstår med specifika parametrar.

sannolikhetsfunktionen

skillnaderna mellan sannolikhetsfunktionen och sannolikhetstäthetsfunktionen är nyanserade men viktiga.

• en sannolikhetstäthetsfunktion uttrycker sannolikheten för att observera våra data med tanke på de underliggande distributionsparametrarna. Det förutsätter att parametrarna är kända.
• sannolikhetsfunktionen uttrycker sannolikheten för att parametervärden uppstår med tanke på observerade data. Det förutsätter att parametrarna är okända.

matematiskt liknar sannolikhetsfunktionen sannolikhetstätheten:

$$L(\theta|y_1, y_2, \ldots, y_{10}) = f(y_1, y_2, \ldots, y_{10}|\theta)$$

för vårt Poisson-exempel kan vi ganska enkelt härleda sannolikhetsfunktionen

$$l(\theta|y_1, y_2, \ldots, y_{10}) = \frac{e^{-10\theta}\Theta^{\sum_{i=1}^{10}y_i} {\prod_{i=1}^{10} y_i!} = \ frac{e^{-10 \ theta}\theta^{20}}{207,360}$$

den maximala sannolikhetsbedömningen av den okända parametern, $\theta$, är det värde som maximerar denna sannolikhet.

Log-Likelihood-funktionen

i praktiken kan joint distribution-funktionen vara svår att arbeta med och $\ln$ för likelihood-funktionen används istället. När det gäller vår Poisson-dataset är log-sannolikhetsfunktionen:

$$\ln (l (\theta|y)) = – n\theta + \ln \ sum_{i=1}^{n} y_i – \ln \Theta \sum_{i=1}^{n} y_i! = -10 \ theta + 20 \ln (\theta) – \ln(207,360)$$

log-sannolikheten är vanligtvis lättare att optimera än sannolikhetsfunktionen.

den maximala Sannolikhetsbedömaren

en graf över sannolikheten och log-sannolikheten för vår dataset visar att den maximala sannolikheten uppstår när $\theta = 2$. Det betyder att vår maximala sannolikhetsuppskattare, $ \ hat {\theta}_{mle} = 2$.

den villkorliga maximala sannolikheten

i det enkla exemplet ovan använder vi maximal sannolikhetsbedömning för att uppskatta parametrarna för vår datatäthet. Vi kan utöka den här tanken för att uppskatta förhållandet mellan våra observerade data, $y$ och andra förklarande variabler, $x$. I det här fallet arbetar vi med den villkorliga maximala sannolikhetsfunktionen:

$$L(\theta | y, x)$$

vi kommer att titta närmare på detta i vårt nästa exempel.

exempel på tillämpningar av maximal sannolikhetsbedömning

mångsidigheten hos maximal sannolikhetsbedömning gör den användbar i många empiriska tillämpningar. Den kan tillämpas på allt från de enklaste linjära regressionsmodellerna till avancerade valmodeller.

i det här avsnittet kommer vi att titta på två applikationer:

• den linjära regressionsmodellen
• probitmodellen

maximal sannolikhetsbedömning och den linjära modellen

i linjär regression antar vi att modellresterna är identiska och oberoende normalt fördelade:

$$\epsilon = y – \ hat {\beta}x \ sim N (0, \ sigma^2)$$

baserat på detta antagande ges log-sannolikhetsfunktionen för den okända parametervektorn, $\theta = \{\beta, \Sigma^2\}$, villkorad av observerade data, $y$ och $x$ av:

$$\ln L(\theta|y, x) = – \frac{1}{2}\sum_{i=1}^n \Big $$

de maximala sannolikhetsbedömningarna av $\beta$ och $\sigma^2$ är de som maximerar sannolikheten.

maximal Sannolikhetsuppskattning och Probitmodellen

probitmodellen är en grundläggande diskret valmodell.

probitmodellen antar att det finns en underliggande latent variabel som driver det diskreta resultatet. De latenta variablerna följer en normalfördelning så att:

$$y^ * = x \ theta + \epsilon$$$$\epsilon \ sim N(0,1)$$

där

$$ y_i = \begin{cases} 0 \text{ if } y_i^* \le 0\\ 1 \text{ if } y_i^* \gt 0\\ \end{cases} $$

sannolikhetstätheten

$$P(y_i = 1|X_i) = P(y_i^* \gt 0|X_i) = P(x\Theta + \Epsilon\gt 0|x_i) = $$$$p(\Epsilon \gt-X\theta|x_i) = 1 – \PHI(-X\theta) = \Phi(x\theta)$$

där $\Phi$ representerar den normala kumulativa fördelningsfunktionen.

log-sannolikheten för denna modell är

$$\ln L(\theta) = \sum_{i=1}^n \Big $$

slutsatser

Grattis! Efter dagens blogg bör du ha en bättre förståelse för grunderna för maximal sannolikhetsbedömning. I synnerhet har vi täckt:

• den grundläggande teorin om maximal sannolikhetsbedömning.
• fördelarna och nackdelarna med maximal sannolikhetsbedömning.
• log-sannolikhetsfunktionen.
• funktionen för villkorlig maximal sannolikhet.

Erica (chef för applikationer och utbildning på Aptech Systems, Inc. )

Erica har arbetat för att bygga, distribuera och stärka GAUSS universum sedan 2012. Hon är ekonom skicklig i dataanalys och mjukvaruutveckling. Hon har en BA och MSc i ekonomi och teknik och har över 15 års kombinerad industri och akademisk erfarenhet av dataanalys och forskning.