Beginner’ s Guide To Maximum likability Estimation

byErica · PublishedSeptember 21, 2020 · UpdatedSeptember 23, 2020

Introduction

Maximum likability on laajalti käytetty tekniikka estimointiin monilla aloilla, mukaan lukien aikasarjojen mallinnus, paneelitieto, diskreetti data ja jopa koneoppiminen.

tämän päivän blogissa käydään läpi suurimman todennäköisyyden estimoinnin perusteita.

erityisesti keskustellaan:

1. suurimman todennäköisyyden perusteoria.
2. suurimman todennäköisyyden estimoinnin edut ja haitat.
3. log-todennäköisyysfunktio.
4. Mallinnussovellukset.

lisäksi harkitsemme yksinkertaisen todennäköisyysarvion soveltamista lineaariseen regressiomalliin.

mikä on suurimman todennäköisyyden estimointi?

Maksimitodennäköisyyden estimointi on tilastollinen menetelmä mallin parametrien estimointiin. Suurimman todennäköisyyden estimoinnissa parametrit valitaan maksimoimaan todennäköisyys, että oletettu malli johtaa havaittuun aineistoon.

tämä tarkoittaa, että toteuttaakseen suurimman todennäköisyysarvion meidän on:

1. oletetaan malli, joka tunnetaan myös tiedon tuottamisprosessina, meidän tiedoillemme.
2. on mahdollista johtaa todennäköisyysfunktio aineistollemme oletetun mallimme perusteella (keskustelemme tästä myöhemmin).

kun todennäköisyysfunktio on johdettu, suurimman todennäköisyyden estimointi on vain yksinkertainen optimointiongelma.

mitkä ovat suurimman todennäköisyyden estimoinnin edut ja haitat?

tässä vaiheessa saatat ihmetellä, miksi sinun pitäisi valita suurin todennäköisyys estimointi muihin menetelmiin, kuten pienimmän neliösumman regressioon tai yleistettyyn momenttien menetelmään. Totuus on, että meidän ei pitäisi aina valita suurin todennäköisyys estimointi. Kuten millä tahansa estimointitekniikalla, suurimmalla todennäköisyydellä estimoinnilla on etuja ja haittoja.

suurimman todennäköisyyden estimoinnin edut

suurimman todennäköisyyden estimoinnissa on monia etuja:

• jos malli oletetaan oikein, suurimman todennäköisyyden estimaattori on tehokkain estimaattori.
• se tarjoaa johdonmukaisen mutta joustavan lähestymistavan, jonka ansiosta se soveltuu monenlaisiin sovelluksiin, mukaan lukien tapaukset, joissa muiden mallien oletuksia rikotaan.
• se johtaa puolueettomiin estimaatteihin suuremmissa otoksissa.

suurimman todennäköisyyden estimoinnin haitat

• se nojaa mallin oletukseen ja todennäköisyysfunktion derivointiin, mikä ei aina ole helppoa.
• muiden optimointiongelmien tapaan maksimitodennäköisyysarvio voi olla herkkä lähtöarvojen valinnalle.
• todennäköisyysfunktion monimutkaisuudesta riippuen numeerinen estimointi voi olla laskennallisesti kallista.
• arviot voivat olla puolueellisia pienissä otoksissa.

mikä on Todennäköisyysfunktio?

suurimman todennäköisyyden estimointi riippuu todennäköisyysfunktion derivoinnista. Tästä syystä on tärkeää saada hyvä käsitys siitä, mikä todennäköisyysfunktio on ja mistä se tulee.

aloitetaan hyvin yksinkertaisesta tapauksesta, jossa meillä on yksi sarja $y$, jossa on 10 riippumatonta havaintoa: 5, 0, 1, 1, 0, 3, 2, 3, 4, 1.

todennäköisyystiheys

suurimman todennäköisyyden estimoinnin ensimmäinen vaihe on olettaa todennäköisyysjakauma aineistolle. Todennäköisyystiheysfunktio mittaa todennäköisyyttä havainnoida annettua dataa taustalla olevien malliparametrien joukolla.

tässä tapauksessa lähdemme siitä, että aineistollamme on taustalla Poisson-jakauma, joka on yleinen oletus, erityisesti tiedoille, jotka eivät ole nonnegatiivisia laskutietoja.

Poissonin todennäköisyystiheysfunktio yksittäiselle havainnolle, $y_i$, saadaan kaavalla

$$f (y_i | \theta ) = \frac{e^{-\theta}\theta^{y_i}}{y_i!}$$

koska otoksemme havainnot ovat riippumattomia, havaitun otoksemme todennäköisyystiheys voidaan löytää ottamalla yksittäisten havaintojen todennäköisyyden tulo:

$ $ f (y_1, y_2, \ldots, y_{10} / \theta) = \prod_{I=1}^{10} \frac{e^{-\theta}\theta^{y_i}}{y_i!} = \frac{e^{-10\theta}\Theta^{\sum_{i=1}^{10}y_i} {\prod_{I=1}^{10} y_i!} $$

Voimme käyttää todennäköisyystiheyttä vastataksemme kysymykseen siitä, kuinka todennäköistä on, että tietomme esiintyy tiettyjen parametrien perusteella.

Todennäköisyysfunktio

todennäköisyysfunktion ja todennäköisyystiheysfunktion erot ovat vivahteikkaita, mutta tärkeitä.

• todennäköisyystiheysfunktio ilmaisee todennäköisyyden havainnoida aineistoamme taustalla olevien jakaumaparametrien perusteella. Se olettaa, että parametrit ovat tiedossa.
• todennäköisyysfunktio ilmaisee havaittujen tietojen perusteella parametriarvojen toteutumisen todennäköisyyttä. Se olettaa, että parametrit ovat tuntemattomia.

matemaattisesti todennäköisyysfunktio näyttää samanlaiselta todennäköisyystiheyden kanssa:

$$l(\theta|y_1, y_2, \ldots, y_{10}|\theta) = f(y_1, y_2,\ldots, y_{10}|\theta)$$

Poisson-esimerkistämme voimme melko helposti johtaa todennäköisyysfunktion

$$l (\theta / y_1, y_2, \ldots, y_{10}) = \frac{e^{-10\theta}\theta^{\sum_{i=1}^{10}y_i}} {\prod_{I=1}^{10}y_i!} = \frac{e^{-10\theta}\theta^{20}}{207,360}$$

tuntemattoman parametrin suurin todennäköisyysarvio, $\theta$, on arvo, joka maksimoi tämän todennäköisyyden.

Log-Todennäköisyysfunktio

käytännössä yhteisjakaumafunktiota voi olla vaikea työstää ja sen sijaan käytetään todennäköisyysfunktion $\Ln$ arvoa. Poisson-tietokokoelmamme tapauksessa log-todennäköisyysfunktio on:

$$\ln (l (\theta|y)) = -n\theta + \Ln \sum_{i=1}^{n} y_i – \ln \theta \sum_{i=1}^{n} y_i! = -10\theta + 20 \Ln(\theta) – \ln(207,360)$$

log-todennäköisyys on yleensä helpompi optimoida kuin todennäköisyysfunktio.

suurimman todennäköisyyden estimaattori

datajoukkomme todennäköisyyden ja log-todennäköisyyden kuvaaja osoittaa, että suurin todennäköisyys tapahtuu, kun $\theta = 2$. Tämä tarkoittaa, että suurin todennäköisyysarviomme on $\hat{\theta}_{MLE} = 2$.

ehdollinen Maksimitodennäköisyys

yllä olevassa yksinkertaisessa esimerkissä käytämme maksimitodennäköisyyden estimointia arvioidaksemme datamme tiheyden parametreja. Voimme laajentaa tätä ajatusta arvioidaksemme havaitun datan, $y$, ja muiden selittävien muuttujien, $x$. Tässä tapauksessa käytämme ehdollista maksimitodennäköisyysfunktiota:

$$l (\theta | y, x)$$

tarkastelemme tätä tarkemmin seuraavassa esimerkissämme.

Maksimitodennäköisyyden estimoinnin Esimerkkisovellukset

maksimitodennäköisyyden estimoinnin monipuolisuus tekee siitä hyödyllisen monissa empiirisissä sovelluksissa. Sitä voidaan soveltaa kaikkeen yksinkertaisimmista lineaarisista regressiomalleista kehittyneisiin valintamalleihin.

tässä jaksossa tarkastellaan kahta hakemusta:

• lineaarinen regressiomalli
• probit-malli

Maksimitodennäköisyysarvio ja lineaarinen malli

lineaarisessa regressiossa oletamme, että mallin jäännökset ovat identtisiä ja itsenäisesti normaalisti jakautuneita:

$$\epsilon = y – \hat{\beta}x \sim N (0, \sigma^2)$$

tämän olettamuksen perusteella tuntemattoman parametrivektorin log-todennäköisyysfunktio $\Theta = \{\beta, \sigma^2\}$, joka riippuu havaitusta datasta, $y$ ja $x$ saadaan:

$$\Ln L(\theta / y, x) = – \frac{1}{2}\sum_{i=1}^n \Big $$

todennäköisyysarviot $\beta$ ja $\sigma^2$ ovat ne, jotka maksimoivat todennäköisyyden.

Maksimitodennäköisyyden estimointi ja Probitin malli

probitin malli on perustava diskreetti valintamalli.

probitin mallissa oletetaan, että diskreetin lopputulosta ajava piilevä muuttuja on olemassa. Piilevät muuttujat seuraavat normaalijakaumaa siten, että:

$ $ y^* = x\theta + \epsilon$$ $ $ \epsilon \sim N(0,1)$$

missä

$$ y_i = \begin{cases} 0 \text{ if } y_i^* \le 0\\ 1 \text{ if } y_i^* \gt 0\\ \end{cases} $$

todennäköisyystiheys

$$P(y_i = 1|X_i) = P(y_i^* \gt 0|X_i) = P(x\\Theta + \Epsilon\gt 0|x_i) = $$$p (\Epsilon\gt-X \theta|x_i) = 1 – \PHI(-X \theta) = \Phi(x\theta) $$

missä$ \ Phi $edustaa normaalia kumulatiivista jakaumafunktiota.

tämän mallin log-todennäköisyys on

$ $ \Ln L(\theta) = \sum_{i=1}^n \Big $$

päätelmät

onnittelut! Tämän päivän blogin jälkeen sinulla pitäisi olla parempi käsitys maksimaalisen todennäköisyyden estimoinnin perusteista. Erityisesti olemme käsitelleet:

• suurimman todennäköisyyden estimoinnin perusteoria.
• suurimman todennäköisyyden estimoinnin edut ja haitat.
• log-todennäköisyysfunktio.
• ehdollinen maksimitodennäköisyysfunktio.

Erica (sovellus – ja koulutusjohtaja, Aptech Systems, Inc. )

Erica on pyrkinyt rakentamaan, levittämään ja vahvistamaan Gaussin universumia vuodesta 2012. Hän on data-analyysiin ja ohjelmistokehitykseen erikoistunut taloustieteilijä. Hän on suorittanut BA-ja MSc taloustieteen ja tekniikan ja on yli 15 vuotta yhdistetty teollisuuden ja akateemista kokemusta tietojen analysointi ja tutkimus.