Ghidul începătorului pentru estimarea probabilității maxime

byErica · PublishedSeptember 21, 2020 · UpdatedSeptember 23, 2020

Introducere

probabilitatea maximă este o tehnică utilizată pe scară largă pentru estimare cu aplicații în multe domenii, inclusiv modelarea seriilor de timp, datele panoului, datele discrete și chiar învățarea automată.

în blogul de astăzi, acoperim fundamentele estimării probabilității maxime.

în special, discutăm:

1. teoria de bază a probabilității maxime.
2. avantajele și dezavantajele estimării probabilității maxime.
3. funcția log-probabilitate.
4. aplicații de modelare.

în plus, considerăm o simplă aplicare a estimării probabilității maxime la un model de regresie liniară.

care este estimarea probabilității maxime?

estimarea probabilității maxime este o metodă statistică pentru estimarea parametrilor unui model. În estimarea probabilității maxime, parametrii sunt aleși pentru a maximiza probabilitatea ca modelul presupus să aibă ca rezultat datele observate.

aceasta implică faptul că, pentru a implementa estimarea maximă a probabilității, trebuie să:

1. să presupunem un model, cunoscut și sub numele de proces de generare a datelor, pentru datele noastre.
2. să putem obține funcția de probabilitate pentru datele noastre, având în vedere modelul nostru presupus (vom discuta acest lucru mai târziu).

odată derivată funcția de probabilitate, estimarea maximă a probabilității nu este altceva decât o simplă problemă de optimizare.

care sunt avantajele și dezavantajele estimării probabilității maxime?

în acest moment, s-ar putea să vă întrebați de ce ar trebui să alegeți estimarea probabilității maxime față de alte metode, cum ar fi regresia celor mai mici pătrate sau metoda generalizată a momentelor. Realitatea este că nu ar trebui să alegem întotdeauna estimarea maximă a probabilității. Ca orice tehnică de estimare, estimarea probabilității maxime are avantaje și dezavantaje.

avantajele estimării probabilității maxime

există multe avantaje ale estimării probabilității maxime:

• dacă modelul este asumat corect, Estimatorul de probabilitate maximă este cel mai eficient estimator.
• oferă o abordare consecventă, dar flexibilă, care o face adecvată pentru o mare varietate de aplicații, inclusiv cazurile în care ipotezele altor modele sunt încălcate.
• rezultă estimări imparțiale în eșantioane mai mari.

dezavantaje ale estimării probabilității maxime

• se bazează pe presupunerea unui model și derivarea funcției de probabilitate care nu este întotdeauna ușoară.
• ca și alte probleme de optimizare, estimarea maximă a probabilității poate fi sensibilă la alegerea valorilor de pornire.
• în funcție de complexitatea funcției de probabilitate, estimarea numerică poate fi costisitoare din punct de vedere al calculului.
• estimările pot fi părtinitoare în eșantioane mici.

care este funcția de probabilitate?

estimarea probabilității maxime depinde de derivarea funcției de probabilitate. Din acest motiv, este important să aveți o bună înțelegere a funcției de probabilitate și de unde provine.

să începem cu cazul foarte simplu în care avem o serie $y$ cu 10 observații independente: 5, 0, 1, 1, 0, 3, 2, 3, 4, 1.

densitatea probabilității

primul pas în estimarea probabilității maxime este asumarea unei distribuții de probabilitate pentru date. O funcție de densitate de probabilitate măsoară probabilitatea de a observa datele date unui set de parametri de bază ai modelului.

în acest caz, vom presupune că datele noastre au o distribuție Poisson subiacentă, care este o ipoteză comună, în special pentru datele care sunt date non-negative.

funcția de densitate a probabilității Poisson pentru o observație individuală, $y_i$, este dată de

$$f(y_i | \theta ) = \frac{e^{-\theta}\theta^{y_i}}{y_i!}$$

deoarece observațiile din eșantionul nostru sunt independente, densitatea probabilității eșantionului nostru observat poate fi găsită luând produsul probabilității observațiilor individuale:

$$f(y_1, y_2, \ldots, Y_{10}|\theta) = \prod_{i=1}^{10} \frac{e^{-\theta}\theta^{y_i}}{y_i!} = \ frac{e^{-10 \ theta} \ theta^{\sum_{i = 1}^{10}y_i} {\prod_{i = 1}^{10}y_i!} $$

putem folosi densitatea probabilității pentru a răspunde la întrebarea cât de probabil este ca datele noastre să apară având în vedere parametrii specifici.

funcția de probabilitate

diferențele dintre funcția de probabilitate și funcția de densitate de probabilitate sunt nuanțate, dar importante.

• o funcție de densitate de probabilitate exprimă probabilitatea de a observa datele noastre având în vedere parametrii de distribuție subiacenți. Se presupune că parametrii sunt cunoscuți.
• funcția de probabilitate exprimă probabilitatea ca valorile parametrilor să apară date fiind datele observate. Se presupune că parametrii sunt necunoscuți.

matematic funcția de probabilitate arată similar cu densitatea de probabilitate:

$$l(\theta|y_1, y_2, \ldots, Y_{10}) = f(y_1, y_2, \ldots, Y_{10}|\theta)$$

pentru exemplul nostru Poisson, putem obține destul de ușor funcția de probabilitate

$$l(\theta|Y_1, y_2, \ldots, Y_{10}) = \frac{e^{-10\theta}\theta^{\sum_{i=1}^{10}y_i} {\prod_{i=1}^{10} y_i!} = \ frac{e^{-10 \ Teta}\Teta^{20}}{207,360}$$

estimarea maximă a probabilității parametrului necunoscut, $ \ theta$, este valoarea care maximizează această probabilitate.

funcția log-probabilitate

în practică, funcția de distribuție comună poate fi dificil de a lucra cu și $\ln$ a funcției de probabilitate este folosit în schimb. În cazul setului nostru de date Poisson, funcția log-probability este:

$$\ln (l (\theta|y)) = – n \ theta + \ Ln \ sum_{i = 1}^{n} y_i – \ln \theta \ sum_{i = 1}^{n} y_i! = -10 \ theta + 20 \ ln (\theta) – \ ln(207,360)$$

probabilitatea de jurnal este de obicei mai ușor de optimizat decât funcția de probabilitate.

estimarea probabilității maxime

un grafic al probabilității și log-probabilității pentru setul nostru de date arată că probabilitatea maximă apare atunci când $\theta = 2$. Aceasta înseamnă că Estimatorul nostru de probabilitate maximă, $ \ hat {\theta} _ {MLE} = 2$.

probabilitatea maximă condiționată

în exemplul simplu de mai sus, folosim estimarea probabilității maxime pentru a estima parametrii densității datelor noastre. Putem extinde această idee pentru a estima relația dintre datele noastre observate, $y$ și alte variabile explicative, $ x$. În acest caz, lucrăm cu funcția de probabilitate maximă condiționată:

$$l(\theta | y, x)$$

vom analiza mai atent acest lucru în următorul nostru exemplu.

Exemple de aplicații ale estimării probabilității maxime

versatilitatea estimării probabilității maxime o face utilă în multe aplicații empirice. Poate fi aplicat la orice, de la cele mai simple modele de regresie liniară la modele cu alegere avansată.

în această secțiune vom analiza două aplicații:

• modelul de regresie liniară
• modelul probit

estimarea probabilității maxime și modelul liniar

în regresia liniară, presupunem că reziduurile modelului sunt identice și distribuite în mod normal independent:

$$\epsilon = y – \hat{\beta}x \ sim N (0, \sigma^2)$$

pe baza acestei presupuneri, funcția log-probabilitate pentru vectorul parametru necunoscut, $ \ theta = \ {\beta, \ sigma ^ 2\}$, condiționată de datele observate, $y$ și $ x$ este dată de:

$$\ln L(\theta|y, x) = – \frac{1}{2}\sum_{i=1}^n \Big $$

estimările probabilității maxime de $\beta$ și $\sigma^2$ sunt cele care maximizează probabilitatea.

estimarea probabilității maxime și modelul Probit

modelul probit este un model fundamental de alegere discretă.

modelul probit presupune că există o variabilă latentă subiacentă care conduce rezultatul discret. Variabilele latente urmează o distribuție normală astfel încât:

$ $ y^ * = x \ theta + \ epsilon$$$ $ \ epsilon \ sim n(0,1)$$

unde

$$ y_i = \începe{cazuri} 0 \text{ dacă } y_i^* \le 0\\ 1 \text{ dacă } y_i^* \gt 0\\ \end{cazuri} $$

densitatea de probabilitate

$$p(y_i = 1|X_i) = P(y_i^* \gt 0|X_i) = P(x\Theta + \epsilon\gt 0|x_i) = $$$$p(\epsilon \gt-X\theta|x_i) = 1 – \PHI(-x\theta) = \phi(x\theta)$$

unde $\phi$ reprezintă funcția normală de distribuție cumulativă.

log-probabilitatea pentru acest model este

$$\Ln L(\theta)=\sum_{i = 1}^n \ Big $$

concluzii

Felicitări! După blogul de astăzi, ar trebui să înțelegeți mai bine fundamentele estimării probabilității maxime. În special, am acoperit:

• teoria de bază a estimării probabilității maxime.
• avantajele și dezavantajele estimării probabilității maxime.
• funcția log-probabilitate.
• funcția de probabilitate maximă condiționată.

Erica (Director de aplicații și instruire la Aptech Systems, Inc. )

Erica lucrează pentru a construi, distribui și consolida universul GAUSS din 2012. Este economist specializat în analiza datelor și dezvoltarea de software. Ea a câștigat un B. A. și MSc în economie și inginerie și are peste 15 ani combinate industrie și experiență academică în analiza datelor și de cercetare.