den stærke lov af store tal

lad være en reel værdi tilfældig variabel, og lad være en uendelig sekvens af uafhængige og identisk distribuerede kopier af H. lad være de empiriske gennemsnit af denne sekvens. En grundlæggende sætning i sandsynlighedsteori er loven om store tal, som kommer i både en svag og en stærk form:

svag lov af stort antal. Antag, at det første øjeblik af H er endeligt. Derefter konvergerer i Sandsynlighed til , således for hver .

stærk lov af stort antal. Antag, at det første øjeblik af H er endeligt. Så konvergerer næsten sikkert til , således .

(hvis man styrker det første øjebliks antagelse til det andet øjebliks endelighed , så har vi selvfølgelig en mere præcis erklæring end den (svage) lov om store tal, nemlig den centrale grænse sætning, men jeg vil ikke diskutere denne sætning her. Med endnu flere hypoteser om H har man ligeledes mere præcise versioner af den stærke lov i stort antal, såsom Chernoff-uligheden, som jeg igen ikke vil diskutere her.)

den svage lov er let at bevise, men den stærke lov (som naturligvis indebærer den svage lov ved Egoroffs sætning) er mere subtil, og faktisk vises beviset for denne lov (forudsat bare finitet i det første øjeblik) normalt kun i avancerede kandidattekster. Så jeg troede, jeg ville præsentere et bevis her for begge love, som fortsætter med moment-metodens standardteknikker og trunkering. Vægten i denne redegørelse vil være på motivation og metoder snarere end kortfattethed og styrke af resultater; der findes beviser for den stærke lov i litteraturen, der er komprimeret ned til størrelsen på en side eller mindre, men dette er ikke mit mål her.

— moment —metoden –

moment-metoden søger at kontrollere halesandsynlighederne for en tilfældig variabel (dvs.sandsynligheden for, at den svinger langt fra dens gennemsnit) ved hjælp af øjeblikke, og især nul, første eller andet øjeblik. Årsagen til, at denne metode er så effektiv, er, at de første få øjeblikke ofte kan beregnes ret præcist. Det første øjeblik metode, der normalt beskæftiger Markov ‘ s ulighed

(1)

(der følger ved at tage forventninger pointwise ulighed ), der henviser til, at det andet øjeblik metode, der anvender en version af Chebyshev ‘ s ulighed, som

(2)

(bemærk, at (2) er lige (1) anvendes til den tilfældige variabel og til tærskel ).

generelt set for at beregne det første øjeblik anvender man normalt linearitet af forventning

,

for at beregne det andet øjeblik skal man også forstå kovariancer (som er særligt enkle, hvis man antager parvis uafhængighed) takket være identiteter som

eller den normaliserede variant

. (3)

højere øjeblikke kan i princippet give mere præcise oplysninger, men kræver ofte stærkere antagelser om de objekter, der studeres, såsom fælles uafhængighed.

her er en grundlæggende anvendelse af first moment-metoden:

Borel-Cantelli lemma. Lad være en sekvens af begivenheder, således at er endelig. Så næsten sikkert, kun endeligt mange af begivenhederne er sande.

bevis. Lad betegne indikatorfunktionen for begivenheden . Vores opgave er at vise, at næsten helt sikkert er endelig. Men ved linearitet af forventning er forventningen om denne tilfældige variabel , som er begrænset af hypotese. Ved Markovs ulighed (1) konkluderer vi, at

.

udlejning vi får kravet.

vender tilbage til loven om store tal, det første øjeblik metode giver følgende hale bundet:

Lemma 1. (Første øjeblik hale bundet) hvis er endelig, så

.

bevis. Ved trekanten ulighed, . Ved linearitet af forventning er forventningen om . Påstanden følger nu af Markovs ulighed.

Lemma 1 er ikke stærk nok i sig selv til at bevise loven om store tal i enten svag eller stærk form – især viser den ingen forbedring, da n bliver stor – men det vil være nyttigt at håndtere et af fejlbetingelserne i disse beviser.

vi kan få stærkere grænser end Lemma 1 – især grænser, der forbedres med n – på bekostning af stærkere antagelser om

Lemma 2. (Andet øjeblik hale bundet) hvis er endelig, så

.

bevis. En standardberegning, der udnytter (3) og den parvise uafhængighed af , viser, at variansen af de empiriske gennemsnit er lig med gange variansen af den oprindelige variabel H. kravet følger nu af chebyshevs ulighed (2).

i modsat retning er der nulmomentmetoden, mere almindeligt kendt som union bundet

eller tilsvarende (for at forklare terminologien “nul øjeblik”)

for alle ikke-negative tilfældige variabler . Anvendelse af dette på de empiriske midler, vi opnår nul øjeblik hale estimat

. (4)

ligesom det andet øjeblik bundet (Lemma 2) kun er nyttigt, når man har god kontrol på det andet øjeblik (eller varians) af H, er nulmomentets halestimat (3) kun nyttigt, når vi har god kontrol på nulmomentet , dvs.når H er for det meste nul.

— trunkering —

det andet øjeblik hale bundet (Lemma 2) giver allerede den svage lov af store tal i tilfælde, hvor H har et endeligt andet øjeblik (eller ækvivalent, endelig varians). Generelt, hvis alt hvad man ved om K er, at det har et endeligt første øjeblik, så kan vi ikke konkludere, at K har et endeligt andet øjeblik. Vi kan dog udføre en afkortning

(5)

på en hvilken som helst ønsket tærskel N, hvor og. Den første periode har endelig andet øjeblik; vi har helt klart

og derfor har vi også endelig varians

. (6)

det andet udtryk kan have uendeligt andet øjeblik, men dets første øjeblik er godt kontrolleret. Faktisk ved monotone konvergens sætning, Vi har

. (7)

ved trekanten ulighed konkluderer vi, at det første udtryk har forventning tæt på :

. (8)

dette er alle de værktøjer, vi har brug for for at bevise den svage lov i stort antal:

bevis for svag lov. Lad . Det er tilstrækkeligt at vise, at når n er tilstrækkelig stor afhængigt af , at med Sandsynlighed .

fra (7), (8), kan vi finde en tærskel N (afhængig af ) sådan at og . Nu bruger vi (5) til at opdele

.

fra det første øjeblik halebundet (Lemma 1)ved vi, at med Sandsynlighed . Fra det andet øjeblik halebundet (Lemma 2) og (6) ved vi, at med Sandsynlighed hvis n er tilstrækkelig stor afhængigt af N og . Påstanden følger.

— den stærke lov-

den stærke lov kan bevises ved at skubbe ovenstående metoder lidt længere og bruge et par flere tricks.

det første trick er at observere, at for at bevise den stærke lov er det tilstrækkeligt at gøre det for ikke-negative tilfældige variabler. Faktisk følger dette straks af den enkle kendsgerning,at enhver tilfældig variabel med endeligt første øjeblik kan udtrykkes som forskellen mellem to ikke-negative tilfældige variabler af endeligt første øjeblik.

når det er ikke-negativt, ser vi, at de empiriske gennemsnit ikke kan falde for hurtigt i n. Vi bemærker især, at

hver gang . (9)

på grund af denne kvasimonotonicitet kan vi sparsificere det sæt n, som vi har brug for for at bevise den stærke lov. Mere præcist er det tilstrækkeligt at vise

stærk lov med stort antal, reduceret version. Lad være en ikke-negativ tilfældig variabel med , og lad være en sekvens af heltal, der er lakunær i den forstand, at for nogle og alle tilstrækkeligt store j. derefter konvergerer næsten sikkert til.

faktisk, hvis vi kunne bevise den reducerede version, så ved at anvende den version til den lacunære sekvens og ved hjælp af (9) ville vi se, at næsten sikkert det empiriske middel ikke kan afvige med mere end en multiplikativ fejl på fra gennemsnittet . Indstilling for (og ved hjælp af det faktum, at et tælleligt kryds af næsten sikre begivenheder forbliver næsten sikkert) opnår vi den fulde stærke lov.

nu hvor vi har sparsificeret sekvensen, bliver det økonomisk at anvende Borel-Cantelli lemma. Faktisk ser vi ved mange anvendelser af denne lemma, at det er tilstrækkeligt at vise det

(10)

for ikke-negative træk ved det endelige første øjeblik, enhver lakunær sekvens og enhver .

på dette tidspunkt går vi tilbage og anvender de metoder, der allerede har arbejdet for at give den svage lov. For at estimere hver af halesandsynlighederne udfører vi en trunkering (5) ved en tærskel . Det er ikke umiddelbart indlysende, hvilken trunkering der skal udføres, så vi vedtager den sædvanlige strategi for at forlade uspecificeret for nu og optimere i denne parameter senere.

vi skal i det mindste vælgestort nok, så . Fra det andet øjebliks halestimat (Lemma 2) konkluderer vi, at også er lig med med Sandsynlighed . Man kunne forsøge at forenkle dette udtryk ved hjælp af (6), men det viser sig at være lidt spildt, så lad os holde ud med det for nu. (6) foreslår dog stærkt, at vi vil tage for at være noget som , hvilket er værd at huske på i det følgende.

nu ser vi på bidraget fra . Man kunne bruge det første øjebliks halestimat (Lemma 1), men det viser sig, at det første øjeblik henfalder for langsomt i j til at være til stor nytte (husk, at vi forventer at være som den lakunære sekvens ); rodproblemet her er, at forfaldet (7), der kommer fra monotone konvergenssætning, er ineffektivt (man kunne effektivisere dette ved hjælp af det endelige konvergensprincip, men dette viser sig at give meget dårlige resultater her).

men der er et sidste kort at spille, hvilket er nul øjebliksmetoden hale estimat (4). Som tidligere nævnt er denne grænse elendig generelt-men er meget god, når den for det meste er nul, hvilket netop er situationen med . og især ser vi, at er nul med Sandsynlighed .

at Sætte det hele sammen, ser vi, at

opsummering af dette i j, vi ser, at vi vil blive gjort, så snart vi finder ud af, hvordan vi vælger så det

(11)

og

(12)

er begge endelige. (Som sædvanligt har vi en afvejning: at gøre større mærker (12) lettere at etablere på bekostning af (11), og omvendt, når du gør mindre.)

baseret på diskussionen tidligere er det naturligt at prøve at indstille . Heldigvis fungerer dette valg rent; den lakunære karakter af sikrer (dybest set fra den geometriske serieformel) , at vi har de punktvise estimater

og

(hvor den underforståede konstant her afhænger af sekvensen , og især på lacunaritetskonstanten c). Påstandene (10), (11) følger derefter af en sidste anvendelse af forventningens linearitet, hvilket giver den stærke lov i stort antal.

bemærkning 1. Ovenstående bevis viser faktisk, at den stærke lov om stort antal gælder, selvom man kun antager parvis uafhængighed af snarere end fælles uafhængighed.

bemærkning 2. Det er vigtigt, at de tilfældige variabler “genbruges” fra et empirisk gennemsnit til det næste for at få den afgørende kvasimonotonicitetsegenskab (9). Hvis vi i stedet tog helt uafhængige gennemsnit , hvor er alle iid, så bryder den stærke lov om store tal faktisk ned med et første øjebliks antagelse. (For et modeksempel skal du overveje en tilfældig variabel, der er lig med med Sandsynlighed for ; denne tilfældige variabel (knap) har endeligt første øjeblik, men for ser vi, at afviger med mindst absolut konstant fra dets gennemsnit med Sandsynlighed . Da de empiriske midler for nu er fælles uafhængige, er sandsynligheden for, at en af dem afviger betydeligt, nu ekstremt tæt på 1 (supereksponentielt tæt på , faktisk), hvilket fører til den totale fiasko af den stærke lov i denne indstilling.) Selvfølgelig, hvis man begrænser opmærksomheden på en lacunær sekvens af n, går ovenstående bevis igennem i det uafhængige tilfælde (da Borel-Cantelli lemma er ufølsom over for denne uafhængighed). Ved at bruge Chernoffs ulighed) kan man også få den stærke lov for uafhængige empiriske midler til den fulde sekvens n under andet øjebliks grænser.

bemærkning 3. Fra interpolationsteoriens perspektiv kan man se ovenstående argument som et interpolationsargument, der etablerer et skøn (10) ved at interpolere mellem et skøn (Lemma 2) og skøn (4).

bemærkning 4. Ved at se sekvensen som en stationær proces og dermed som et specielt tilfælde af et målebevarende system kan man se den svage og stærke lov i stort antal som særlige tilfælde af henholdsvis middel-og punktvis ergodiske sætninger (Se øvelse 9 fra 254a forelæsning 8 og sætning 2 fra 254a forelæsning 9).