La X være en reell verdi tilfeldig variabel, og la 
være en uendelig sekvens av uavhengige og identisk distribuerte kopier Av X. La
være empiriske gjennomsnitt av denne sekvensen. En grunnleggende teorem i sannsynlighetsteori er loven om store tall, som kommer i både svak og sterk form:
Svak lov av store tall. Anta at det første øyeblikket 
Av X er endelig. Så
konvergerer i sannsynlighet til 
, dermed 
for hver 
.
Sterk lov av store tall. Anta at det første øyeblikket Av X er endelig. Deretter konvergerer nesten sikkert til , dermed 
.
(hvis man styrker det første øyeblikkets antagelse til det endelige av det andre øyeblikket 
, så har vi selvfølgelig en mer presis uttalelse enn den (svake) loven av store tall, nemlig den sentrale grensesetningen, men jeg vil ikke diskutere den setningen her. Med enda flere hypoteser På X har man på samme måte mer presise versjoner av den sterke loven om store tall, som Chernoff-ulikheten, som jeg igjen ikke vil diskutere her.)
den svake loven er lett å bevise, men den sterke loven (som selvfølgelig innebærer den svake loven, Ved Egoroffs teorem) er mer subtil, og faktisk er beviset på denne loven (forutsatt bare finitet i første øyeblikk) vanligvis bare vises i avanserte graduate tekster. Så jeg tenkte jeg ville presentere et bevis her av begge lover, som fortsetter ved standard teknikker for øyeblikket metode og avkorting. Hovedvekten i denne utstillingen vil være på motivasjon og metoder i stedet for kortfattethet og styrke av resultater; det finnes bevis på den sterke loven i litteraturen som har blitt komprimert ned til størrelsen på en side eller mindre, men dette er ikke mitt mål her.
— moment —metoden –
moment-metoden søker å kontrollere halesannsynlighetene for en tilfeldig variabel (dvs. sannsynligheten for at den svinger langt fra gjennomsnittet) ved hjelp av øyeblikk, og spesielt null, første eller andre øyeblikk. Grunnen til at denne metoden er så effektiv er fordi de første øyeblikkene ofte kan beregnes ganske nøyaktig. Første øyeblikksmetoden bruker Vanligvis markovs ulikhet
(1)
(som følger ved å ta forventninger til punktvis ulikhet 
), mens andre moment-metoden bruker en versjon Av Tsjebysjevs ulikhet, for eksempel
(2)
(merk at (2) bare er (1) brukt på den tilfeldige variabelen 
og til terskel 
).
Generelt sett, for å beregne det første øyeblikket bruker man vanligvis linearitet av forventning
,
mens for å beregne det andre øyeblikket må man også forstå kovarianser (som er spesielt enkle hvis man antar parvis uavhengighet), takket være identiteter som
eller den normaliserte varianten
. (3)
Høyere momenter kan i prinsippet gi mer presis informasjon, men krever ofte sterkere forutsetninger om objektene som studeres, for eksempel felles uavhengighet.
her er en grunnleggende anvendelse av first moment-metoden:
Borel-Cantelli lemma. La 
være en sekvens av hendelser slik at 
er endelig. Så nesten sikkert, bare endelig mange av hendelsene 
er sanne.
Bevis. La 
angi indikatorfunksjonen til hendelsen . Vår oppgave er å vise at 
er nesten sikkert endelig. Men ved linearitet av forventning er forventningen til denne tilfeldige variabelen , som er begrenset av hypotesen. Ved Markovs ulikhet (1) konkluderer vi det
.
La 
vi får kravet. 
Tilbake til loven om store tall, gir første øyeblikk metoden følgende hale bundet:
Lemma 1. (Første øyeblikk hale bundet) Hvis 
er endelig, da
.
Bevis. Ved trekanten ulikhet, 
. Ved linearitet av forventning er forventningen til 
. Påstanden følger nå Av markovs ulikhet.
Lemma 1 er ikke sterk nok i seg selv til å bevise loven om store tall i enten svak eller sterk form – spesielt viser den ingen forbedring ettersom n blir stor-men det vil være nyttig å håndtere en av feilbetingelsene i disse bevisene.
vi kan få sterkere grenser enn Lemma 1-spesielt grenser som forbedrer med n-på bekostning av sterkere forutsetninger På X.
Lemma 2. (Andre øyeblikk hale bundet) Hvis er endelig, så
.
Bevis. En standardberegning, som utnytter (3) og parvis uavhengighet av 
, viser at variansen 
av empiriske gjennomsnitt er lik 
ganger variansen 
av den opprinnelige variabelen x. Kravet følger Nå av tsjebysjevs Ulikhet (2).
i motsatt retning er det zeroth moment-metoden, mer kjent som union bound
eller tilsvarende (for å forklare terminologien «zeroth moment»)
for ikke-negative tilfeldige variabler 
. Ved å bruke dette på empiriske midler, får vi nullmomentets haleestimat
. (4)
Akkurat som det andre øyeblikket bundet (Lemma 2) er bare nyttig når man har god kontroll på Det Andre øyeblikket (eller variansen) Av X, er zeroth moment tail estimate (3) bare nyttig når Vi har god kontroll på zeroth moment 
, dvs.Når X er stort sett null.
det andre moment tail bound (Lemma 2) gir allerede den svake loven om store tall i tilfelle Når X har endelig sekundmoment (eller ekvivalent, endelig varians). Generelt, hvis Alt man vet Om X er At Det har endelig første øyeblikk, så kan Vi ikke konkludere Med At X har endelig andre øyeblikk. Vi kan imidlertid utføre en avkorting
(5)
av X ved ønsket terskel N, hvor 
Og 
. Den første termen 
har endelig andre øyeblikk; faktisk har vi klart
og derfor har vi også endelig varians
. (6)
den andre termen 
kan ha uendelig andre øyeblikk, men dets første øyeblikk er godt kontrollert. Faktisk, ved monotone konvergensteoremet, har vi
. (7)
ved triangle inequality konkluderer vi at den første termen har forventning nær :
. (8)
Dette er alle verktøyene vi trenger for å bevise den svake loven av store tall:
Bevis på svak lov. La . Det er nok å vise at når n er tilstrekkelig stor avhengig av 
, at 
med sannsynlighet 
.
fra (7), (8) kan vi finne en terskel N (avhengig av ) slik at 
og 
. Nå bruker vi (5) til å dele
.
fra første øyeblikk hale bundet (Lemma 1), vet vi at 
med sannsynlighet 
. Fra det andre øyeblikket hale bundet (Lemma 2) og (6), vet vi at 
med sannsynlighet hvis n er tilstrekkelig stor avhengig Av N og . Påstanden følger.
— den sterke loven –
den sterke loven kan bevises ved å skyve metodene ovenfor litt lenger, og bruke noen flere triks.
det første trikset er å observere at for å bevise den sterke loven, er det nok å gjøre det for ikke-negative tilfeldige variabler 
. Faktisk følger dette umiddelbart fra det enkle faktum at enhver tilfeldig variabel X med endelig første øyeblikk kan uttrykkes som forskjellen på to ikke-negative tilfeldige variabler 
av endelig første øyeblikk.
Når X Ikke er negativ, ser Vi at det empiriske gjennomsnittet ikke kan reduseres for raskt i n. Spesielt observerer vi at
når 
. (9)
på grunn av denne kvasimonotoniciteten kan vi sparsify settet av n som vi trenger for å bevise den sterke loven. Mer presist er det nok å vise
Sterk lov med store tall, redusert versjon. La 
være en ikke-negativ tilfeldig variabel med 
, og la 
være en sekvens av heltall som er lakunære i den forstand at 
for noen 
og alle tilstrekkelig store j. deretter 
konvergerer nesten sikkert til .
Faktisk, Hvis vi kunne bevise den reduserte versjonen, så på å bruke den versjonen til lacunary sekvensen 
og ved å bruke (9) ville vi se at nesten helt sikkert de empiriske midlene ikke kan avvike med mer enn en multiplikativ feil på 
fra gjennomsnittet . Innstilling 
for 
(og ved å bruke det faktum at et tellbart kryss av nesten sikre hendelser forblir nesten sikker) får vi full sterk lov.
Nå som vi har sparsified sekvensen, blir det økonomisk å bruke Borel-Cantelli lemma. Faktisk, ved mange applikasjoner av det lemma ser vi at det er nok å vise det
(10)
for ikke-negativ X av endelig første øyeblikk, noen lacunary sekvens 
og noen .
På dette punktet går vi tilbake og bruker metodene som allerede jobbet for å gi den svake loven. Nemlig, for å estimere hver av halesannsynlighetene 
, utfører vi en avkorting (5) ved en viss terskel 
. Det er ikke umiddelbart åpenbart hvilken avkorting som skal utføres, så vi vedtar den vanlige strategien for å forlate uspesifisert for nå og optimalisere i denne parameteren senere.
Vi bør i det minste velge stort nok til at 
. Fra det andre øyeblikket hale estimat (Lemma 2) konkluderer vi at 
er også lik 
med sannsynlighet 
. Man kan forsøke å forenkle dette uttrykket ved å bruke (6), men dette viser seg å være litt sløsing, så la oss holde fast på det for nå. Men (6) foreslår sterkt at vi vil ta for å være noe som 
, noe som er verdt å huske på i det som følger.
nå ser Vi på bidraget til 
. Man kan bruke first moment tail estimate (Lemma 1), men det viser seg at det første øyeblikket 
henfaller for sakte i j for å være til stor nytte (husk at vi forventer å være som lakunærsekvensen ); rotproblemet her er at forfallet (7) som kommer fra monotone konvergensteoremet er ineffektivt (man kan effektivisere dette ved hjelp av det endelige konvergensprinsippet, men dette viser seg å være for å gi svært dårlige resultater her).
Men det er ett siste kort å spille, som er zeroth moment method tail estimate (4). Som nevnt tidligere er denne bundet elendig generelt – men er veldig bra Når X er stort sett null, noe som nettopp er situasjonen med 
. og spesielt ser vi at 
er null med sannsynlighet 
.
å Sette alt dette sammen, ser vi at
Oppsummering av dette i j, ser vi at vi vil bli gjort så snart vi finner ut hvordan vi velger slik at
(11)
og
(12)
begge er endelige. (Som vanlig har vi en bytte: å gjøre større gjør (12) lettere å etablere på bekostning av (11), og omvendt når du gjør mindre.)
basert på tidligere diskusjon er det naturlig å prøve å sette 
. Heldigvis fungerer dette valget rent; den lakunære naturen til sikrer (i utgangspunktet fra den geometriske serieformelen) at vi har punktvis estimater
og
(hvor den underforståtte konstanten her avhenger av sekvensen 
, og spesielt på lacunaritetskonstanten c). Påstandene (10), (11) følger deretter fra en siste anvendelse av linearitet av forventning, og gir den sterke loven om store tall.
Bemerkning 1. Ovennevnte bevis viser faktisk at den sterke loven om store tall holder selv om man bare antar parvis uavhengighet av 
, i stedet for felles uavhengighet. 
Bemerkning 2. Det er viktig at de tilfeldige variablene 
blir «resirkulert» fra ett empirisk gjennomsnitt til neste, for å få den avgjørende kvasimonotonicitetsegenskapen (9). Hvis vi i stedet tok helt uavhengige gjennomsnitt 
, hvor 
er alle iid, bryter den sterke loven om store tall faktisk ned med bare et første øyeblikks antagelse. (For en moteksempel, vurder en tilfeldig variabel X som er lik 
med sannsynlighet 
for ; denne tilfeldige variabelen (knapt) har endelig første øyeblikk, men for 
ser vi at avviker med minst absolutt konstant fra gjennomsnittet med sannsynlighet 
. Siden empiriske midler for nå er felles uavhengige, er sannsynligheten for at en av dem avviker betydelig, nå ekstremt nær 1 (super-eksponentielt nær i 
, faktisk), noe som fører til den totale feilen i den sterke loven i denne innstillingen.) Selvfølgelig, hvis man begrenser oppmerksomheten til en lakunær sekvens av n, går ovennevnte bevis gjennom i det uavhengige tilfellet (Siden Borel-Cantelli lemma er ufølsom for denne uavhengigheten). Ved å utnytte den felles uavhengigheten ytterligere (f.eks. ved å bruke Chernoffs ulikhet) kan man også få den sterke loven for uavhengige empiriske midler for full sekvens n under andre øyeblikksgrenser.
Bemerkning 3. Fra interpolasjonsteoriens perspektiv kan man se argumentet ovenfor som et interpoleringsargument, og etablere et 
estimat (10) ved å interpolere mellom et 
estimat (Lemma 2) og 
estimat (4).
Bemerkning 4. Ved å se sekvensen som en stasjonær prosess, og dermed som et spesielt tilfelle av et målbevarende system, kan man se den svake og sterke loven av store tall som spesielle tilfeller av henholdsvis middel-og punktvis ergodiske teoremer (se Øvelse 9 fra 254a Forelesning 8 og Teorem 2 fra 254a Forelesning 9).
