Poglavlje 10
ZAKONI VELIKIH BROJEVA
CENTRALNI GRANIČNI TEOREM tko želi znati više

Najvažniji teoremi koji će se koristiti u matematičkoj statistici označeni su s važno. Preporučujemo i motivirajuće primjere za Čebiševljevu nejednakost, za zakon velikih brojeva i centalni granični teorem.

Čebiševljeva nejednakost, zakoni velikih brojeva i cenralni granični teoremi su važan alati koji otkrivaju svojstva diskretnih ili kontinuiranih slučajnih varijabli koje imaju konačno očekivanje i varijancu ako nam i nije poznata njihova distribucija.

Čebiševljeva nejednakost daje ocjenu vjerojatnosti da se vrijednosti slučajne varijable razlikuje od očekivanja više od zadonog ε.

Zakoni velikih brojeva su skup teorema koji se odnosi na granične vrijednosti niza slučajnih varijabli.

Neka su X₁,X₂,...,X_n nezavisna mjerenja slučajne varijable X u ponovljenim pokusima. Slučajne varijable X₁,X₂,..X_n su nezavisne i sve imaju istu distribuciju kao i slučajna varijabla X.
Može se uočiti da njihova aritmetička sredina X = (X₁ + X₂ + .. + X_n) ima svojstvo stabilnosti distribucije i da je vjerojatnost da se vrijednosti od X razlikuje od očekivanja više od zadonog ε jednaka nuli kad n →∞.

Centralni granični teoremi se odnose na granične zakone distribucije niza slučajnih varijabli. Suma velikog broja slučajnih varijabli ima standardnu normalnu distribuciju. Teoremi daju različite uvjete na pribrojnike u toj sumi.

10.1 ČEBIŠEVLJEVA NEJEDNAKOST

TEOREM 10.1 (MARKOVLJEVA NEJEDNAKOST)

Neka je X slučajna varijabla s nenegativnim vrijednostima i konačnim očekivanjem E(X).
Tada ∀a > 0 vrijedi

Dokaz:
Možemo pokazati za kontinuiranu slučajnu varijablu s funkcijom gustoće f(x) (analogno za diskretnu).
Kako X poprima samo nenegativne vrijednosti uočimo one x ∈ R(X),
0 ≤ x < a i x ≥ a.
Prema definiciji očekivanja: E(X) = ∫ ₀^∞xf(x)dx = ∫ ₀^axf(x)dx + ∫ _a^∞xf(x)dx.
Budući su integrali pozitivni vrijedi nejednakost

Ako u podintegralnoj funkciji zamijenimo x s konstantom koja je uvijek manja od x, a ≤ x, zadržat će se znak nejednakosti

Prema definiciji funkcije gustoće vjerojatnosti f(x) dobivamo traženu nejednakost:

TEOREM 10.2 (POOPĆENJE MARKOVLJEVE NEJEDNAKOSTI)

Neka je X slučajna varijabla i h : R → R nenegativna funkcija tako da postoji očekivanjem E(h(X)).
Tada ∀a > 0 vrijedi

Dokaz:
Kako h(X) poprima samo nenegativne vrijednosti uočimo one x ∈ R(X),
0 ≤ h(x) < a , za x∈ D₁ ⊆ R, i h(x) ≥ a, za x ∈ D₂ ⊆ R :
Prema definiciji očekivanja funkcije slučajne varijable X:

TEOREM 10.3 važno
(ČEBIŠEVLJEVA NEJEDNAKOST, engl. Chebyshev’s
inequality)

Neka je X slučajna varijabla s konačnom varijancom V ar(X).
Tada ∀ε > 0 vrijedi

Ako označimo V ar(X) = σ²,E(X) = μ,ε = λσ, onda vrijedi

Dokaz:
(a) Dokaz pomoću generalizirane Markovljeve nejednakosti.
Pretpostavka teorema je da X ima varijancu tj. ima očekivanje
E((X - E(X)²) = V ar(X) pa možemo primijeniti teorem za nenegativnu funkciju h(x) = (x - E(X))².
Vrijedi nejednakost P((X - E(X))² ≥ a) ≤, ∀a > 0.
Budući je P((x - E(X))² ≥ a) = P(|X - E(X)|≥), vrijedi nejednakost

Tada ∀ε > 0 vrijedi

(b) Dokaz za diskretnu slučajnu varijablu (bez generalizirane Markovljeve nejednakosti)
Neka je X diskretna slučajna varijabla sa slikom R(X) = {x₁,x₂,...} i neka je f(x) njena funkcija vjerojatnosti.
Pretpostavka teorema je da X ima konačnu varijancu (i očekivanje).
V ar(X) = ∑ _xi(x_i - (E(X))²f(x_i).
Uočimo one x_i ∈ R(X) za koje je |x_i - (E(X)| < ε i one za koje je
|x_i - (E(X)|≥ ε.

Zamjenom svakog člana sume s manjom konstantom ε, nejednakost se zadržava pa vrijedi:

Suma ∑ _{xi:|xi-(E(X)|≥ε}f(x_i) je prema definiciji funkcije distribuije  jednaka P(|X - (E(X)|≥ ε) i dobivamo konačnu nejednakost:

Rješenje:
Trebamo izračunati P(|X - E(X)| < ε).
Koristimo Čebiševljevu nejednakost u obliku P(|X - E(X)| < ε) ≥ 1 -,

Rješenje:
Zadano je očekivanje μ = 3 i uočimo da je
P(2.5 < X < 3.5) = P(μ - 0.5 < X < μ + 0.5) = P(|X - μ| < 0.5).
Koristimo Čebiševljevu nejednakost u obliku: P(|X - μ| < ε) ≥ 1 -,
P(|X - μ| < 0.5) ≥ 1 - = 0.96,

10.2 ZAKON VELIKIH BROJEVA

Definicija 10.1 (KONVERGENCIJA PO VJEROJATNOSTI)

Neka je (X_n),n ∈ N niz slučajnih varijabli. Ako postoji slučajna varijabla X takva da

kažemo da niz (X_n) slučajnih varijabli konvergira slučajnoj varijabli X po vjerojatnosti i označavamo

Definicija 10.2 Za niz slučajnih varijabli (X_n),n ∈ N kažemo da zadovoljava zakon velikih brojeva ako postoji konstanta C takva da vrijedi

i označavamo

TEOREM 10.4 važno
(ZAKON VELIKIH BROJEVA
(specijalan slučaj za aritmetičku sredinu))

Neka je {X_n},n ∈ N niz slučajnih varijabli takvih da za svaki n slučajne varijable X₁,X₂,..X_n su nezavisne, imaju ograničenu varijancu
V ar(X_i) = σ² ≤ M > 0 i E(X_i) = μ, i = 1,...,n.
Tada za aritmetičku sredinu

vrijedi

Dokaz:
X = (X₁ + X₂ + .. + X_n), E(X) = μ, V ar(X) = .
Koristimo Čebiševljevu nejednakost za slučajnu varijablu X u obliku:
P(|X - E(X)| < ε) ≥ 1 -,

TEOREM 10.5 (BERNOULLIJEV SLABI ZAKON VELIKIH BROJEVA - za rel.frekv binomne sl. varijable)

Neka je u Bernoullijevoj shemi slučajna varijabla X=broj uspjeha dogadaja A u m nezavisnih ponavljanja, P(A) = p. X ~ B(m,p). Slučajna varijabla Y =  zove se relativna frekvencija uspjeha dogadaja A u Bernoullijevoj shemi.
Tada vrijedi

Dokaz:
Za binomnu slučajnu varijablu X ~ B(m,p), E(X) = mp,
V ar(X) = mp(1 - p).
Za relativnu frekvenciju uspjeha Y = odredimo očekivanje i varijancu:
E() = p, V ar() = .
Primijenimo Čebiševljevu nejednakost za slučajnu varijablu Y = nejednakost u obliku: P(|Y - E(Y )| < ε) ≥ 1 -,

Kako je funkcija vjerojatnosti binomne slučajne varijable
f(x) = p^x(1 - p)^m-x

NAPOMENA 10.1 važno

Oblik Bernoullijevog slabog zakona velikih brojeva

često se koristi u zadacima za odredivanje
(a) minimalnog broja pokusa m
(b) odstupanja ε
da bi za zadani γ, P(| - p| < ε) ≥ γ.

Rješenje:
(a) m ≥ ⋅ ⋅ p(1 - p).
(b) ε² ≥ ⋅ ⋅ p(1 - p).
Ako je p nepoznato onda se procjenjuje da je p(1 - p) ≤, i
(a) m ≥ ⋅,
(b) ε² ≥ ⋅.

Rješenje:
Trebamo odrediti m tako da P(| - p| < ε) ≥ 0.99.
Koristimo Bernoullijev slabi zakon velikih brojeva: P(| - p| < ε) ≥ 1 -

Broj ponavljanja ćemo odrediti iz zadane vjerojatnosti γ i uvjeta
1 - ≥ 0.99

Napomena (zadatak ćemo riješiti i koristeći Moivre-Laplaceov teorem-poslije).

Rješenje:
Treba oderditi a i b takve da za X = broj neispravnih uredaja u uzorku veličine m, X ~ B(m,p), P(a < X < b) ≥ 0.99.
Koristimo Bernoullijev slabi zakon velikih brojeva:
P(| - p| < ε) ≥ 1 -,

Odstupanje ε ćemo odrediti iz zadane vjerojatnosti γ i uvjeta
1 - ≥ 0.99.

Napomena (zadatak ćemo riješiti i koristeći Moivre-Laplaceov teorem-poslije).

10.3 CENTRALNI GRANIČNI TEOREM

Motivirajući primjer je isti kao i poglavlju Zakon velikih brojeva, ali će se sad riješiti primjenom centralnog graničnog teorema (Moivre - Laplaceov teorem).

TEOREM 10.6 (CENTRALNI GRANIČNI TEOREM-CGT; specijalni slučaj)

Neka je {X_n},n ∈ N niz slučajnih varijabli takvih da za svaki n slučajne varijable X₁,X₂,...,X_n su nezavisne, imaju ograničenu varijancu
V ar(X_i) = σ² ≤ M > 0 i E(X_i) = μ, i = 1,...,n.
Tada

Za velike n vrijedi

(F^*(x) funkcija distribucije standardne normale distribucije).

Dokaz: (literatura)

TEOREM 10.7 važno
(CGT za aritmetičku sredinu)

Neka je {X_n},n ∈ N niz slučajnih varijabli takvih da za svaki n slučajne varijable X₁,X₂,..X_n su nezavisne, imaju ograničenu varijancu
V ar(X_i) = σ² ≤ M > 0 i E(X_i) = μ, i = 1,...,n.
Tada za aritmetičku sredinu X = (X₁ + X₂ + .. + X_n) vrijedi

odnosno

Za velike n vrijedi

Dokaz:
Primijenimo CGT (specijalni slučaj) za X = (X₁ + X₂ + .. + X_n).

Rješenje:
Prema CGT za aritmetičku sredinu n slučajnih varijabli
~ N(0,1), n →∞,

TEOREM 10.8 (integralni MOIVRE-LAPLACEOV TEOREM, CGT za binomnu sl. varijablu)

Neka je u Bernoullijevoj shemi slučajna varijabla X=broj uspjeha dogadaja A u m nezavisnih ponavljanja P(A) = p. X ~ B(m,p).
Tada vrijedi

odnosno

Za velike n vrijedi

odnosno

Dokaz:
Promatrajmo slučajne varijable X_i ~ B(1,p), i = 1,...,m, kad m →∞.
V ar(X_i) = p(1 - p) i E(X_i) = p, i = 1,...,m.
Integralni Moivre-Laplaceov teorem je specijalan slučaj CGT za niz slučajnih varijabli X_i = 1,...,m, kad m →∞

Slučajna varijabla X=broj uspjeha dogadaja A u m nezavisnih ponavljanja P(A) = p. X ~ B(m,p). Tada je X = ∑ _i=1^mX _i pa vrijedi

Rješenje:
Trebamo izračunati P(1550 < X < 1650).
Prema integralnom Moivre-Laplaceovom teoremu ~ N(0,1),
m →∞,
i vrijedi aproksimacija: P(a < X < b) ≈ F^*() - F^*().

Rješenje: X ~ B(m,p), m = 1000, p =
Trebamo izračunati P(X ≥ 490) = 1 - P(X ≤ 490).
Prema integralnom Moivre-Laplaceovom teoremu ~ N(0,1),
m →∞,
i vrijedi aproksimacija: P(a < X < b) ≈ F^*() - F^*().

TEOREM 10.9 (integralni MOIVRE-LAPLACEOV TEOREM za rel. frekv. binomne sl. varijable) CGT za binomnu =Bernoullijev slabi ZVB za rel. frekvencije binomne

Neka je u Bernoullijevoj shemi slučajna varijabla X=broj uspjeha dogadaja A u m nezavisnih ponavljanja, P(A) = p. X ~ B(m,p). Slučajna varijabla Y =  zove se relativna frekvencija uspjeha dogadaja A u Bernoullijevoj shemi.
Tada vrijedi

Za velike m vrijedi

Dokaz: P(| - p| < ε) = P(-ε < < ε)
Koristimo Integralni Moivre-Laplaceov teorem; za X ~ B(m,p) je
P(a < < b) ≈ F^*(b) - F^*(a),

gdje je b = -a = ε.
Koristimo svojstvo F^*(x) = 1 - F^*(-x)

i dobivamo željenu tvrdnju

Rješenje:
X=broj pojavljivanja pisma u Bernoullijevoj shemi bacanja novčića
X ~ B(m,p), m = 3600, p = .
Trebamo izračunati P(| -| < 0.01).
Primijenit ćemo integralni Moivre-Laplaceov teorem za rel. frekv. binomne sl. varijable u obliku P(| - p| < ε) ≈ 2F^*(ε) - 1.

Rješenje:
Trebamo odrediti m tako da P(| - p| < ε) ≥ 0.99.
Koristimo Integralni Moivre-Laplaceov teorem za relativnu frekvenciju
u Bernoullijevoj shemi.
P(| - p| < ε) ≈ 2F^*(ε) - 1,

Broj ponavljanja ćemo odrediti iz zadane vjerojatnosti γ i uvjeta
2F^*(0.01) - 1 ≥ 0.99   ⇒   F^*(0.01) ≥ 0.995,
F^*(z) = 0.995   ⇒   z = 2.6   ⇒   0.01 ≥ 2.6,
m ≥ ⋅ p(1 - p) = ⋅   ⇒   m ≥ 15022.
(Bernoullijev SZVB za rel. frekv. dao je ocjenu m ≥ 222222.)

Rješenje:
X=broj pojavljivanja 6 u Bernoullijevoj shemi bacanja kocke
X ~ B(m,p), m, p = .
Trebamo odrediti m tako da P( < < ) ≥ 0.95.

Koristimo Integralni Moivre-Laplaceov teorem za relativnu frekvenciju u Bernoullijevoj shemi.
P(| - p| < ε) ≈ 2F^*(ε) - 1,

Broj ponavljanja ćemo odrediti iz zadane vjerojatnosti γ i uvjeta
2F^*() - 1 ≥ 0.95   ⇒   F^*() ≥ 0.975
F^*(z) = 0.975   ⇒   z = 1.96   ⇒    ≥ 1.96,
m ≥ ⋅ p(1 - p) = ⋅ = 7684   ⇒   m ≥ 7684.

Rješenje:
X =broj pojavljivanja 6 u Bernoullijevoj shemi bacanja kocke,
X ~ B(m,p), m,p = .
Treba oderditi a i b takve da za X =broj 6 u m bacanja P(a < < b) ≥ 0.9.
Koristimo Integralni Moivre-Laplaceov teorem za relativnu frekvenciju
u Bernoullijevoj shemi P(| - p| < ε) ≈ 2F^*(ε) - 1.

Odstupanje ε ćemo odrediti iz zadane vjerojatnosti γ i uvjeta
2F^*(ε) - 1 ≥ 0.9   ⇒   F^*(ε) ≥ 0.95.
F^*(z) = 0.9 ⇒ z = 1.65   ⇒   ε ≥ 1.65 ⇒ ε ≥ 0.0091

Prema formuli ε² ≥ ⋅ p(1 - p) = ⋅ = 7.566 × 10^-5

Odredili smo ε tako da P(| -| < 0.00916) ≥ 0.9.

Rješenje:
Treba oderditi a i b takve da za X =broj neispravnih uredaja u uzorku veličine m, X ~ B(m,p), P(a < X < b) ≥ 0.99.
Koristimo Integralni Moivre-Laplaceov teorem za relativnu frekvenciju
u Bernoullijevoj shemi P(| - p| < ε) ≈ 2F^*(ε) - 1,

Odstupanje ε ćemo odrediti iz zadane vjerojatnosti γ i uvjeta
2F^*(ε) - 1 ≥ 0.99   ⇒   F^*(ε) ≥ 0.995.
F^*(z) = 0.995  ⇒  z = 2.6   ⇒   ε ≥ 2.6.

Prema formuli ε² ≥ ⋅ p(1 - p) = ⋅ 0.03 ⋅ (1 - 0.03) = 1.9672 × 10^-4

Odredili smo ε tako da P(| - 0.03| < 0.014) ≥ 0.99.

(Bernoullijev SZVB za rel. frekv. dao je ocjenu 0 < X < 80.)

10.4 Ponovimo

ČEBIŠEVLJEVA NEJEDNAKOST

za svaki ε > 0	P(|X - E(X)|≥ ε) ≤,
za svaki λ	P(|X - μ|≥ λσ) ≤,

ZAKONI VELIKIH BROJEVA (ZVB)

ZVB za X	limn→∞P(|X - μ| < ε) = 1,
ZVB za X ~ B(m,p)	limn→∞P(| - p| < ε) = 1,
Bernoull. slabi ZVB	P(| - p| < ε) ≥ 1 -

CENTRALNI GRANIČNI TEOREMI (CGT)

CGT za niz nez. sl, var. Xi	n →∞,
	~ N(0,1)
CTG za X	n →∞,
	~ N(0,1)
CTG za X ~ B(m,p), m →∞	= Moivre-Laplace
~ N(0,1),	P(a < X < b) ≈ F*() - F*()
CGT za rel. frekv. od X ~ B(m,p)	= Moivre-Laplace za rel. frekv.
~ N(0,1),	P(| - p| < ε) ≈ 2F*(ε) - 1