Teorija procjene sastoji se u konstrukciji metoda za ocjenu vrijednosti jednog ili više parametara poznate distribucije slučajne varijable.
U prethodnom poglavlju smo za slučajnu varijablu X (statističko obilježje)
promatrali n vrijednosti x1,x2,...,xn kao uzorak veličina n.
U ovom poglavlju ćemo vrijednosti x1,x2,...,xn promatrati kao pojedinačne vrijednosti
niza od n nezavisnih slučajnih varijabli X1,X2,...,Xn koje imaju istu distribuciju kao i
slučajna varijable X.
Definicija 12.1 (SLUČAJNI UZORAK veličine n)
Neka je X slučajna varijabla (statističko obilježje populacije) s funkcijom
distribucije F(x). Slučajni uzorak veličine n za slučajnu varijablu X je slučajni
vektor (X1,X2,...,Xn), gdje su sve slučajne varijable Xi, i=1,...,n, nezavisne sa
zajedničkom funkcijom distribucije vjerojatnosti F(x).
Vrijednost slučajnog uzorka je uredena n-torka (x1,x2,...,xn) ako je izmjerena
vrijednost slučajnih varijabli Xi jednaka xi ∈ R(X), i=1,...,n.
Ako je X diskretna slučajna varijabla (R(X) je konačan ili prebrojiv), onda je
(X1,X2,...,Xn) diskretni slučajni uzorak , a ako je X kontinuirana slučajna
varijabla (R(X) ⊆ R), onda je (X1,X2,...,Xn) kontinuirani slučajni uzorak.
Definicija 12.2 (STATISTIKA)
Ako je Y = h(X1,X2,...,Xn), gdje je h funkcija od n varijabli, onda se slučajna varijabla Y naziva statistika.
NAPOMENA 12.1 Odabrani elementi uzorka veličine n iz populacije trebaju biti izabrani slučajno. Trebamo koristiti tablicu slučajnih brojeva za izbor n slučajnih brojeva ili program za generiranje slučajnih brojeva.
PRIMJER 12.1
Zadana je diskretna slučajna varijabla X s funkcijom vjerojatnosti
Što je uzorak veličine 2 za ovu slučajnu varijablu?
Odredi sve moguće vrijednosti slučajnog uzorka veličine 2 za X.
Rješenje:
Slučajni uzorak veličine 2 za slučajnu varijablu X je slučajni vektor (X1,X2), gdje su
sve slučajne varijable X1 i X2 nezavisne i jednake funkcije distribucije kao i
X.
Slika slučajne varijable X je R(X) = {0,1,2}. Slučajne varijable X1 i X2 mogu
poprimiti iste vrijednosti kao i X. Vrijednost slučajnog uzorka je uredena dvojka (x1,x2)
elemenata iz R(X), tj. to je varijacija s ponavljanjem r = 2-og razreda od n = 3
elemenata. Broj svih takvih varijacija je V 3(2) = 32 = 9.
Sve moguće vrijednosti slučajnog uzorka veličine 2 za slučajnu varijablu X:
(0,0), (0,1), (0,2),
(1,0), (1,1), (1,2),
(2,0), (2,1), (2,2).
MOTIV 12.1
Koliki uzorak iz normalne razdiobe s varijancom 81 treba biti da bi s vjerojatnošću 0.9544 apsolutna razlika uzoračke aritmetičke sredine i očekivanja bila manja od 5.5?
Slučajna varijabla je odredena svojom funkcijom distribucije. Mnoga statistička
obilježja imaju zajedničku teorijsku funkciju distribucije pa govorimo o poznatim
distribucijama (razdiobama): binomna, uniformna, normalna, Poissonova,....
Svaka razdioba karakterizirana je svojim parametrima n,p,a,b,μ,σ2,λ,...:
X ~ B(n,p),
X ~ U(a,b),
X ~ N(μ,σ2),
X ~ Po(λ),....
Ako želimo odrediti vezu izmedu teorijske i statističke razdiobe postavljaju se dva
zadatka:
1. parametarske procjene, kada pretpostavimo teorijsku razdiobu i moramo odrediti
(procijeniti) parametre te razdiobe.
2. neparametaske procjene, kada moramo odabrati razdiobu.
Definicija 12.3 (PROCJENITELJ ILI ESTIMATOR)
Procjenitelj nepznatog parametra t je funkcija slučajnog uzorka
= h(X1,X2,...,Xn).
Procjenitelj je statistika.
Zadatak je odrediti procjenitelj za parametar t koji će ”najbolje” procijeniti
t.
Za procjenu jednog parametra možemo izabirati razne procjenitelje (funkcije
h).
Definicija 12.4 (NEPRISTRANI PROCJENITELJ)
Procjenitelj je nepristran za parametar t ako je očekivanje od jednako vrijednosti parametra t: E() = t.
Definicija 12.5 (ASIMPTOTSKI NORMALAN PROCJENITELJ)
Procjenitelj je asimptotski normalan za parametar t ako slučajnoj varijabli asimptotski, kad n→ ∞, pripada standardna normalna razdioba (distribucija) N(0,1).
Definicija 12.6 (UZORAČKA ARITMETIČKA SREDINA)
Statistika X = h(X1,X2,...,Xn) = ∑
i=1nXi zove se uzoračka aritmetička
sredina.
Vrijednost uzoračke aritmetičke sredine računa pomoću
x = h(x1,x2,...,xn) = ∑
i=1nxi, x = ∑
k=1rxk*fk.
TEOREM 12.1 (Svojstva uzoračke aritmetičke sredine)
Dokaz:tko želi znati više
(i) E(X) = E( ∑
i=1nXi) = ∑
i=1nE(Xi) = ∑
i=1nμ = μ.
(ii)
Neka je Sn = X1 + X2 + ... + Xn,tada slučajna varijabla konvergira
k N(0,1).
PRIMJER 12.2
Izračunati P(69 < X < 75), ako je X uzoračka aritmetička sredina uzorka veličine n=36 iz normalne razdiobe X ~ N(70,144).
Rješenje:
Ako je X ~ N(70,144) i n = 36, onda je X ~ N(70,4),
X* = = ~ N(0,1).
PRIMJER 12.3 motiv
Koliki uzorak iz normalne razdiobe s varijancom 81 treba biti da bi s vjerojatnošću 0.9544 apsolutna razlika uzoračke aritmetičke sredine i očekivanja bila manja od 5.5?
Rješenje:
Neka je X ~ N(μ,81) i P(|X - μ| < 5.5) ≥ 0.9544.
Trebamo odrediti veličinu uzorka n.
Znamo da je X ~ N(μ,), a X* = = ~ N(0,1).
Iz zadane vjerojatnosti dobivamo: 2F*() - 1 ≥ 0.9544,
Definicija 12.7 (UZORAČKA VARIJANCA)
Statistika 2 = ∑ i=1n(Xi -X)2 zove se uzoračka varijanca.
Vrijednost uzoračke varijance računa se formulom
TEOREM 12.2 (Svojstva uzoračke varijance)
Neka je X slučajna varijabla s teorijskim očekivanjem μ i varijancom σ2, koju ispitujemo pomoću slučajnog uzorka (X1,X2,...,Xn). Uzoračka varijanca 2 nije pouzdan procjenitelj za σ2: E(2) = σ2.
Dokaz:tko želi znati više
Prisjetimo se da je V ar(X)=E(X2) - E(X)2 i V ar(X) = σ2.
Definicija 12.8 (KORIGIRANA UZORAČKA VARIJANCA)
Statistika 2 = ∑ i=1n(Xi -X)2 zove se korigirana uzoračka varijanca.
Vrijednost korigirane uzoračke varijance računa se formulom
TEOREM 12.3 (Svojstva korigirane uzoračke varijance)
Neka je X slučajna varijabla s teorijskim očekivanjem μ i varijancom σ2, koju
ispitujemo pomoću slučajnog uzorka (X1,X2,...,Xn).
Korigirana uzoračka varijanca 2 je pouzdan procjenitelj za σ2: E( 2) = σ2.
Dokaz: Prisjetimo se da je E(2) = σ2.
TEOREM 12.4 (O VEZI 2,2 I DISTRIBUCIJA χ2(n - 1),t(n - 1))
Neka su X, 2,2 statistike slučajnog uzorka (X1,X2,...,Xn) iz normalne
razdiobe X ~ N(μ,σ2).
Tada vrijedi:
(i) Statistika 2 = 2 ~ χ2(n - 1),
(ii) Statistika = ~ t(n - 1).
Dokaz: tko želi znati više
(i) Dokaz je složen i koristi svojstvo χ2(n) distribucije: Y ~ χ2(n) ako je
Y = Y 12 + Y 22 + ... + Y n2, Y i ~ N(0,1).
(ii) Koristimo svojstvo Studentove distribucije s n stupnjeva slobode t(n) :
Z ~ t(n) ako je Z = Y , za Y ~ N(0,1), U ~ χ2(n).
Računamo za X ~ N(μ,σ2), X ~ N(μ,), X* = ~ N(0,1) :
Prema tvrdnji (i) zaključujemo ~ t(n - 1).
Koristeći 2 = 2 možemo dobiti i tvrdnju ~ t(n - 1).
PRIMJER 12.4
Izračunati uzoračku aritmetičku sredinu, uzoračku varijancu i korigiranu uzoračku varijancu u primjeru ”težina studenata”.
Rješenje: x = ∑ k=1rxk*fk.
2 = ∑ k=1r(xk*)2fk -x2.
MOTIV 12.2 Deformacije x [mm] i Brinellova tvrdoća y [] za neki tip čelika dani su tablicom
x | 06 09 11 11 13 22 26 28 33 35 |
y | 68 67 65 53 44 40 37 28 34 32 |
Odredite pravce regresije, uzorački koeficijent regresije i uzorački koeficijent korelacoje. Jesu li deformacija i Brinellova tvrdoća jako korelirane?
Definicija 12.9 (UZORAČKA KOVARIJANCA. UZORAČKI KOEFICIJENT KORELACIJE) Neka je za zadani slučajni 2-dim vektor (X,Y ) dobiven slučajni uzorak (x1,y1),(x2,y2),...,(xn,yn). Statistika
Neka su 1 i 2 uzoračke standardne devijacije od X i Y . Uzorački koeficijent korelacije komponenti X i Y slučajnog vektora je definiran s
|
|
NAPOMENA 12.2 (regresijska analiza)
Regresijska analiza (engl. regression analysis) je statistička metoda za
odedivanje veze medu slučajnim varijablama. Promatramo u slučajnom vektoru
(X,Y ) jednu slučajnu varijablu (npr. X) kao nezavisnu-kontroliranu (njene
vrijednosti zadajemo). Druga varijabla Y je slučajna varijabla i zanima nas kako
ona ovisi o X.
Prema Napomeni 9.4 u poglavlju Dvodimenzionalni slučajni vektor računamo
uzoračke pravce regresije.
Ako je X nezavisna varijabla i Y = aX + b, parametre a i b možemo odrediti
metodom najmanjih kvadrata tako da E((Y -(aX+b))2) ima minimalnu vrijednost.
a = xy ⋅ = je uzorački koeficijent regresije Y po X.
b = y - xy ⋅x = y - ⋅x
y -y = (x -x),
y -y = ρXY ⋅(x -x) je pravac regresije Y po X.
Analogno, ako je X=aY+b
a = xy ⋅ = je uzorački koeficijent regresije X po Y
x -x = (Y -y)
x -x = xy ⋅(y -y) je pravac regresije X po Y.
PRIMJER 12.5 U tablici su zapisani uzorci visina x i y od 12 mama i njihovih kćeri.
x | 165 160 170 163 173 158 178 168 173 170 175 180 |
y | 173 168 173 165 175 168 173 165 180 170 173 178 |
Oderedite uzorački pravac regresije Y u odnosu na X i uzorački pravac regresije X u odnosu na Y . Odredite uzorački koeficijent korelacije i uzorački koeficijent regresije Y po X. Jesu li visine mama i kćeri jako korelirane?
Rješenje: Trebamo odrediti a i b u jednadžbi y = ax + b :
Računamo: ∑
x = 2033, ∑
y = 2061, ∑
x2 = 344.95, ∑
x ⋅ y = 349.42,
∑
y2 = 354.22.
Uzorački koeficijent regresije Y po X je a = 0.48, b = 90.9 pa je pravac regresije Y po X
y = 0.48x + 90.9.
Trebamo odrediti a′ i b′ u jednadžbi x = a′y + b′ :
Uzorački koeficijent regresije X po Y je a′ = 1.02, b′ = -5.12 pa je pravac regresije
X po Y x = 1.02x - 5.12.
Uzorački koeficijent korelacije je
PRIMJER 12.6 motiv
Deformacije x [mm] i Brinellova tvrdoća y [] za neki tip čelika dani su tablicom
x | 06 09 11 11 13 22 26 28 33 35 |
y | 68 67 65 53 44 40 37 28 34 32 |
Odredite pravce regresije , uzorački koeficijent korelacije i uzorački koeficijent regresije. Jesu li deformacije i Brienellova tvrdoća jako korelirane ?
Rješenje: Trebamo odrediti a i b u jednadžbi y = ax + b :
Računamo: ∑
x = 183, ∑
y = 440, ∑
x2 = 4665, ∑
x ⋅ y = 7701, ∑
y2 = 23232.
Uzorački koeficijent regresije Y po X je a = -1.32, b = 75.72 pa je pravac regresije Y
po X y = -1.32x + 75.72.
Trebamo odrediti a′ i b′ u jednadžbi x = a′y + b′ :
Uzorački koeficijent regresije X po Y je a′ = -0.72, b′ = 55.72 pa je pravac regresije
X po Y x = -0.72x + 55.72.
Uzorački koeficijent korelacije je
Budući je xy ≈-1 slučajne varijable su linearnoj vezi, jako korelirane.
U ovom poglavlju istaknuli smo primjere s oznakom važno u kojima su dani procjenitelji za parametre osnovnih distribucija u smislu najveće vjerojatnosti.
MOTIV 12.3
U četiri mjerenja Rockwellove tvrdoće jedne ploče radnici du dobili sljedeće
vrijednosti:
64.9,64.1,63.8,64.0.
(a) Izračunajte vrijednost procjenitelja (u smislu najveće vjerojatnosti) za
očekivanje i varijancu tvrdoće ako pretpostavimo normalnu distribuciju.
(b) Izračunajte vrijednost nepristranih procjenitelja za očekivanje i varijancu
tvrdoće ako pretpostavimo normalnu distribuciju.
Definicija 12.10 (FUNKCIJA VJERODOSTOJNOSTI) Neka je X slučajna
varijabla (statističko obilježje) sa teorijskom funkcijom distribucije F(x,t) s
nepoznatim parametrom t i sa funkcijom vjerojatnosti za diskretnu razdiobu i
funkcijom gustoće vjerojatnosti za kontinuiranu f(x,t). Neka je (x1,x2,...,xn)
vrijednost slučajnog uzorka (X1,X2,...,Xn) za promatranu varijablu.
Za diskretnu razdiobu funkcija vjerodostojnosti L(t) definira se kao funkcija
vjerojatnosti slučajnog uzorka (slučajnog vektora):
Za kontinuiranu razdiobu funkcija vjerodostojnosti L(t) definira se kao funkcija gustoće vjerojatnosti slučajnog uzorka (slučajnog vektora):
Metoda najveće vjerojatnosti (ML = maximum likelihood method), za odredivanje procjenitelja = h(X1,X2,...,Xn) za nepoznati parametar t sastoji se u izboru one funkcije h takve da funkcija vjerodostojnosti L(t) (ili lnL(t)) dostiže najveću vrijednost za t = h(x1,x2,...,xn).
PRIMJER 12.7 važno
Metodom najveće vjerojatnosti pokažite da je procjenitelj za parametar λ u populaciji s Poisonovom razdiobom Po(λ) jednak = X.
Rješenje: Neka je X ~ Po(λ).
Teorijska funkcija vjerojatnosti je f(x,λ)=P(X = x,λ) = eλ.
Trebamo naći ML-procjenitelj za λ.
Funkcija vjerodostojnosti je
Tražimo maksimum funkcije vjerodostojnosti lnL(λ):
ML-procjenitelj za λ u Poisonovoj razdiobi je = X.
Možemo pokazati da je nepristrani procjenitelj E() = λ.
Prisjetimo se da je E(X)=λ i da je X nepristrani procjenitelj za očekivanje.
E() = E(X) = E(X) = λ.
PRIMJER 12.8 važno
Metodom najveće vjerojatnosti pokažite da je procjenitelj
(a) za parametar μ u populaciji s Normalnom razdiobom N(μ,σ2) ako je σ2
poznato jednak = X
(b) za parametar σ2 u populaciji s Normalnom razdiobom N(μ,σ2) ako je μ poznato
jednak = 2.
Rješenje: Neka je X ~ N(μ,σ2).
Teorijska funkcija gustoće vjerojatnosti je f(x,μ,σ2) = e-
.
Trebamo naći ML-procjenitelje za μ i σ2.
Funkcija vjerodostojnosti je:
(a) lnL(μ,σ2) = - ∑ i=1n(xi - μ) = 0,
ML-procjenitelj za očekivanje u normalnoj razdiobi je = X. To je nepristrani
procjenitelj za μ jer je E()=μ.
(b) lnL(μ,σ2) = - ∑
i=1n(xi - μ)2 - = 0,
ML-procjenitelj za varijancu u normalnoj razdiobi je = 2. To nije nepristrani procjenitelj za σ2 jer je E()=σ2.
PRIMJER 12.9 motiv
U četiri mjerenja Rockwellove tvrdoće jedne ploče radnici du dobili sljedeće
vrijednosti:
64.9,64.1,63.8,64.0. (a) Izračunajte vrijednost procjenitelja (u smislu najveće
vjerojatnosti- ML-procjenitelj ) za očekivanje i varijancu tvrdoće ako pretpostavimo
normalnu distribuciju.
(b) Izračunajte vrijednost nepristranih procjenitelja za očekivanje i varijancu
tvrdoće ako pretpostavimo normalnu distribuciju.
Rješenje: (a) ML-procjenitelj za očekivanje μ je uzoračka aritmetička sredina
X.
x = ∑
i=1nxi = 64.2
ML-procjenitelj za varijancu σ2 je uzoračka varijanca 2.
2 = ∑
i=1n(xi -x)2 = 0.175
(b)Nepristrani procjenitelj za očekivanje μ je uzoračka aritmetička sredina
X.
x = ∑
i=1nxi = 64.2
Nepristrani procjenitelj za varijancu σ2 je korigirana uzoračka varijanca
2.
2 = ∑
i=1n-1(xi -x)2 = 0.233.
PRIMJER 12.10 važno
Metodom najveće vjerojatnosti pokažite da je procjenitelj za parametar p u populaciji s Binomnom razdiobom B(m,p) uz pretpostavku da je m poznato jednak =
Rješenje: Neka je X ~ B(m,p). Teorijska funkcija vjerojatnosti je
f(x,m,p)=P(X = x,m,p) = (1 - p)m-xpx. Trebamo naći ML-procjenitelj za p.
Funkcija vjerodostojnosti je
ML-procjenitelj za p u Binomnoj razdiobi B(m,p) s poznatim m je = X.
Možemo pokazati da je nepristrani procjenitelj E() = p.
Prisjetimo se da je E(X)=mp i da je X nepristrani procjenitelj za očekivanje.
PROCJENITELJI PARAMETARA ZADANE DISTRIBUCIJE s očekivanjem μ i varijancom σ2
slučajni uzorak | (X1,X2,...,Xn) : Ω → ℝn |
statistika | T = h(X1,X2,...,Xn) , T : Ω → ℝ |
procjenitelj | = h(X1,X2,...,Xn) |
nepristrani procjenitelj za parametar t | E() = t |
uzoračka aritm. sredina | X = (X1 + X2 + ... + Xn) |
E(X) = μ, | |
V ar(X) = | |
n →∞ | ~ N(0,1) |
uzoračka varijanca | = ∑ i(Xi -X)2 |
E() = σ2 | |
korigirana uzoračka varijanca | = ∑ i(Xi -X)2 |
E() = σ2 | |
PROCJENITELJI PARAMETARA ZADANE DISTRIBUCIJE (ML)
distribucija ; parametar | procjenitelj |
Po(λ); λ | = X |
N(μ,σ2); μ | = X |
N(μ,σ2); σ2 | = 2 |
(B(m,p); p | = X |
STATISTIKE PARAMETARA NORMALNE DISTRIBUCIJE N(μ,σ2)
slučajni uzorak za X | (X1,X2,...,Xn) : Ω → ℝn |
statistika T = h(X1,X2,...,Xn) | distribucija |
X | ~ N(μ,) |
~ N(0,1) | |
~ t(n - 1) | |
2 | ~ χ2(n - 1) |
REGRESIJSKA ANALIZA
slučajni uzorak za (X,Y ) | (x1,y1),(x2,y2),...,(xn,yn) |
uzoračka kovarijanca | xy = ∑ i(xi -x)(yi -y) |
uzorački koef. korelacije | xy = |
Y = aX + b | a- uzorački koef. regresije |
a | |
= | |
b | y - ⋅x |
= | |
pravac regresije Y po X | y -y = (x -x) |
pravac regresije X po Y | x -x = (y -y) |