Analiza regresji - wykład i lista nr 3.pdf

(92 KB) Pobierz
(Microsoft Word - Analiza regresj- na wyk\263ady - AG v1.doc)
Analiza regresji
Analiza reszt we wnioskowaniu o jakości i uŜyteczności
modelu regresji
W dalszej części wykładu , o ile wyraźnie nie będzie załoŜone
inaczej, zakładamy, Ŝe S Z = S 2 I oraz, Ŝe macierz X jest
macierzą pełnego rzędu, tzn. r ( X )= k . Estymator MNK
będziemy dalej oznaczali krótko symbolem b .
Określenie
Suma Kwadratów Reszt ( SKR ) wyraŜa się wzorem:
SKR
=
Y
−
Xb
2
=
(
Y
−
Xb
)
T
(
Y
−
Xb
)
(ang. sum of squared errors SSE)
Stwierdzenie 1
Wartość oczekiwana róŜnicy zmiennej objaśnianej i
zmiennych objaśniających pomnoŜonych przez oszacowania
MNK parametrów strukturalnych jest równa zero, tzn.:
E( Y - Xb )= 0
str. 1
564305975.007.png 564305975.008.png
Analiza regresji
Twierdzenie 1
E
(
SKR
)
= S
2
(
n
−
k
)
Dowód
E
(
SKR
)
=
E
(
Y
−
Xb
)
T
(
Y
−
Xb
)
=
=
E
(
Y
−
X
(
X
T
X
)
−
1
X
T
Y
)
T
(
Y
−
X
(
X
T
X
)
−
1
X
T
Y
))
=
E
[
Y
(
I
−
X
(
X
T
X
)
−
1
X
T
)
T
(
I
−
X
(
X
T
X
)
−
1
X
T
)
Y
]
n
n
= jest macierzą
idempotentną, tzn. spełnia warunek A 2 = A .
Zatem
A
(
I
−
X
(
X
T
X
)
−
1 T
X
)
k
E
( SKR
)
=
E
[
Y
T
(
I
−
X
(
X
T
X
)
−
1
X
T
)
Y
]
n
Wykorzystując znany fakt, Ŝe
E
Y
T
A
Y
=
E
Y
T
AE
Y
+
trA
S
y
,
oraz, to Ŝe w rozpatrywanym przypadku
E
Y =
X
, mamy:
E
( SKR
)
=
B
T
X
T
(
I
−
X
(
X
T
X
)
−
1 T
X
)
X
B
n
+
S
2
tr
(
I
−
X
(
X
T
X
)
−
1
X
T
)
=
n
=
n
S
2
+
S
2
tr
(
X
T
X
)
−
1
X
T
X
)
=
n
S
2
−
S
2
tr
I
=
S
2
(
n
−
k
)
.
k
Wniosek
Nieobci ąŜ onym estymatorem wariancji zakłóce ń w
rozpatrywanym przypadku jest statystyka
S Z
2
=
SKR
.
n
−
k
str. 2
Macierz
564305975.009.png 564305975.010.png
Analiza regresji
Nazewnictwo
S b ę d ą c ą oszacowaniem odchylenia
standardowego nazywamy standardowym bł Ę dem modelu .
Liczba n-k (ró Ŝ nica liczby obserwacji i liczby estymowanych
parametrów) to liczba stopni swobody modelu
(ang. degrees of freedom ).
Z
Wiemy, Ŝ e w rozpatrywanym przypadku , Ŝ e
1
Cov
(
b
)
=
S
2
(
X
T
X
)
−
Otrzymujemy zatem:
S
2
=
Var
( =
b
)
S
2
D
i
i
ii
gdzie
i D
=
(
X T
X
)
−
jest i -tym elementem diagonalnym
macierzy
(
X T
X
)
−
1
, i=1,2,…,k.
Wielkość
S
bi S
=
Z
D
ii
b ę d ą ca oszacowaniem odchylenia standardowego estymatora
b nazywa si ę standardowym bł Ę dem oszacowania i- tego
współczynnika regresji.
str. 3
Wielko ść
1
564305975.001.png 564305975.002.png
Analiza regresji
Weryfikacja hipotez i estymacja przedziałowa przy
założeniu normalności zakłóceń
W tym fragmencie wykładu zakłada ć b ę dziemy, Ŝ e wektor Z
ma n wymiarowy rozkład normalny.
Rozpatrzmy w takim przypadku problem estymacji funkcji
parametrycznej
G
=
w
T
B
. Niech, jak zwykle estymator
= b ę dzie estymatorem MNK tej warto ś ci. Oczywi ś cie
przy przyj ę tych zało Ŝ eniach estymator ten ma rozkład
normalny. Jego warto ść oczekiwana jest równa
w
T
b
E
( g
)
=
G
,
natomiast wariancja wynosi:
Var
( g
)
=
Var
(
w
T
(
X
T
X
)
−
1
X
T
Y
)
=
S
2
w
T
(
X
T
X
)
−
1
X
T
X
(
X
T
X
)
−
1
w
=
S
2
w
T
(
X
T
X
)
−
1
w
=
S
2
c
2
Zdefiniujmy statystyk ę
U
=
g
−
G
c
S
Statystyka U ma oczywi ś cie rozkład N (0,1).
W dalszym ci ą gu wykładu wykorzystamy nast ę puj ą ce
twierdzenie Fishera-Cochrana
str. 4
g
564305975.003.png 564305975.004.png
Analiza regresji
Z T miała rozkład C jest, by macierz A była
idempotentna. Liczba stopni swobody tego rozkładu jest
równa rz ę dowi macierzy A.
Dowód tego twierdzenia (a tak Ŝ e jego ogólniejszej postaci)
mo Ŝ emy znale źć np. w R.C. Rao, Modele liniowe statystyki ,
PWN1982, str 202.
Z powy Ŝ szego twierdzenia otrzymujemy, Ŝ e je Ŝ eli wektor Z
ma rozkład normalny N ( 0 , S 2 I ), to
1
Z
T
A
Z
~
C
2
(
r
(
A
))
(1.fk)
S
2
Prosz ę to uzasadni ć :)
ZauwaŜmy, Ŝe
SKR
=
Y
T
(
I
−
X
(
X
T
X
)
−
1 T
X
)
Y
=
n
(
Y
−
X
B
)
T
(
I
−
X
(
X
T
X
)
−
1
X
T
)(
Y
−
X
B
=
n
Z
T
(
I
−
X
(
X
T
X
)
−
1 T
X
)
Z
n
To te Ŝ prosz ę uzasadni ć :)
str. 5
Twierdzenie 2
Załó Ŝ my, Ŝ e wektor Z ma rozkład normalny N ( 0 , I ).
Warunkiem koniecznym i wystarczaj ą cym na to, aby forma
kwadratowa AZ
)
564305975.005.png 564305975.006.png

Plik z chomika:

Inne pliki z tego folderu:

Inne foldery tego chomika:

Zgłoś jeśli naruszono regulamin