86109 (589932), страница 4

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 4)

- генератриса моментів , де cXβ = (X’X)^-1β = β,

cσ²Ic’ = (X'X)^-1X'σ²I((X'X)^-1X')' = σ²(X'X)^-1X'X(X'X)^-1 = σ²(X'X)^-1.

Генератриса функції моментів нормального розподілу ξ ~ N(a; σ²):

M(t) = Me^tξ = ,

Генератриса моментів для вектора однозначно визначає щільність розподілу вектора і дорівнює M(t) = Me^t' , , t = (t₁, t₂, …, t_p)'

(II) ( - β)'Х'Х( - β)/σ² = =

= ( - β)'(D )^-1( - β) = ( ₁ – β₁, …, _p – β_p)(D )^-1 =

= (D )^-1

~ N(β; σ²(X'X)^-1),

- β ~ N(0; σ²(X'X)^-1),

, тоді . Отже, .

(III) Необхідно довести, не залежить від S². Порахуємо cov( ,Y-X )

cov( , Y - X ) = cov((X'X)^-1X'Y, Y – X(X'X)^-1X'Y) =

= cov((X'X)^-1X'Y, Y - PY) = cov((X'X)^-1X'Y, (I – P)Y) =

= (X'X)^-1X'cov(Y, Y)(I – P)' = {(I – P)' = I – P} =

= (X'X)^-1X'DY(I – P) = {DY = σ²} = (X'X)^-1X'σ²I(I – P) =

= σ²(X'X)^-1X'(I – P) = = 0

Залишилось скористатись наступною теоремою:

Нехай Y ~ N(Xβ; σ²I), U = AY, V = BY, матриця А₁ складена з лінійно незалежних рядків матриці А, U₁ = A₁Y. Якщо cov(U, V) = 0, то

1) випадковий вектор U₁ не залежить від V'V;

2) випадкові величини U'U та V'V незалежні.

Позначимо

U₁ = , V = Y - X , U = U₁ =

U₁ = (X'X)^-1X'Y, V = Y - X = (I – P)Y.

Оскільки cov(U₁, V) = 0, тоді U₁ = не залежить від V'V=(Y - X )'(Y - X ) = = (n – p)S².

(IV) Розглянемо

Q₁ = (Y – Xβ)'(Y – Xβ) = (Y - X + Х( - β))'(Y - X + X( - β)) =

= (Y – X )'(Y – X ) + (Y – X )'X ( - β) + ( - β)'X'(Y - X ) +

+ ( - β)'X'X ( - β) =

= =

= (Y – X )'(Y – X ) + ( - β)'X'X ( - β) = Q + Q₂. (1.1.15)

Тут ми позначили

(Y - X )'(Y - Х ) = Q, ( - β)'Х'Х( - β) = Q₂.

При цьому відношення

Q₁/σ² = = (ε_i ~ N(0; σ²), ε_i /σ ~ N(0; 1)), Q₂/σ² ~ .

Отже, Q = Q₁ + Q₂, Q₁ ~ , Q₂ ~ (n > p). Тому Q/σ² = Q₁/σ² – Q₂/σ ~ ~ .

Теорема доведена.

Нехай лінійна модель регресії має вигляд Y = Xβ + ε, X = X^{(n × p)}, rangX = p, ε ~ N(0; σ²I).

Необхідно оцінити параметр β, при лінійних обмеженнях H: Aβ = c,

де А = А^{(q ×p)} – відома матриця, c = c^(q×1) – відомий вектор. (1.1.16)

Обмеження (1.1.16) можна переписати у вигляді:

H: Aβ = c

H: β = ,

де a'_i – i-тий рядок матриці А

H: a'_i β = c_i , i = 1, 2, …, q.

Використаємо метод множників Лагранжа для розв’язання цієї задачі.

В подальшому будемо використовувати такий вираз:

λ₁(a'₁β – с₁) + λ₂(a'₂β – с₂) + … + λ_q(a'_qβ – с_q) =

= (λ₁, λ₂, …, λ_q) = λ'(Aβ – c) = (λ'(Aβ – c))' =

= (Aβ – c)'λ = (β'A' - c')λ (1.1.17)

Мінімізуємо суму квадратів залишків ε'ε при лінійних обмеженнях H:

Aβ = c.

r = ε'ε + λ₁(a'₁β – с₁) + … + λ_q(a'_qβ – с_q) = ε'ε + (β'A' - c')λ = (Y – Xβ)'(Y – Xβ) + (β'A' - c')λ = (Y' – X'β') (Y – Xβ) + (β'A' - c')λ = Y'Y - Y'Xβ - β'X'Y + β'X'Xβ + (β'A' - c')λ = Y'Y - 2β'X'Y + β'X'Xβ + β'A'λ - c'λ

З (1.1.18) випливає, що

X'Xβ = X'Y - A'λ

= (X'X)^-1X'Y - (X'X)^-1A' (1.1.20)

= - (X'X)^-1A' (1.1.21)

Формулу (1.1.21) підставляємо в (1.1.19)

c = A = A - (X'X)^-1A'

c - A = - (X'X)^-1A'

(A(X'X)^-1A')^-1(c - A ) = -

Останнє підставляємо в (1.1.21)

= + (X'X)^-1A'(A(X'X)^-1A')^-1(c - A )

мінімізує ε'ε при обмеженнях Aβ = c.

1.2 F-критерій

Розглянемо лінійну модель Y =Хβ + ε, в якій матриця X має розмір n р і ранг р, ε ~ N_n(0, σ²I_n). Нехай ми хочемо перевірити гіпотезу H: Аβ = c, де А - відома (q p) - матриця рангу q, а с - відомий (q 1) - вектор. Позначимо

RSS = (Y –X )'(Y-X ) = (n – p)S²

RSS_H = (Y –X _H)'(Y-X _H)

Де _H = + (Х'Х)^-1А'[А(Х'Х)^-1А']^-1(с-А ), (1.2.1)

і RSS_H - мінімальне значення ε'ε при обмеженнях Аβ = с.

Теорема 1.2.1.

(I) RSS_H - RSS = (А - c)' [А (Х'Х)^-1 А']^-1 (А - c),

(II) М [RSS_H - RSS] = σ²q + (Аβ -с)' [А(Х'Х)^-1А']^-1(Аβ - с).

(III) Якщо гіпотеза Н: Аβ = с справедлива, то статистика

F =

має розподіл Фішера F_q,n-p (F-розподіл з q і n - p ступенями вільності відповідно).

(IV) Якщо с = 0, то статистика F приймає вигляд

F = ,

де Р_H - симетрична і ідемпотентна матриця і Р_НP = PР_Н = Р_Н

Доведення.

(I) Спочатку доведемо тотожність:

||Y - X _H||² = ||Y - X ||² + ||X( - _H)||²

Розглянемо

||X( - )||² = (X( - β))'X( - β) = ( - β)'X'X ( - β) = ( - _H + _H - β)'X'X ( - _H + _H - β) =

= ( - _H)'X'X ( - _H) + ( _H - β)'X'X ( _H - β) =

= 2 ((X'X)^-1A' )'X'X( _H - β) = A(X'X)^-1 X'X( _H - β) = A( _H - β) = (A _H - Aβ) = (c – c) = 0 = (X( - _H))'X( - _H) + (X( _H - β))'X( _H - β) = ||X( - _H)||² + ||X( _H- β)||².

Далі,

ε'ε = (Y – Xβ)'(Y – Xβ) = ||Y – Xβ||² = (Y - X )'(Y - X ) +

+ ( - β)'X'X( - β) = ||Y - X ||² + ||X( - β)||²

Підставляємо

||X( - β)||²:

ε'ε = ||Y - X ||² + ||X( - _H)||² + ||X( - β)||²

ε'ε досягає мінімального значення при ||X( - β)||² = 0, тобто

X( - β) = 0

β = , Х ≠ 0 (оскільки стовпці Х лінійно незалежні)

Покладаючи в ε'ε β = , знаходимо

||Y - X _H||² = ||Y - X ||² + ||X( - _H)||²

Тоді

RSS_H – RSS = (Y - X _H)'(Y - X _H) – (Y - X )'(Y - X ) =

= ||Y - X _H||² - ||Y - X ||² = ||X( - _H)||² = (X( - _H))'(X( - _H)) =

= ( - _H)'X'X( - _H) =

= =

= ((X'X)^-1A'(A(X'X)^-1A')^-1(A - c))'X'X((X'X)^-1A'(A(X'X)^-1A')^-1(A - c)) =

= (A - c)'(A(X'X)^-1A')^-1A(X'X)^-1(X'X)(X'X)^-1A'(A(X'X)^-1A')^-1(A - c) =

= (A - c)'(A(X'X)^-1A')^-1(A - c).

(II) Скористаємось лемою.

Нехай Y = Y^(n×1) - випадковий вектор, A^(n×n) = A - симетрична матриця. Якщо MY = θ, DY = ∑, тоді

M(Y'AY) = tr(A∑) + θ'Aθ.

Раніше, доведено, що

~ N_p(β, σ²(Х'Х)^-1), A ~ N_q(Aβ, σ²A(Х'Х)^-1A').

Позначимо Z = А - c і В = А(Х'Х)^-1А'. Тоді

M[Z] = M(А – c) = A - c = = Аβ – c і

D[Z] = D(А – c) = D[A ] = σ²B

Тоді

M[RSS_H - RSS] = M[Z'В^-1Z] = tr[σ²В^-1В] + (Аβ - с)' В^-1(Аβ - с) =

= tr[σ²I_q] + (Aβ – c)'B^-1(Aβ – c) =

= σ²q + (Aβ – c)'B^-1(Aβ – c). (1.2.2)

(III) Відомо, що ~ N_q(β,σ²А(Х'Х)^-1), тоді

A ~ N_q(Aβ, σ²A(Х'Х)^-1A') і

А - с ~ N_q(Aβ - c, σ²A(Х'Х)^-1A'),

, тоді .

Розглянемо (RSS_H – RSS)/σ²

= (А - с)' (D[А ])^-1(А - с),

Раніше доведено, що RSS/σ² ~ (теорема 1.1.6 (IV)), тоді статистика

при справедливій гіпотезі Н має вигляд [ /q]/[ /(n - р)]. Отже, якщо гіпотеза Н справедлива, то F ~ F_q,n-p.

(IV) Нехай у виразі (1.2.1) c = 0, тоді маємо

= X( _H - (Х'Х)^-1А'[А(Х'Х)^-1А']^-1А ) = X -

• X(Х'Х)^-1А'[А(Х'Х)^-1А']^-1А =

= X(Х'Х)^-1 Х'Y - X(Х'Х)^-1А'[А(Х'Х)^-1А']^-1А(Х'Х)^-1 Х'Y =

={X(Х'Х)^-1X' - X(Х'Х)^-1А'[А(Х'Х)^-1А']^-1А(Х'Х)^-1Х'}Y= (Р-Р₁)Y, (1.2.3)

Тобто

(1.2.4)

де Р_H - симетрична матриця. Спростивши вираз для матриці Р₁, знаходимо, що Р₁ симетрична і ідемпотентна і Р₁Р = РР₁ = Р₁. Звідси одержуємо

= Р² - Р₁P – РP₁ + = P - 2P₁ + P₁ = P - P₁ = P_H (1.2.5)

P_HP = (P - P₁)P = P - P₁ = P_H (1.2.6)

і РР_H = Р_H (останнє одержуємо транспонуванням).

Y - X = Y - X(Х'Х)^-1 Х'Y = Y(I - X(Х'Х)^-1 Х') = (I – P)Y.

Тоді

RSS = (Y - X )'(Y - X ) = ((I – P)Y)'(I – P)Y =

= Y'(I – P)'(I – P)Y = Y'(I_n - Р)Y

Aналогічно

RSS_H = (Y - X _H)'(Y - X _H) = Y'(I_n – Р_H)Y. (1.2.7)

Таким чином,

RSS_H – RSS = Y'(I_n – Р_H)Y - Y'(I_n - Р)Y = Y'(I – Р_H – I + P)Y = Y'(P – Р_H)Y.

Отже,

Теорема доведена.

F – критерій для перевірки гіпотези H: Aβ = c.

Гіпотезу H: Aβ = c відхиляють при

і не відхиляють в супротивному разі. Рівень значущості критерію α.

1.3 Лінійна одновимірна регресія

Нехай Y_i = β₀ + β₁x_i + ε_i (i = 1,2, …, n) і ми хочемо перевірити гіпотезу H: β₁ = 0. Тоді X = (I_n, x),

, ,

Підставляючи ці вирази у формулу = (X’X)^-1X’Y, після деяких спрощень одержуємо

₀ = (1.3.1)

= ₀ + ₁x_i = (1.3.2)

Нарешті, знаходимо вираз для F- статистики

(1.3.3)

Де

Помітимо, що з (1.3.4) випливає, що

Де

є квадратом вибіркового коефіцієнта кореляції між Y і х. Відношення r є мірою ступені лінійності зв'язку меж Y і х, оскільки, згідно з (1.3.5),

RSS = (1.3.6)

Отже, чим більше значення г², тим менше RSS і, тим краще підібрана пряма відповідає спостереженням.

1.4 Порівняння прямих регресій. Критерій паралельності прямих. Критерій збігу прямих

Нехай необхідно порівняти K ліній регресій

Y = α_k + β_kx_k + ε (k =1, 2, ..., K),

де M[ε] = 0 і дисперсії D[ε] = σ² однакові для всіх K ліній. Якщо для k-й лінії є n_k пар спостережень (x_ki, Y_ki ) (i = 1, 2, ..., n_k), то модель приймає вигляд

Y_ki = α_k + β_kx_ki + ε_ki (k =1, 2, ..., n_k), (1.4.1)

де ε_ki - незалежні випадкові величини з розподілом N(0, σ²).

Введемо позначення Y' = (Y₁₁, Y₁₂, …, Y_1n1, …, Y_Kn1, …, Y_Knk) запишемо модель у вигляді Y = Xγ + ε, де

Тут X -матріца розміру N×2K рангу 2К, а N = .

Використовуючи загальну теорію підрозділу 1.2, можна перевірити будь-яку гіпотезу вигляду Н:Аγ = с. Дві гіпотези такого роду розглядаються нижче.

Критерій паралельності прямих

Розглянемо задачу перевірки паралельності всіх K ліній. Тоді гіпотеза

Н:Аγ = с має вигляд H₁: β₁ = β₂ = . . . = β_K = β, або β₁- β_K = β₂ – β_K = ... = β_K-1 - - β_K = 0. У матричній формі H₁ приймає вигляд

або Аγ = 0, де А-матрица розміру (К- 1)×2K рангу K-1. Використовуючи загальну теорію регресії з q = K-1, n = N і р = 2К, одержуємо, що статистика критерія для перевірки гіпотези H₁, має вигляд

(1.4.2)

Для знаходження RSS необхідно мінімізувати

S = ε'ε = .

Продиференціюємо S по α_k та β_k

З перших K рівнянь системи знаходимо, що

Підставляємо α_k в (1.4.4)

Характеристики

Список файлов ВКР