86109 (589932), страница 3

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 3)

PX = X(Х'Х)^-1X'X = X(Х'Х)^-1X'X = XI = X .

Перевіримо, що c' - лінійна незміщена оцінка для c'θ. Дійсно,

M[c' ] = Mc'РY = c'P MY = c'Pθ = c'PXβ = c'Xβ = c'θ

для всіх θ Ω = [Х] і c' = c'PY = (P'c)'Y = (Рс)'Y. Розглянемо іншу лінійну незміщену оцінку для c'θ. Тоді M[d'Y] = c'θ з одного боку, а з іншого

M[d'Y] = d'MY = d'θ,

Тоді

c'θ = d'θ (с' - d')θ = 0 (с- d)'θ = 0, тобто (c - d) Ω = R(X).

Оскільки R(X) = R(P) в силу теореми 1.1.2, то

(c – d) R(P), (c – d)'P = 0 ((c – d)'P)' = 0' P(c – d) = 0

Pc = Pd

Порахуємо дисперсію оцінки c' :

Dc' = D[(Рd)'Y] = D[(Рd)'Y] = Dd'P'Y = cov(d'P'Y, d'P'Y) =

= d'P'cov(Y, Y)(d'P')' = d'PDYPd = d'Pσ²IPd = σ²d'Р²d = σ² d'Рd,

Тоді

D[d'Y] - D[c' ] = D[d'Y] - D[(Рd)' Y] =

= d'DYd - σ²d'Pd = σ²d'd - σ²d'Pd =

= σ²(d'd - d'Рd) = σ²d'(I_n - Р)d = {I_n – P = (I_n – P)²} =

= σ² d'(I_n - Р)(I_n - Р)d = {I_n – P = (I_n – P)'} =

= σ² d'(I_n - Р)'(I_n - Р)d = σ² [(I_n - Р)d]'[(I_n - Р)d] ≥ 0

Рівність нулю досягається тоді й тільки тоді, коли

(I_n - Р)d = 0

d – Pd = 0

d = Рd = Рс

Тоді D(d'Y) ≥ D(c' ), при цьому c'θ = d'θ. Це і означає, що c' має мінімальну дисперсію і є єдиною оцінкою з такою властивістю в класі всіх лінійних незміщених оцінок лінійних комбінацій c'θ.

Теорема доведена.

Теорема доведена в припущенні, що матриця X має ранг p, так що Р = X (Х'Х)^-1X', і θ =Хβ випливає, що β = (Х'Х)^-1Х'θ.

Нехай с' = а'(Х'Х)^-1X', тоді звідси оцінка а'β = a'(X’X)^-1X' = с' є НЛНО з мінімальною дисперсією для а'β при кожному а.

Зауваження. Якщо похибки ε_і незалежні й однаково розподілені ε ~ або, в еквівалентній формі, Y ~ , то a' має мінімальну дисперсію серед усіх незміщених оцінок, а не тільки в класі лінійних незміщених оцінок.

Зокрема, МНК – оцінка _і, і = 0, …, p – 1 є також оцінкою максимальної правдоподібності, і вона ефективна оцінка для β_і.

Якщо ж розподіл ε_i не є нормальним, то МНК – оцінка _і відрізняється від оцінки максимальної правдоподібності. В цьому випадку МНК – оцінка _і асимптотично ефективна для β_і.

Оцінимо параметр σ² = Dε_i, але спочатку сформулюємо низку лем.

Лема 1.1.1. Нехай Y = Y^(n×1) – випадковий вектор, А^(n×n) = A – симетрична матриця. Якщо MY = θ, DY = ∑, тоді математичне сподівання квадратичної форми Y'AY дорівнює

M(Y'AY) = tr(A∑) + θ'Aθ

.Наслідок

Якщо ∑ = σ²I, то tr(A∑) = σ²trA.

Лема 1.1.2.

Нехай маємо n незалежних випадкових величин Y₁, Y₂, …, Y_n з середніми θ₁, θ₂, …, θ_n, однаковими дисперсіями μ₂ та однаковими третіми та четвертими центральними моментами μ₃ та μ₄ відповідно (μ_r = M(Y_i – θ_i)^r). Якщо A = = А^(n×n) – симетрична матриця, а a – вектор – стовпець, утворений її діагональними елементами, тоді дисперсія квадратичної форми Y'AY дорівнює

D(Y'AY) = (μ₄ – 3(μ₂)²)a'a + 2(μ₂)²trA² + 4(μ₂)²θ'A²θ + 4μ₃θ'Aa

Теорема 1.1.4.

Якщо

М[Y] = Xβ, де Х = X^(n×p), rangX = p, D[Y] = σ² I_n,

тоді оцінка

є незміщеною оцінкою для σ².

Доведення.

Похибку ε запишемо у вигляді:

ε = Y - = Y - Х = { = (X'X)^-1X'Y } = Y – X(X'X)^-1X'Y =

= (I_n – X(X'X)^-1X')Y = (I_n - Р)Y.

Тоді

(n - p)S² = (Y - X )'(Y - X ) = ((I_n – P)Y)'((I_n – P)Y) = Y'(I_n – P)'(I_n – P)Y = {(I_n – P)' = I_n – P – симетрична} =Y'(I_n – P)²Y = Y'(I_n – P)Y.

Виразимо Y'(I_n – P)Y з рівності:

(Y – Xβ)'(I_n – P)(Y – Xβ) = Y'(I_n – P)Y – Y'(I_n – P)Xβ – (Xβ)'(I_n – P)Y + (Xβ)'(I_n – P)Xβ;

Y'(I_n – P)Y = (Y – Xβ)'(I_n – P)(Y – Xβ) + Y'(I_n – P)Xβ + (Xβ)'(I_n – P)Y - (Xβ)'(I_n – P)Xβ.

Порахуємо M(n – p)S²

M(n – p)S² = MY'(I_n – P)Y = {лема 1.1.1} = M(Y – Xβ)'(I_n – P)(Y – Xβ) +

+ MY'(I_n – P)Xβ + M(Xβ)'(I_n – P)Y – M(Xβ)'(I_n – P)Xβ =

= M(Y – Xβ)'(I_n – P)(Y – Xβ) + (Xβ)'(I_n – P)Xβ + (Xβ)'(I_n – P)Xβ –

- (Xβ)'(I_n – P)Xβ = M(Y – MY)'(I_n – P)(Y – MY) =

= + (Xβ)'(I_n – P)Xβ =

= + (Xβ)'(I_n – P)Xβ =

= + (Xβ)'(I_n – P)Xβ =

= σ²(p₁₁ + p₂₂ + … + p_nn) + β'X'(I_n – P)Xβ =

= σ²tr(I_n – P) + β'X'(I_n – P)Xβ = =

= σ²(n – p) + 0 = σ²(n – p)

Отже,

M(n – p)S² = σ²(n – p) MS² = σ².

Теорема доведена.

Виявляється, що S², подібно до , має певні властивості оптимальності, які наведено в наступній теоремі.

Теорема 1.1.5.

Нехай Y₁, Y_2, …, Y_n – незалежні випадкові величини, які мають однакові дисперсії μ₂ = 3σ² і однакові треті та четверті моменти μ₃ і μ₄. Якщо M[Y] = Xβ, де матриця Х = Х^{(n × p)}, rangX = p, то DY = σ²I і (n – p)S² є єдиною невід’ємною квадратичною незміщеною оцінкою для (n – p)σ², яка має мінімальну дисперсію при μ₄ = 3σ⁴ або при рівності всіх діагональних елементів матриці P.

Доведення.

Оскільки σ² > 0, то будемо розглядати тільки невід’ємні оцінки.

Нехай Y'АY незміщена квадратична оцінка для (n - р)σ². Порахуємо математичне сподівання та дисперсію оцінки Y'АY

(n - р)σ² = M[Y'АY] = σ² trА + β'Х'АХβ

для всіх β, тоді trА = n - р і β'Х'АХβ = 0 для всіх β. Отже, Х'АХ = 0 А- додатньо напіввизначена симетрична матриця з Х'АХ = 0 випливає, що АХ = 0.

Позначимо а – вектор, утворений діагональними елементами матриці А і γ₂ = (μ₄ - 3σ⁴)/σ⁴, тоді згідно з лемою 1.1.2,

D[Y'АY] = (μ₄ – 3(μ₂)²)a'a + 2(μ₂)²trA² + 4(μ₂)²(Xβ)'A²(Xβ) + 4μ₃(Xβ)'Aa =

= = (μ₄ – 3(μ₂)²)a'a + 2(σ²)²trA² + 4(σ²)²β'X'AXβ +

+ 4μ₃β'(AX)'a = σ⁴ γ₂ а'а + 2σ⁴ trА² . (1.1.11)

Далі розглянемо оцінку (n - р)S², яка належить класу незміщених квадратичних оцінок для (n - р)σ² згідно з теоремою 1.1.4

(n - р)S² = (Y - X )’(Y - X ) = Y(I_n - Р)Y = Y'RY

(де для стислості, введене позначення I_n - Р = R), trR² = trR = n - р.

Розглянемо D[Y'RY]:

D[Y'RY] = σ⁴ γ₂ r'r + 2σ⁴trR² = σ⁴ γ₂ r'r + 2σ⁴ (n - р). (1.1.12)

де r – вектор, утворений діагональними елементами матриці R.

Для того, щоб знайти достатні умови для мінімальності дисперсії оцінки Y'АY, покладемо А = R + D. Оскільки A та R симетричні, то матриця D також симетрична і trА = trR + trD.

Підставляємо: (n – p) = (n – p) + 0 таким чином, trD = 0. Оскільки АХ = 0, то АР = АХ(Х'Х)^-1X' = 0, тоді

A = R + D

AP = RP + DP

AP = P – P² + DP

0 = P – P + DP

DP = 0

Тоді

DR = D – DP = D – 0 = D

(останнє рівне також D = D' = RD, так як D симетрична).

Позначимо a = r + d, r – вектор діагональних елементів матриці R, d– вектор діагональних елементів матриці D.

A² = (R + D)² = R² + DR + RD + D² = R + 2D + D²

tr A² = trR + 2trD + trD² = (n - р) + trD².

Підставляючи а = r + d і tr A² в (1.1.11), одержуємо

D[Y'АY] = σ⁴ γ₂ a'а + 2σ⁴trA² = σ⁴ γ₂(r + d)'(r + d) + 2σ⁴(n – p + trD²) =

= σ⁴ γ₂(r' + d')(r + d) + 2σ⁴(n – p + trD²) =

= σ⁴ γ₂(d'r + d'd + r'r + r'd) + 2σ⁴(n – p + trD²) =

= σ⁴γ₂ r'r + 2σ⁴(n – p) + 2σ⁴ =

= D[Y'RY] + 2σ⁴ .

Щоб знайти оцінку з мінімальною дисперсією, потрібно мінімізувати D[Y'АY] за умов tr D = 0 і DR = D. У загальному випадку виконати таку мінімізацію досить важкою. Проте в двох важливих окремих випадках ця мінімізація виконується не важко. Перший випадок - це ситуація, коли γ₂ = 0 При цьому

D[Y'AY] = D[Y'RY] + 2σ²

Остання ж величина досягає мінімуму, коли d_ij = 0 для всіх i, j, тобто коли D = 0 і А = R. Другий випадок - це випадок рівності всіх діагональних елементів матриці Р. При цьому всі вони рівні р₁₁ = p₂₂ = … = p_nn

trR = trI – trP = n – p tr Р = р.

Тому

р₁₁ + p₂₂ + … + p_nn r_ii = p

np_ii = p p_ii = p/n

Тоді діагональні елементи матриці R = (I – P) дорівнюють r_ii = 1 – p_ii = 1 – p/n = (n - р)/n для кожного і

D[Y'AY] = D[Y'RY] + 2σ⁴( =

= =

= D(Y'RY) + 2σ⁴ =

= D[Y'RY] + 2σ⁴ , (1.1.13)

Далі для будь–якої випадкової величини ξ виконується нерівність γ₂ ≥-2. Дійсно,

0 ≤ D(ξ – Mξ)² = M(ξ – Mξ)⁴ – (M(ξ - Mξ)²)² = μ₄ – (μ₂)² =

= μ₄ – 3(μ₂)² + 2(μ₂)² = (μ₂)²(μ₄ / (μ₂)² – 3 + 2) =

= = (μ₂)²(γ₂ + 2), отже γ₂ ≥ -2

отже D[Y'АY] досягає мінімуму, коли d_ij = 0 для всіх i, j. Таким чином, в обох випадках дисперсія виявляється мінімальною тоді і тільки тоді, коли А = R. Теорема доведена. Доведена теорема говорить про те, що незміщена квадратична оцінка для σ², з мінімальною дисперсією існує тільки при певних обмеженнях, наведених в теоремі. У припущенні нормальності, тобто при γ₂ = 0, оцінка S² є незміщеною оцінкою для σ², яка має мінімальну дисперсією в класі всіх незміщених оцінок, а не тільки в класі квадратичних незміщених оцінок. Раніше ми припускали відносно похибок ε_i, що M[ε] = 0 і D[ε] = σ²I_n. Якщо додатково припустити, що похибки ε_i розподілені нормально, тобто ε ~ N_n(0, σ²I_n) (отже Y ~ N_n(Xβ, σ²I_n)), то можна одержати низку наступних результатів, пов'язаних з розподілами.

Теорема 1.1.6. Якщо Y ~ N_n(Xβ, σ²I_n), де Х = Х^(n×p), rangX = p, тоді

1. ~ N_p(β, σ²(X'X)^-1);

2. ( - β)'X'X( - β)/σ² ~ ;

3. не залежить від S²;

4. RSS/σ² = (n – p)S²/σ² ~ .

Доведення. (I) МНК – оцінка вектора β має вигляд = (Х'Х)^-1Х'Y, тоді = СY, де C = (Х'Х)^-1Х' - матриця розміру р×n, для якої rangС = rang(Х'Х)^-1Х' = rangХ^-1(Х')^-1X' = rangХ^-1 = p. Вектор Y ~ N_n(Xβ, σ²I_n). Генератриса моментів для вектора дорівнює

M = M .

M(t) = M = M = = M = = =

Характеристики

Список файлов ВКР