86109 (589932), страница 2

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 2)

В роботі необхідно розв’язати наступні задачі.

І. Методами лінійного регресійного аналізу дослідити

1. залежність захворюваності на туберкульоз (всі форми) та туберкульоз легенів від року спостереження,

2. залежність захворюваності на рак від року спостереження,

3. залежність захворюваності на СНІД від року спостереження,

4. залежність захворюваності на гепатит А від року спостереження,

5. залежність захворюваності на гепатит Б від року спостереження

(спостереження захворюваності відбувалося з 1990 по 2005 роки в кожній з 24 областей України, А.Р. Крим, м. Київ, м. Севастополь та Україні в цілому). Зробити висновки.

ІІ. Методами лінійного регресійного аналізу провести порівняння захворюваності на туберкульоз (всі форми), туберкульоз легенів, рак, СНІД, гепатит А, гепатит Б серед областей України, А.Р. Крим, м. Київ та Севастополь з метою виявлення регіонів України, в яких темпи росту або спадання захворюваності однакові або захворюваність кількісно однокова. Зробити висновки.

Методи дослідження. В роботі використовуються методи лінійного регресійного аналізу.

РОЗДІЛ 1. ЛІНІЙНА РЕГРЕСІЯ

1.1 Метод найменших квадратів. Властивості оцінок найменших квадратів. Оцінювання σ². Теорія розподілів. Оцінювання при наявності лінійних обмежень

Нехай Y - випадкова величина, яка флуктуює навколо деякого невідомого параметра η, тобто Y = η + ε, де ε - флюктуація або „помилка". Наприклад, ε може бути „природною" флуктуацією, яка властива самому експерименту, або може бути помилкою у вимірюванні значення η.

Припустимо, що η можна подати у вигляді

η = β₀ + β₁x₁ + … + β_p-1x_p-1,

де х₁, х₂, ..., x_p-1 - відомі постійні величини, а β_j (j = 0, 1, .., p - 1) - невідомі параметри, які підлягають оцінюванню. Якщо значення х_j, j = 0, 1, .., p – 1 змінюються і при цьому спостерігається n значень Y₁, Y₂, ...,Y_n змінною Y, то

Y_i = β₀ + β₁x_i1 + … + β_p-1x _i,p-1 + ε_i, i = 1, 2, ..., n, (1.1.1)

де x_ij i-те значенням для х_j. В матричному вигляді (1.1.1) запишеться

або

Y = Xβ + ε, (1.1.2)

де x₁₀ = x₂₀ = ... = x_n0 = 1.

Означення. Матриця X = Х^{(n p)} називається регресійною матрицею. При цьому значення x_ij зазвичай вибираються так, щоб стовпці цієї матриці були лінійно незалежними, тобто ранг матриці X дорівнював р. Проте в деяких випадках при плануванні експерименту елементи матриці X обираються рівними тільки нулю і одиниці, і її стовпці можуть виявитися лінійно залежними. В цьому випадку матрицю X називають матрицею плану.

Далі х_j називатимемо регресором, а Y – відкликом.

Модель (1.1.1) або (1.1.2) лінійна по відношенню до невідомих параметрів β_j, тому її називають лінійною моделлю.

Одним з методів знаходження оцінки вектора β є метод найменших квадратів. Цей метод полягає в мінімізації суми по відношенню до вектора β. Точніше, вважаючи θ = Xβ, мінімізуємо величину ε'ε = ||Y- θ||² по відношенню до θ [Х] = Ω, де Ω - образ оператора X, тобто Ω = {у: у = Хх} для деякого х. Якщо змінювати значення вектора θ в межах Ω, то ||Y- θ||² (квадрат довжини вектора Y- θ) досягає мінімуму при тому значенні θ = , для якого (Y - ) Ω (рис.1.1.1). Тому

X'(Y - ) = 0,

Або

Х' = Х'Y. (1.1.3)

Вектор визначається однозначно, оскільки він є ортогональною проекцією вектора Y на Ω. Якщо тепер стовпці матриці X лінійно незалежні, то існує

Рис. 1.1.1 Метод найменших квадратів полягає у знаходженні такої точки А, для якої відстань АВ мінімальна

єдиний вектор , для якого = X . Підставлячи в (1.1.3), одержуємо нормальне рівняння

Х'Х = Х'Y. (1.1.4)

Оскільки ми припускаємо, що матриця X має ранг р, то матриця Х'Х додатньо визначена і, отже, не вироджена. Тому рівняння (1.1.4) має єдиний розв’язок, а саме

= ( Х'Х)^-1 Х'Y

Цей розв’язок називається оцінкою найменших квадратів вектора β.

Оцінку для β можна одержати й в інший спосіб.

ε'ε = (Y-Хβ)'(Y-Хβ) = Y'Y - 2β'Х'Y+ β'Х'Хβ

(використовуємо той факт, що β'Х'Y = (β'Х'Y)' = Y'Хβ). Продиференцюємо ε'ε по β. Прирівнюючи одержану похідну ε'ε/ β нулю, приходимо до рівняння

- 2Х'Y +2Х'Хβ = 0, (1.1.5)

Або

Х'Хβ = Х'Y.

Звідки

= ( Х'Х)^-1 Х'Y

Покажемо, що знайдена стаціонарна точка є мінімумом функції ε’ε. Перепишемо (Y-Хβ)’(Y-Хβ) у вигляді

(Y-Хβ)'(Y-Хβ) = (Y-Х )'(Y-Х ) + ( - β)'Х'Х( - β). (1.1.6)

Розпишемо

(Y-Х )'(Y-Х ) + ( - β)'Х'Х( - β) = (Y'-Х' ')(Y-Х ) +

+ ( ' - β')(Х'Х - Х'Хβ) = Y'Y - Y'X - 'X'Y + 'X'X +

+ 'X'X - 'X'X - 'X'X + 'X'X =

= {X'X = X'Y, оскільки - розв’язок нормального рівняння} =

= Y'Y - Y'X - 'X'Y + 'X'Y + 'X'Y - 'X'X β – β'X'Y + β'X'Xβ =

= Y'Y - Y'Xβ – β'X'Y + β'X'X β = (Y - Xβ)'(Y - Xβ)

Ліва частина в (1.1.6) досягає мінімуму при β = .

Далі позначимо = Х . Елементи вектора

e = Y – = Y – Х = (I_n - Х(Х'Х)^-1Х')Y = (I_n - Р)Y (1.1.7)

називаються залишками (ми позначили тут скорочено Х(Х'Х)^-1Х' через Р). Мінімальне значення ε'ε називається залишковою сумою квадратів (RSS)).

RSS = (Y - Х )'(Y - Х )= Y'Y - 2 Х' Y + 'Х'Х =

= Y’Y - 'Х' Y + '[Х'Х - Х'Y] =

= Y'Y - 'Х'Y (1.1.8)

Або

RSS = Y'Y - 'Х'Х (1.1.9)

Відмітимо, що і е єдині.

Оскільки = Х = Х(Х'Х)^-1Х'Y = РY, то Р є матрицею лінійного перетворення, яке є ортогональним проектуванням n-мірного евклідова простору Е_n на Ω. Аналогічно I_n - Р є матрицею ортогонального проектування Е_n на - ортогональне доповнення до Ω в Е_n. Тому вираз Y = РY + (I_n - Р)Y є єдиним ортогональним розкладом вектора Y на дві складові, одна з яких лежить в Ω, а інша - в . Деякі основні властивості матриць Р і (I_n - Р) наведено в теоремі 1.1.1. Спочатку сформулюємо деякі означення.

Означення. Слідом trX матриці Х називають суму її діагональних елементів

trX = 1 + x₂₁ + x₃₂ + … + x_np-1

Означення. Матриця Р називається ідемпотентною, якщо Р² = Р. Симетрична ідемпотентна матриця називається проекційною. Якщо Р – проекційна матриця, то trР = rankР.

Теорема 1.1.1.

(I) Матриці Р і I_n - Р симетричні та ідемпотентнi.

(II) rank[I_n - Р] = tr[I_n - Р] = n - р.

(III) (I_n - Р)Х = 0.

Доведення.

(I) Р' = (X(X'X)^-1X')' = X((X'X)^-1)'X' = X(X'X)^-1X' = P

Отже, матриця Р є симетричною і (I_n - Р)' = I_n - Р' = I_n - Р. Крім того,

Р² = X(Х'Х)^-1Х'Х(Х'Х) ^-1X' = XI_p (Х'Х)^-1X' = Р,

і (I_n – Р)² = I_n - 2Р + P² = I_n – Р.

(II) Оскільки матриця I_n - Р симетрична та ідемпотентна, то вона проекційна і tr(I_n – Р) = rank(I_n – Р). Тоді

rank[I_n - Р] = tr[I_n - Р] = n - trР,

де

trР = tr[X (Х'Х)^-1X'] = tr[Х'Х (Х'Х)^-1] = trI_p = р.

1. (I_n - Р)Х = Х - Х(Х'Х)^-1Х'Х = Х - Х = 0.

Теорема доведена.

Теорема 1.1.2.

Нехай Р = X(Х'Х)^-1X', тоді R(P) = R(X), тобто простір, породжений стовпцями матриці P є простором, породженим стовпцями матриці Х.

Доведення.

R(P) = {z: z = Pα} для деякого α, R(X) = {Y: Y = Xγ} для деякого γ.

Вибираємо z R(P), тоді z = Pα. Отже,

z = Pα = X(X'X)^-1X'α = Xβ,

отже z R(X).

Вибираємо Y R(X), тоді Y = Xγ

Y = Xγ = X(X'X)^-1X'Xγ = X(X'X)^-1X'Xγ = PY,

отже Y R(P).

Теорема доведена.

Теорема 1.1.3.

(Y - ) = 0 або

Доведення.

(Y - ) = { = X = X(X'X)^-1X'Y = PY} = (PY)'(Y – PY) = Y'P'(1 – P)Y = = Y'P(1 – P)Y = Y'(P – P²)Y = Y'(P – P)Y = 0.

Теорема доведена.

Якщо припустити, що помилки ε такі, що , то

M[ ] = (X’X)^-1X’M[Y] = (X’X)^-1X’X β = β (1.1.9)

тобто є незміщеною оцінкою вектора β. Якщо, окрім того, припустити, що всi ε_i, і = 1, …, n - некорельовані і мають однакову дисперсію, тобто

соv[ε_i, ε_j] = ,

то D[ε] = σ²I_n,

D[Y] = D[Y - Xβ] = D[ε], отже D[Y] = σ²I_n.

Звідси одержуємо

D[ ] = D[(Х'Х)^-1Х'Y] = сov((Х'Х)^-1X'Y, (Х'Х)^-1X'Y) =

= (X'X)^-1X'cov(Y,Y)((X'X)^-1X')' = (X'X)^-1X'DYX(X'X)^-1 =

= (X'X)^-1X'σ²IX(X'X)^-1 = σ²(X'X)^-1(X'X) (X'X)^-1 = σ²(X'X)^-1 (1.1.10)

Виникає таке питання: чому за оцінку вектора β ми вибираємо саме (оцінку найменших квадратів), а не будь – яку іншу оцінку? Далі покажемо, що в деякому розумному класі оцінок _j, є оцінкою параметра β_j з найменшою дисперсією. Цю оцінку _j можна „виділити" з вектора = ( ₀, ₁, ..., _p-1)' множенням зліва на вектор-рядок c', у якого (j +1)-й елемент рівний одиниці, а всі інші елементи дорівнюють нулю. Таку специфічну властивість оцінки _j, можна узагальнити на випадок довільної лінійної комбінації а' . Для цього використовуємо наступну теорему.

Теорема 1.1.4.

Нехай - оцінка найменших квадратів вектора = Хβ. Тоді в класі всіх лінійних незміщених оцінок лінійної комбінації c'θ оцінка c' є єдиною оцінкою, яка має мінімальну дисперсію. (Будемо говорити, що c' є найкращою лінійною незміщеною оцінкою (НЛНО) для c'θ)

Доведення.

Оцінку найменших квадратів вектора = Хβ представимо у вигляді

= X = X(Х'Х)^-1X'Y = X(Х'Х)^-1X'Y = PY,

при цьому

Характеристики

Список файлов ВКР