ErinaceusMathstat (методичка по ТВиМС(МАИ))

Московский авиационный институт(государственный TEXнический университет)Факультет прикладной математикиKафедра «Теория вероятностей»Лабораторная работа по курсу «теория вероятностей и матеметическаястатистика»Студент: К. О. МатусовПреподаватель: Е. Р. ГоряиноваМосква, 2009Содержание1 Определение порядка модели,МНК оценка вектора θ1Шаг 0. . .

. . . . . . . . . . . .2Шаг 1. . . . . . . . . . . . . . .3Шаг 2. . . . . . . . . . . . . . .4Шаг 3. . . . . . . . . . . . . . .................................................................................................2 График оценки полезного сигнала3 Интервальные оценки для θ1Оценка θ̂0 . . . . .

. . . . .2Оценка θ̂1 . . . . . . . . . .3Оценка θ̂2 . . . . . . . . . .4Оценка Y . . . . . . . . . .5Доверительная трубка . . .и.....y. .. .. .. .. ......444557..............................................................................................................8891011134 Гистограмма по остаткам от регрессии141Вычисления . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142Гистограмма . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165 Гипотеза: ошибки наблюдения имеют гауссовское распеределение176 Выводы191Задача:• Написать краткий реферат по методу наименьших квадратов (МНК).• Подобрать порядок модели p , используя критерий Фишера, и оценить векторпараметров θ модели полезного сигнала методом наименьших квадратов.• Построить график оценки полезного сигнала на всем интервале наблюдения [x1 , x2 ].• Найти закон распределения оценки вектора параметров. Построить доверительные интервалы уровня надежности 0.95 и 0.99 для параметров [θ1 , .

. . , θp−1 ]. Дляпроизвольного момента времени найти интервальную оценку полезного сигналанадежности 0.95. Проанализировать полученные результаты• По остаткам от регрессии построить оценку плотности распределения случайной ошибки наблюдения в виде гистограммы.• По остаткам с помощью критерия хи-квадрат К. Пирсона на уровне значимости 0.05 проверить гипотезу о том, что закон распределения ошибки наблюдения действительно является гауссовским.Входной массив X (61 число):1234567891011[−5.0, −4.8, −4.6, −4.4, −4.2, −4.0, −3.8, −3.6, −3.4, −3.2, −3.0,−2.8, −2.6, −2.4, −2.2, −2.0, −1.8, −1.6, −1.4, −1.2, −1.0,−0.8, −0.6, −0.4, −0.2, 0.0, 0.2, 0.4, 0.6, 0.8, 1.0, 1.2, 1.4,1.6, 1.8, 2.0, 2.2, 2.4, 2.6, 2.8, 3.0, 3.2, 3.4, 3.6, 3.8,4.0, 4.2, 4.4, 4.6, 4.8, 5.0, 5.2, 5.4, 5.6, 5.8, 6.0, 6.2,6.4, 6.6, 6.8, 7.02Выходной массив Y для 9 варианта (61 число):12345678910111213[−80.0, −75.8, −77.8, −58.5, −57.8, −57.0, −63.4, −54.3, −41.9,−42.5, −29.8, −27.4, −33.3, −18.0, −11.1, −24.6, −20.8, −10.9,−8.21, 2.77, 4.61, −2.09, 5.13, 2.48, 3.50, −1.56, 2.97, 9.40,4.65, −6.29, 3.46, −1.48, −3.22, −7.51, −3.50, −12.2, −0.16,−13.8, −15.1, −29.7, −16.5, −22.5, −26.5, −37.0, −29.7, −32.3,−48.7, −42.7, −57.3, −55.0, −57.8, −57.4, −78.9, −90.4, −88.9,−99.4, −96.5, −115., −117., −127., −132.]31Определение порядка модели,МНК оценка вектора θ1Шаг 0.Предположим, что yi = θ0 + εi .θ̂0 = (X T X)−1 X T Y−1 T= 61.0000X Y T= 0.0164 X Y = −37.3648,,yi = (−37.3647540984)2Шаг 1.Предположим, что yi = θ0 + θ1 xi + εi .θ̂1 = (X T X)−1 X T Y−161.0000 61.0000XT Y=61.0000 817.40000.0177 −0.0013−33.4472T=X Y =−3.9175−0.0013 0.0013,,yi = (−33.4472131148) + (−3.91754098361)xiQn (p) =p−1nXX(yk −(θj xjk ))2 ; Q61 (1) = 83651.3659213k=1j=0Q61 (0) − Q61 (1)∼ F (1, 61 − 1 − 1)1Q(1)6161−1−1Квантиль распределения Фишера равна 4.012.

Доверительной областью являетсяинтервал от 0 до 4.012. Kритической областью является интервал от 4.012 до ∞.Значение левой части выражения равно 9.66805898366. Цикл поиска продолжается.43Шаг 2.Предположим, что yi = θ0 + θ1 xi + θ2 x2i + εi .θ̂2 = (X T X)−1 X T Y−161.000061.0000817.4000=  61.0000 817.4000 2330.2000  X T Y817.4000 2330.2000 21476.19680.03500.0017 −0.00151.41470.0019 −0.0003 X T Y =  2.1986 =  0.0017−0.0015 −0.0003 0.0001−3.0581,,yi = (1.41465935878) + (2.19857699421)xi + (−3.05805898891)x2ip−1nXXQn (p) =(yk −(θj xjk ))2 ; Q61 (2) = 72042.7987875k=1j=0Q61 (1) − Q61 (2)∼ F (1, 61 − 1 − 2)1Q (2)61−1−2 61Квантиль распределения Фишера равна 4.0138. Доверительной областью являетсяинтервал от 0 до 4.0138. Kритической областью является интервал от 4.0138 до ∞.Значение левой части выражения равно 2144.6767873.

Цикл поиска продолжается.4Шаг 3.Предположим, что yi = θ0 + θ1 xi + θ2 x2i + θ3 x3i + εi .5θ̂3 = (X T X)−1 X T Y−161.000061.0000817.40002330.2000 61.0000817.40002330.2000 21476.1968 T= 817.4000 2330.2000 21476.1968 92008.9840  X Y2330.2000 21476.1968 92008.9840 712678.14750.0414 −0.0040 −0.0024 0.00031.2023−0.0040 0.00710.0005 −0.0003 X T Y =  2.3910 =−0.0024 0.0005−3.02820.0003 −0.00000.0003 −0.0003 −0.0000 0.0000−0.0100,,yi = (1.20230241004) + (2.39100555061)xi + (−3.0281664004)x2i + (−0.00996419616828)x3iQn (p) =p−1nXX(yk −(θj xjk ))2 ; Q61 (3) = 1928.83328125k=1j=0Q61 (2) − Q61 (3)∼ F (1, 61 − 1 − 3)1Q(3)6161−1−3Квантиль распределения Фишера равна 4.0156.

Доверительной областью являетсяинтервал от 0 до 4.0156. Kритической областью является интервал от 4.0156 до ∞.Значение левой части выражения равно 0.214444965278. Оно попадает в доверительный интервал. Цикл поиска остановлен. Порядок полинома равен 2, коэффициентыберем из шага 3. В итоге наш полином равен yi = (1.41465935878)+(2.19857699421)xi +(−3.05805898891)x2i .62График оценки полезного сигналаНа графике точками изображен график реального сигнала.Синем цветом показана фунция yi = (−37.3647540984)Зеленым — yi = (−33.4472131148) + (−3.91754098361)xiКрасным — yi = (1.41465935878) + (2.19857699421)xi + (−3.05805898891)x2i73Интервальные оценки для θ и yТак как θ̂ − θ ∼ N (0, σ 2 (X T X)−1 ), тоНапомним, что0.03500.0017T−10.0019(X X) = 0.0017−0.0015 −0.0003θ̂ ∼ N (θ, σ 2 (X T X)−1 ).−0.00151.4147−0.0003 ; θ̂ =  2.1986  ; σ 2 = 33.2557462284;0.0001−3.0581Построим доверительные интервалы для каждого элемента из heta.1Оценка θ̂0Рассмотрим параметр θ̂0θ̂0 ∼ N (θ0 , σ 2 0.0350494184893).Построим доверительные интервалы уровней надёжности 0.95 и 0.99 для этого параметра.

Для N (0, 1) квантили u0.975 = 1.96 и u0.995 = 2.576, соответственно.Возьмем статистикуθ̂i − θiqQ(X T X)−1 [i][i] · n−pθ̂0 − θ0q(X T X)−1 [0][0] ·Q61−3θ̂0 − θ0√0.0350494184893 · 33.2557462284Она будет распределена по Стьюденту в общем случае. С учётом достаточно большого n = 61, можно говорить о нормальном распеределении. Построим эти интервалы:P (−u0.975 < qθ̂i − θi(X T X)−1 [i][i] ·Qn−p< u0.975 ) = 0.951.41465935878 − θ0< u0.975 ) = 0.951.07962704983P (−0.701410 < θ0 < 3.530728) = 0.95P (−u0.975 <8P (−u0.995 < qθ̂i − θi(X T X)−1 [i][i] ·Qn−p< u0.995 ) = 0.991.41465935878 − θ0< u0.995 ) = 0.991.07962704983P (−1.366460 < θ0 < 4.195779) = 0.99P (−u0.995 <Доверительный интервал для θ0 на уровне надежности 0.95 — [−0.701410, 3.530728]Доверительный интервал для θ0 на уровне надежности 0.99 — [−1.366460, 4.195779]2Оценка θ̂1Рассмотрим параметр θ̂1θ̂1 ∼ N (θ1 , σ 2 0.00185556749208).Построим доверительные интервалы уровней надёжности 0.95 и 0.99 для этого параметра.

Для N (0, 1) квантили u0.975 = 1.96 и u0.995 = 2.576, соответственно.Возьмем статистикуθ̂i − θiqQ(X T X)−1 [i][i] · n−pθ̂1 − θ1q(X T X)−1 [1][1] ·Q61−3θ̂1 − θ10.00185556749208 · 33.2557462284Она будет распределена по Стьюденту в общем случае. С учётом достаточно большого n = 61, можно говорить о нормальном распеределении. Построим эти интервалы:√P (−u0.975 < qθ̂i − θi(X T X)−1 [i][i] ·Qn−p< u0.975 ) = 0.952.19857699421 − θ1< u0.975 ) = 0.950.248411516694P (1.711690 < θ1 < 2.685464) = 0.95P (−u0.975 <9P (−u0.995 < qθ̂i − θi(X T X)−1 [i][i] ·Qn−p< u0.995 ) = 0.992.19857699421 − θ1< u0.995 ) = 0.990.248411516694P (1.558669 < θ1 < 2.838485) = 0.99P (−u0.995 <Доверительный интервал для θ1 на уровне надежности 0.95 — [1.711690, 2.685464]Доверительный интервал для θ1 на уровне надежности 0.99 — [1.558669, 2.838485]3Оценка θ̂2Рассмотрим параметр θ̂2θ̂2 ∼ N (θ2 , σ 2 0.000133378916912).Построим доверительные интервалы уровней надёжности 0.95 и 0.99 для этого параметра.

Для N (0, 1) квантили u0.975 = 1.96 и u0.995 = 2.576, соответственно.Возьмем статистикуθ̂i − θiqQ(X T X)−1 [i][i] · n−pθ̂2 − θ2q(X T X)−1 [2][2] ·Q61−3θ̂2 − θ2√0.000133378916912 · 33.2557462284Она будет распределена по Стьюденту в общем случае. С учётом достаточно большого n = 61, можно говорить о нормальном распеределении. Построим эти интервалы:P (−u0.975 < qθ̂i − θi(X T X)−1 [i][i] ·Qn−p< u0.975 ) = 0.95−3.05805898891 − θ2< u0.975 ) = 0.950.0666004160125P (−3.188596 < θ2 < −2.927522) = 0.95P (−u0.975 <10P (−u0.995 < qθ̂i − θi(X T X)−1 [i][i] ·Qn−p< u0.995 ) = 0.99−3.05805898891 − θ2< u0.995 ) = 0.990.0666004160125P (−3.229622 < θ2 < −2.886496) = 0.99P (−u0.995 <Доверительный интервал для θ2 на уровне надежности 0.95 — [−3.188596, −2.927522]Доверительный интервал для θ2 на уровне надежности 0.99 — [−3.229622, −2.886496]4Оценка YРассмотрим интервальную оценку полезного сигнала Ŷ для произвольного моментавремени x на уровне надёжности 0.95.Ŷ ∼ N (Y ; K̂Yn ),K̂Yn = cov(∆Ŷn , ∆Ŷn ) = σ 2 L(X T X)−1 LTL = hT = 1 x x21.4147σ 2 = 33.2557462284; θ̂ =  2.1986  ;−3.0581(X T X)−10.03500.0017 −0.00150.0019 −0.0003 ;=  0.0017−0.0015 −0.0003 0.0001Используя, символьные вычисления (ну или листок бумаги), получим 0.03500.0017 −0.001512T−1 T2 0.00170.0019 −0.0003x =σ L(X X) L = 1 x x−0.0015 −0.0003 0.0001x21.1655 + 0.1143x − 0.0394x2 − 0.0177x3 + 0.0044x4Возьмем статистикуŶ − Ypσ 2 L(X T X)−1 LT11√Ŷ − Y1.1655 + 0.1143x − 0.0394x2 − 0.0177x3 + 0.0044x4Она будет распределена по Стьюденту в общем случае.