Лекции в электронном виде, страница 24

18.2 приведены данные осветлыетемныераспределении цвета волос на голове и бровей уСветлые3047232383371046542 человек. Проверим на уровне значимостиα = 0,05 гипотезу о независимости этих признаТемные3364946812832ков. Здесь n = 46592, r = s = 2, n11 = 30472, n12 =Сумма3383612706465423238, n21 = 3364, n22 = 9468, n1 = 33710, n2 = 12832,Таблица 18.2.n1=33836,n2=12706,числостепенейсвободы(r − 1)(s − 1) = 1. Из (18.9) получаем χb2 (~xn , ~yn ) = 19,288. По таблице квантилей χ2 -распределениянаходим χ20,95 (1) = 3,84. Так как 19,288 > 3,84, то гипотезу о независимости признаков следует отклонить.90Лекция 19Метод наименьших квадратовРассмотрим задачу о подборе функции одного переменного - подборе по неточным наблюдениям(измерениям). Предположим, что переменные y и x1 , . .

. , xp связаны линейным соотношениемy = θ1 x1 + θ2 x2 + · · · + θp xp ,где коэффициенты θ = (θ1 , . . . , θp ) неизвестны. При некоторых значениях xi1 , xi2 , . . . , xip , i = 1, n,переменных x1 , . . . , xp (называемых обычно факторами) были произведены измерения переменнойy (называемой откликом) со случайной ошибкой εi , так что вместо неслучайных величинyi = θ1 xi1 + θ2 xi2 + · · · + θp xip ,i = 1, n,наблюдались случайные величиныYi = θ1 xi1 + θ2 xi2 + · · · + θp xip + εi ,i = 1, n.(19.1)Возникает задача оценивания неизвестных коэффициентов θ = (θ1 , .

. . , θp ) по наблюдениям Y =(y1 , y2 , . . . , yn )T и элементам xij матрицы X размера n × m.Основное предположение об ошибках состоит в том, что случайные величины ε1 , ε2 , . . . , εn считаются независимыми и Eεi = 0, т.е. систематических ошибок при измерении отклика нет. Менееважные предположения заключаются в том, что εi распределены одинаково и по нормальномузакону N (0, σ 2 ).

Величина σ обычно считается неизвестной. Она численно выражает неточность(изменчивость) измерений, т.е. масштаб случайных ошибок.Систему (19.1) можно записать в матричном видеY = Xθ + ε.(19.2)Один из способов оценивания коэффициентов θ = (θ1 , . . . , θp ), называемый методом наименьшихквадратов состоит в следующем.Определение 19.1 Оценкой θ̂ = (θ̂1 , .

. . , θ̂p ) параметра θ = (θ1 , . . . , θp ) по методу наименьших квадратов называется точка минимума функцииS(θ) = ||Y − Xθ||2 = (Y − Xθ)T (Y − Xθ) =nX(Yi − θ1 xi1 θ2 xi2 + · · · + θp xip )2 .i=1Теорема 19.1 Предположим, что ранг матрицы X равен p. Тогда оценка наименьших квадратовимеет видθ̂ = (X T X)−1 X T Y.(19.3)Теорема 19.2 Пусть ε1 , ε2 , . . . , εn — независимые одинаково распределенные случайные величиныс Mεi = 0 и конечной дисперсией Dεi = σ 2 . Тогда оценка наименьших квадратовθ̂ = (X T X)−1 X T Yявляется несмещенной и состоятельной оценкой параметра θ = (θ1 , .

. . , θp ).ОбозначимS(θ) = (Y − Xθ)T (Y − Xθ),(d1 , d2 , . . . , dp ) — диагональные элементы матрицы (X T X)−1 .91Теорема 19.3 Пусть ε1 , ε2 , . . . , εn — независимые одинаково распределенные нормальные случайные величины с Mεi = 0 и конечной дисперсией Dεi = σ 2 . Тогда оценка наименьших квадратовθ̂ = (X T X)−1 X T Yявляется несмещенной, состоятельной оценкой параметра θ = (θ1 , . . . , θp ) и нормальным случайным вектором с математическим ожиданием θ = (θ1 , .

. . , θp ) и ковариационной матрицейσ 2 (X T X)−1 . Интервальная оценка для θj уровня доверия 1 − α имеет вид (θ̂j − ∆, θ̂j + ∆), гдеsdjS(θ̂),∆ = t1−α (n − p)n−pа t1−α (n − p) — квантиль распределения Стьюдента уровня 1 − α с n − p степенями свободы.Рассмотрим теперь задачу оценивания зависимостиy = θ1 ϕ1 (t) + θ2 ϕ2 (t) + . . . θp ϕp (t),считая функции ϕ1 , ϕ2 , . . . , ϕp известными, по измерениям Y = (Y1 , Y2 , . .

. , Yn ) величины y в неслучайных точках t1 , t2 , . . . , tn со случайными ошибками ε = (ε1 , ε2 , . . . , εn ):Yi = θ1 ϕ1 (ti ) + θ2 ϕ2 (ti ) + . . . θp ϕp (ti ) + εi ,i = 1, n.(19.4)Обозначивxij = ϕj (ti ),i = 1, n, j = 1, p,сведем модель (19.4) к модели (19.2).ti04101521293651Пример 19.1 В “Основах химии”yi 66,7 71,0 76,3 80,6 85,7 92,9 99,4 113,6Д. И. Менделеев приводит следующие данные о количестве y азотТаблица 19.1.нонатриевойсолиN aN O3 ,можно растворить в 100 г воды в зависимости от температуры t (см. таб.

19.1). Построимданным приближенную эмпирическую формулу вида68125,1котороепо этимy = θ1 + θ2 t + θ3 t2 ,описывающую зависимость между рассматриваемыми величинами.Оценим коэффициенты (θ1 , θ2 , θ3 ) по n = 9 наблюдениям (y1 , y2 , . . . , yn ) случайных величин(Y1 , Y2 , . . . , Yn ). В этом случае1 11111111365168  ,X T = 0 4 10 15 21 290 16 100 225 441 841 1296 2601 462492341014410144531828  ,X T X =  23410144 531828 307888360.4878864808 −0.02994953150.00035658640.0028828545 −0.0000399292  ,(X T X)−1 =  −0.02994953150.0003565864 −0.00003992920.0000006047θ̂ = (66.71, 0.9604, −0.001359),y ≈ 66.71 + 0.9604t − 0.001359t2 .92Оглавление1 Случайные события12 Вероятность63 Условная вероятность114 Формула полной вероятности.

Формула Байеса. Схема Бернулли165 Одномерные случайные величины206 Числовые характеристики случайных величин267 Основные законы распределения случайных величин308 Случайные векторы359 Функции от случайных величин4110 Ковариация и коэффициент корреляции случайных величин4611 Условные характеристики случайных величин5012 Многомерное нормальное распределение5513 Предельные теоремы теории вероятностей6014 Основные понятия выборочной теории6515 Точечные оценки6916 Интервальные оценки и доверительные интервалы7217 Проверка гипотез.

Параметрические модели7918 Проверка непараметрических гипотез8619 Метод наименьших квадратов9193.