1625915143-9358bde957c0693ae60a95b83ad382f6 (843873), страница 19

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 19)

. , Yn ). Причем известно, что значение наблюдаемой величины Yлинейно зависит от некоторых известных неслучайных числовых факторов x1 , . . . , xkи еще от некоторого случайного фактора, наличие которого объясняется случайными погрешностями в работе измерительных инструментов или же его присутствиезаложено в основе эксперимента. Другими словами,Y = θ1 x1 + .

. . + θk xk + ε,назовем это основным соотношением. Здесь величины x1 , . . . , xk могут приниматьизвестные нам значения в каждом эксперименте, неизвестны только коэффициентызависимости θ1 , . . . , θk . Их определение и составляет основную задачу, и она была быпроста, если бы не мешали случайные отклонения. Проводя эксперименты при техили иных значениях x1 , . . .

, xk , мы получаем наблюденияY1 = θ1 x11 + . . . + θk x1k + ε1 ,Y2 = θ1 x21 + . . . + θk x2k + ε2 ,...Yn = θ1 xn1 + . . . + θk xnk + εn .Следует проводить n > k наблюдений, иначе мы не сможем хорошо оценитьвсе коэффициенты. Случайные величины ε1 , . .

. , εn предполагаются независимымии одинаково распределенными, при этом Eεi = 0, дисперсия Dεi = σ 2 чаще всеготакже предполагается неизвестной.Запишем полученные соотношения в векторном виде. ПустьY1x11 x12 . . . x1k Y2  , X =  x21 x22 . .

. x2k  ,Y = ...  ... ... ... ... Ynxn1 xn2 . . . xnkθ1 θ2 θ= ... ,θkε1 ε2 ε= ... ,εnтогдаY = Xθ + ε.Матрица X называется регрессором, она состоит из известных нам чисел, которыемы задаем в ходе проведения эксперимента. Регрессор имеет n строк и k столбцов;его элементы выбираются так, чтобы столбцы были линейно независимыми. Случайный вектор ε неизбежно присутствует в наших соотношениях, но его значения намнеизвестны.

Вектор Y называется откликом, он состоит из наблюдаемых нами случайных величин. И наконец, θ — вектор неизвестных параметров, которые подлежатоцениванию.89Отметим, что, в отличие от предыдущих рассмотрений, здесь мы имеем дело свыборкой, состоящей из разнораспределенных наблюдений, посколькуEYi = θ1 xi1 + . . . + θk xikзависит от i.Правая часть основного соотношения линейно зависит от неизвестных параметровθ1 , .

. . , θk , по этой причине мы говорим о задаче линейной регрессии.Исторически сложившийся термин «регрессия» не отражает сути проблемы, здесьболее подошло бы название «статистическое исследование зависимостей».Частным случаем является следующая постановка задачи. Пусть имеется наборфункций ψ1 (t), . . . , ψk (t) и основное соотношение выглядит так:Y = θ1 ψ1 (t) + . .

. + θk ψk (t) + ε.Переменная t может интерпретироваться как время или температура; проводя эксперименты при t = t1 , . . . , tn , мы получаем наблюденияYi = θ1 ψ1 (ti ) + . . . + θk ψk (ti ) + εi ,i = 1, . . . , n,т. е. xij = ψj (ti ). Например, можно взятьψ1 (t) = 1, ψ2 (t) = t, . .

. , ψk (t) = tk−1 ,и тогда основное соотношение примет видY = θ1 + θ2 t + . . . + θk tk−1 + ε.В этом случае задача получает простую геометрическую интерпретацию.6Yibbbbbbb0 t1 t2bbbt3 t4 . . .bb -tЧисла θ1 , . . . , θk являются коэффициентами полинома; мы должны подобрать ихтак, чтобы график полинома наилучшим образом приближал полученную совокупность точек (t1 , Y1 ), (t2 , Y2 ), . . . , (tn , Yn ).В частном случае, когда k = 2, мы имеем дело с простой регрессией, в остальныхслучаях регрессия называется множественной.Пример.

Предположим, что мы изучаем зависимость растворимости вещества внекоторой жидкости от температуры этой жидкости. Обозначим температуру буквой t и проведем измерения растворимости при разных температурах. Полученныеданные (см. график ниже) наводят на мысль о линейной зависимостиYi = θ1 + θ2 ti + εi ,i = 1, . .

. , n.b³³b ³b³³bb³b b³³³³bb ³³³6Yi³b ³³b³³³b0 t1 t2t3 t4 . . .90-tЗадача состоит в оценивании неизвестных параметров θ1 и θ2 , определяющих этузависимость.9.2.Метод наименьших квадратовОценки неизвестных параметров θ1 , . . . , θk будем находить методом наименьшихквадратов.ВведемnXS(θ) =(Yi − θ1 xi1 − . . . − θk xik )2 = |Y − Xθ|2 .i=1Оценкой метода наименьших квадратов (МНК-оценкой) называется то значениеθ = θ∗ , при котором S(θ) достигает минимального значения:S(θ∗ ) = min S(θ).θВозвращаясь к рассмотренной выше графической иллюстрации мы видим, что числаθ1 , .

. . , θk подбираются так, чтобы минимальной была сумма квадратов длин вертикальных отрезков, соединяющих точки (ti , Yi ) с соответствующими точками на кривой.6Yibbbbbbb0 t1 t2bbbbb -tt3 t4 . . .Находить МНК-оценку можно по-разному. Один из способов состоит в решениисистемы так называемых нормальных уравнений∂S(θ)= 0,∂θjj = 1, . . . , k,что достаточно громоздко. Мы попробуем найти оценку из геометрических соображений. Обозначим через X1 , . . .

, Xk столбцы матрицы X. Это линейно независимыевекторы в Rn . Поскольку k < n, то эти векторы порождают в Rn подпространство Rk .Любая линейная комбинация этих векторов вновь принадлежит тому же Rk , значит,для любого θXθ = X1 θ1 + . . . + Xk θk ∈ Rk .В том числе Xθ∗ ∈ Rk . Проиллюстрируем все на рисунке при n = 3 и k = 2.µ¡Y ¡¡ Y − Xθ∗¡¡¡¡¡¡¡¡¡¡¡¡¡Xθ∗ ¡PPCPPPqX1CWX291¡¡¡¡¡В соответствии с методом наименьших квадратов нужно найти такое значение θ = θ∗ ,при котором длина вектора Y − Xθ∗ будет минимальной.

Этот вектор на чертежепоказан пунктиром. Ясно, что его длина минимальна, если он ортогонален плоскости,а значит, и векторам, ее порождающим. Запишем этот вывод уже для общего случая:Y − Xθ∗ ⊥ Xj ,j = 1, . . . , k.По-другому это можно записать так:X T (Y − Xθ∗ ) = 0,где 0 — нулевой вектор размерности k. Выводим отсюдаX T Y = X T Xθ∗ .Квадратная матрица X T X является невырожденной. Умножив полученное равенство слева на (X T X)−1 , получим МНК-оценкуθ∗ = (X T X)−1 X T Y.Предположим дополнительно, что векторы X1 , . . .

, Xk ортогональны. Мы увидим,что в этом случае многое упрощается в задачах линейной регрессии. В частности,матрица X T X становится диагональной:(X1 , X1 )0...00(X2 , X2 ) . . .0;XT X = ............00. . . (Xk , Xk )(X T X)−1 также будет диагональной:(X1 , X1 )−10−10(X,X22)(X T X)−1 = ......00...0...0........ . . (Xk , Xk )−1Умножение этой матрицы на вектор(X1 , Y ) (X2 , Y ) XT Y =  ... (Xk , Y )приводит к простым выражениям для компонент МНК-оценки θ∗ :θi∗ =9.3.(Xi , Y ),(Xi , Xi )i = 1, . . .

, k.Доверительные интервалы и проверка гипотезПосле нахождения оценок неизвестных параметров естественно поставить вопросо возможности построения доверительных интервалов и проверки гипотез. Для этогопотребуется информация о распределении случайных величин εi .92Начиная с этого места мы предполагаем, что случайные величины ε1 , . . . , εn независимы и распределены по закону Φ0,σ2 . В таких случаях говорят о задачах нормальной регрессии.Теорема. Пусть все εi независимы и распределены по закону Φ0,σ2 . Тогда ММПоценка и МНК-оценка для параметра θ совпадают.Доказательство.

Запишем функцию правдоподобия выборки (несмотря на то чтонаблюдения здесь распределены не одинаково, принцип остается тем же самым):()nX1f (θ, σ 2 , Y ) = (2πσ 2 )−n/2 exp − 2(Yi − θ1 xi1 − . . . − θk xik )2 =2σ i=1½¾12 −n/2= (2πσ )exp − 2 S(θ) .2σИз этой записи видно, что исследовать функцию правдоподобия на максимум — этото же самое, что исследовать S(θ) на минимум. Теорема доказана.Коль скоро выписана функция правдоподобия, найдем попутно ММП-оценку для2σ . Имеемnn1l(θ, σ 2 , Y ) = − ln 2π − ln σ 2 − 2 |Y − Xθ|2 ,222σ2∂l(θ, σ , Y )n1= − 2 + 4 |Y − Xθ|2 = 0,2∂(σ )2σ2σоткуда получаем ММП-оценку|Y − Xθ∗ |2(σ ) =.n2 ∗Вероятностные свойства оценок неизвестных параметров в задачах нормальнойрегрессии устанавливаются следующей теоремой (приводится без доказательства).Теорема. Пусть все εi независимы и распределены по закону Φ0,σ2 .

Тогда:1) МНК-оценка θ∗ имеет многомерное нормальное распределение, при этомEθ∗ = θ,2)C(θ∗ ) = σ 2 (X T X)−1 ;|Y − Xθ∗ |2⊂= χ2n−k ;σ23) θ∗ и |Y − Xθ∗ |2 независимы.Следствие 1. Оценкаσ̂ 2 =1|Y − Xθ∗ |2n−kявляется несмещенной для σ 2 .Доказательство. В силу второго утверждения теоремы, случайная величина|Y − Xθ∗ |22, где все Zi независимы ираспределена так же, как и Z12 + .

. . + Zn−kσ2распределены по закону Φ0,1 , поэтому!Ã|Y − Xθ∗ |22= E(Z12 + . . . + Zn−k) = n − k,E2σт. е.ÃE|Y − Xθ∗ |2n−k93!= σ2.Отсюда вытекает, между прочим, что найденная ранее ММП-оценка (σ 2 )∗ является смещенной.Следствие 2. Если столбцы регрессора X1 , . . . , Xk ортогональны, то матрицаC(θ∗ ) = σ 2 (X T X)−1 диагональна и компоненты оценки θ1∗ , . . . , θk∗ независимы.

Характеристики

Список файлов книги