Хохлов Ю.С. - ПМСА для эконома (1185346), страница 7
Текст из файла (страница 7)
, X~ m . По лемместве L, порожденном векторами XT~о перпендикуляре e · Xk = 0, k = 0, 1, . . . , m. В частноPсти, при k = 0 получаем ej · 1 = 0. Кроме того, eT · Ŷ =PN(e, Ŷ ) = j=1 ej · Ŷj = 0.564.3Свойства оценок параметровВ этом разделе исследуются те свойства оценок параметров модели, которые не зависят от предположения о виде распределения ошибок измерений. Начнем с некоторого вспомогательного результата, доказательство которогопредлагается в виде задачи.Лемма 1 . Пусть Y есть некоторый случайный векторс конечными моментами второго порядка, а A – неслучайная матрица. Образуем новый случайный вектор Z =A · Y .
ТогдаM (Z) = A · M (Y ) , ΣZ = A · ΣY · AT .Пусть мы имеем некоторый вектор Y измерений и наего основе строим оценку γ̂ вектора параметров γ.Определение 4 . Оценка γ̂ параметра γ называется линейной (по Y ), если она имеет вид γ̂ = A · Y , где A –некоторая неслучайная матрица.Лемма 2 . Пусть выполнены условия 1)-5) основных предположений. Линейная оценка θ̃ = A · Y вектора параметров θ является несмещенной тогда и только тогда, когдавыполнено условиеA·X =E .(4.9)Доказательство. В силу леммы 1, определения несмещенности и, используя основные предположения о модели,имеемM (θ̃) = AM (Y ) = AXθ + AM (ε) = AXθ = θдля всех θ. Отсюда следует соотношение (9).57Предложение 1 . Пусть выполнены условия 1)-5) основных предположений, тогда оценка по МНК θ̂ для векторапараметров θ является линейной и несмещенной.Доказательство.
Из соотношения (7) мы видим, что оценка по МНК является линейной с матрицей A = (X T X)−1 X T .Проверим условие несмещенности (9):AX = (X T X)−1 X T X = E .Предложение 2 . Пусть выполнены условия 1)-5) основных предположений. Тогда матрица ковариаций оценкипо МНК θ̂ для параметров θ имеет видΣθ̂ = σ 2 · (X T X)−1 .(4.10)Доказательство. В силу леммы 1 и используя основныепредположения о модели, получаемΣθ̂ = (X T X)−1 X T ΣY X(X T X)−1 =(X T X)−1 X T · σ 2 E · X(X T X)−1 = σ 2 (X T X)−1 .Предложение 3 . Пусть выполнены условия 1)-5) основных предположений о модели и, кроме того, диагональные элементы матрицы (X T X)−1 стремятся к нулю приN → ∞.
Тогда оценка по МНК θ̂ для параметров θ уравнения модели является состоятельной.Доказательство легко следует из несмещенности оценки, предложения 2 и неравенства Чебышева.Основным результатом этого раздела является следующаяТеорема 1 (Гаусса-Маркова). Пусть выполнены условия1)-5) основных предположений о модели.
Тогда оценка поМНК θ̂ является оптимальной в среднем квадратическомоценкой в классе всех линейных несмещенных оценок параметров θ. (Best Linear Unbiased Estimator = BLUE).58Доказательство. Выше было доказано, что θ̂ = AY является несмещенной оценкой. Пусть θ̃ = BY = (A + C)Yесть некоторая другая несмещенная оценка. Из условиянесмещенности (9) легко следует, что CX = 0. Далее, используя лемму 1, получаемΣθ̃ = (A + C)σ 2 E(A + C)T = σ 2 (A + C)(AT + C T ) =σ 2 (AAT + CC T + CAT + AC T ) .В силу предложения 2 σ 2 AAT = σ 2 (X T X)−1 = Σθ̂ иCAT = (AC T )T = CX(X T X)−1 = 0 .Отсюда следует, чтоΣθ̃ − Σθ̂ = σ 2 CC T .Матрица CC T является неотрицательно определенной.
Излинейной алгебры известно, что в этом случае диагональные элементы матрицы Σθ̃ не меньше соответствующихдиагональных элементов матрицы Σθ̂ .В заключение исследуем свойства оценки дисперсии ошибок измерений.Предложение 4 . Пусть выполнены условия 1)-6) основных предположений. Тогда оценка по МНКS2 =NX1e2N − (m + 1) j=1 jявляется несмещенной и состоятельной оценкой для дисперсии σ 2 ошибок измерений.Доказательство. Как отмечалось выше, мы имеем ортогональное разложение вектора Y в пространстве RN :Y = Ŷ + e ,59где Ŷ ∈ L, e ⊥ L.
Подпространство L имеет размерностьm + 1, если матрица X имеет ранг m + 1, а ортогональное дополнение к нему имеет размерность N − (m + 1).Так как случайный вектор Y имеет невырожденное распределение в RN , то его проекции на любые ненулевыеподпространства невырождены. Далее, случайный векторY имеет многомерное нормальное распределение со средним X · θ ∈ L и матрицей ковариаций ΣY = Σε = σ 2 · IN .Тогда его ортогональная проекция e на подпространстворазмерности N − (m + 1) имеет многомерное нормальноераспределение с нулевым средним и матрицей ковариацийΣe = σ 2 · IN −(m+1) в этом подпространстве.
ДалееNXN −(m+1)e2j=j=1Xηk2 ,k=1Tгде η = (η1 , . . . , ηN −(m+1) ) есть представление случайного вектора e через координаты относительно некоторогоортонормального базиса в L⊥ . ТогдаNX12E(S ) =Ee2j N − (m + 1)j=1N −(m+1)X1Eηk2 ==N − (m + 1)j=1(N − (m + 1) · σ 2= σ2 ,N − (m + 1)т.е. оценка S 2 для величины σ 2 является несмещенной.Далее, так как случайные величины η1 , .
. . , ηN −(m+1) независимы, одинаково распределены и E(ηk2 ) = σ 2 < ∞ длявсех k, то в силу закона больших чисел=S2 =N −(m+1)X1Pηk2 → σ 2 , N → ∞ .N − (m + 1) j=1604.4Построение доверительных интерваловВыше мы исследовали такие свойства оценок параметров,которые опирались только на свойства 1)-5) основных ограничений и не требовали информации о распределении ошибок измерений ε. Дальнейший анализ свойств построенноймодели требует предположения 6), что ошибки измеренийимеют нормальное распределение. Всюду далее в этом параграфе мы предполагаем, что выполнены условия 1)-6)основных предположений без специального упоминания обэтом.Основой для всех дальнейших результатов является следующаяТеорема 2 .
Пусть θ̂ есть оценка по МНК для векторапараметров уравнения модели. Тогда имеют место следующие свойства:1) θ̂ имеет многомерное нормальное распределение сосредним θ и матрицей ковариаций σ 2 · (X T X)−1 ,2) случайная величина (θ̂ − θ)T X T X(θ̂ − θ)/σ 2 имеетχ2 -распределение с (m + 1) степенью свободы,PP3) случайная величина (Yj − Ŷj )2 /σ 2 = e2j /σ 2 имеетjjχ2 -распределение с (N − m − 1) степенями свободы,4) случайные величины S 2 и θ̂ (или Ŷ ) независимы.Доказательство. Случайный вектор Y имеет многомерное нормальное распределение со средним Xθ и матрицейковариаций ΣY = σ 2 IN . Оценка θ̂ параметра θ по МНКимеет видθ̂ = (X T X)−1 X T Y = AY ,т.е.
является линейным преобразованием вектора Y . Тогдав силу теоремы B1 случайный вектор θ̂ имеет многомерное61нормальное распределение со среднимE(θ̂) = A · E(Y ) = (X T X)−1 X T (Xθ) = θи матрицей ковариацийσθ̂ = AΣY AT = (X T X)−1 X T ·σ 2 IN ·X(X T X)−1 = σ 2 (X T X)−1 .Первое утверждение доказано.В силу теоремы B4 и первого утверждения теоремы случайная величина(θ̂ − θ)T Σ−1(θ̂ − θ) = (θ̂ − θ)T (X T X)(θ̂ − θ)/σ 2θ̂имеет χ2 -распределение с m+1 степенями свободы.
Второеутверждение доказано.Как было показано выше (смотри доказательство предложения 4), случайный вектор e есть ортогональная проекция вектора Y на подпространство размерности N −(m+1) и, следовательно, имеет в нем невырожденное многомерное нормальное распределение с нулевым средними матрицей ковариаций σ 2 IN −(m+1) . В координатах относительно ортонормированного базиса этого подпространства его можно записать в виде η = (η1 , .
. . , ηN −(m+1) )T ,где все ηk независимы, имеют нормальное распределениеи E(ηk ) = 0, D(ηk ) = σ 2 . Далее,22S /σ =NXN −(m+1)e2j /σ 2=j=1Xηk2 /σ 2 ,k=1где все случайные величины ηk /σ независимы и имеютстандартное нормальное распределение. Третье утверждение доказано.Случайный вектор Y имеет ортогональное разложениеY = Ŷ + e. Отсюда следует, что случайные векторы Ŷ иe независимы.
Так как случайный вектор θ̂ представляет62собой координаты вектора Ŷ в некотором базисе соответствующего пространства, т.е. является функцией от Ŷ , тослучайные векторы θ̂ и e также независимы. Отсюда следует, что случайный вектор θ̂ и случайная величина S 2(как функция от e!) независимы. Четвертое утверждениеи вся теорема в целом доказаны.Обозначим B = (bik ) = (X T X)−1 . Тогда оценка θ̂k параметра θk имеет нормальное распределение со среднимθk и дисперсией σ 2 · bkk . В силу сформулированной вышетеоремы случайная величинаTk =θ̂k − θk Sθ̂k − θkθ̂k − θk√: = √==Skσ bkk σS bkkимеет распределение Стьдента с N −m−1 степенями свободы.
Величина Sk называется стандартной ошибкой оценки параметра θk . Далее для заданного уровня доверия γпо таблицам распределения Стьюдента мы находим такуюконстанту t(γ), для которойP (|Tk | < t(γ)) = γ .Тогда доверительный интервал для параметра γ строитьсяпо правилу:θ̂ − Sk · t(γ) < θk < θ̂ + Sk · t(γ) .4.5Проверка значимости влияния отдельного фактораПолученные в предыдущем параграфе результаты позволяют решить еще одну важную с практической точки зрения задачу, а именно, проверить гипотезу о том, оказывает ли некоторый фактор Xk , включенный в нашу модель,63значимое влияние на поведение изучаемой величины Y .Формально отсутствие такого влияния означает, что этотфактор на самом деле отсутствует, т.е.
θk = 0, и его можноисключить из модели.Рассмотрим вначале задачу критерии проверки гипотезыH0 : θk = θk0против альтернативыH1 : θk 6= θk0 .Как отмечалось выше, при верной гипотезе H0 статистикаTk =θ̂k − θk0Skимеет распределение Стьюдента с N − m − 1 степенямисвободы. Для заданного уровня значимости α по таблицамнаходим критическую константу t(α), для которойP (|Tk | > t(α)) = α .Тогда правило проверки сформулированной выше гипотезы имеет вид:1) если реально полученное значение статистики Tk будет больше критической константы t(α), то мы отвергаемгипотезу H0 и принимаем H1 ,2) в противном случае мы говорим, что гипотеза H0 непротиворечит экспериментальным данным.Важным частным случаем является гипотезаH0 : θk = 0против альтернативыH1 : θk 6= 0 .64В этом случае мы проверяем значимость влияния фактора Xk на исследуемую величину Y .
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
