Хохлов Ю.С. - ПМСА для эконома (1185346), страница 4
Текст из файла (страница 4)
(2.15)Из соотношений (13)-(15) получаем свойство 2).Таким образом, ρY Xk ·X1 ,...,Xk−1 показывает долю остаточной дисперсии Y , "объясненную"добавлением переменной Xk к набору {X1 , . . . , Xk−1 }.Свойство 3) достаточно доказать только для последнего коэффициента βm , так как перестановкой факторовзадачу всегда можно свести к этому случаю. Далее, безограничения общности можно считать, что все величины центрированы.
Пусть L и LC есть линейные пространства, порожденные случайными величинами X1 , . . . , Xm иX1 , . . . , Xm−1 соответственно, L⊥C – ортогональное дополнение LC в L. Обозначим через Ŷ и ŶC проекции элементаY на линейные пространства L и LC , а через Xm,C проекцию элемента Xm на пространство LC . Ясно, что элемент⊥Xm= Xm − Xm,C лежит в одномерном пространстве L⊥C,которое ортогонально LC . Имеют место следующие ортогональные разложения:Y = (Y − YC ) + YC , Xm = (Xm − Xm,C ) + Xm,C .27В силу сказанного вышеŶ= β1 X1 + . .
. + βm−1 Xm−1 + βm Xm⊥= β̃1 X1 + . . . + β̃m−1 Xm−1 + βm Xm,где коэффициент βm один и тот же в обоих представлениях. В силу отмеченной ортогональности этот коэффициент можно найти проектируя вектор Y − YC на вектор⊥= Xm − Xm,C , т.е. решая для них задачу о простой реXmгрессии. Решение этой задачи было найдено выше при рассмотрении простого коэффициента корреляции. А именно,было показано, чтоσY −YCσY ·Cβm = ρ(Y − YC , Xm − Xm,C )= ρY Xm ·C ·.σXm −Xm,CσXm ·CИз свойства 3) следует, чтоβk = 0 ⇔ ρY Xk ·C = 0 .Заметим, что условия ρY Xk = 0 недостаточно, т.к.
линейное влияние Xk на Y может быть опосредованным, черезнекоторые третьи величины.Свойство 4) почти очевидно. Если Xk и Xl некоррелированы с набором C, то (для случая центрированных величин) их проекции (наилучшие линейные приближения!) налинейное пространство, порожденное величинами из набора C, равны нулю.
А тогда определения частного коэффициента корреляции и простого коэффициента корреляциисовпадают.В заключение кратко обсудим вопрос о более эффективном вычислении множественного и частных коэффициентов корреляции. В гильбертовом пространстве L2 всеопределяется только моментами первого и второго порядка. Это означает, что частные коэффициенты корреляцииможно вычислить через парные.28Назовем парные коэффициенты корреляции ρkl коэффициентами корреляции нулевого порядка. Выделим номера k, l, p и обозначим через C набор из остальных с.в.Можно показать, чтоρkl − ρkp ρlpρkl·p = q(1 − ρ2kp )(1 − ρ2lp )– коэффициенты корреляции первого порядка, иρkl·C − ρkp·C ρlp·Cρkl·p,C = q(1 − ρ2kp·C )(1 − ρ2lp·C ).Существует еще один метод вычисления множественного и частного коэффициентов корреляции через парные,используя определители матриц.
Обозначим через CORRijалгебраическое дополнение элемента ρij в матрице CORR.ТогдаCORRρY ·X1 ,...,Xm = 1 −,CORR00иCORRij.ρij·C = − qCORRii CORRjjВ реальных задачах истинные коэффициенты корреляции неизвестны и заменяются на их выборочные аналоги,которые вычисляются по набору экспериментальных данных.2.3ПримерВ этом разделе мы рассмотрим характерный пример использования коэффициентов корреляции при анализе взаимосвязи различных показателей экономической деятельности.29Пример. По итогам года на 37 однородных предприятиях легкой промышленности регистрировались следующие показатели их работы:Y = X0 – среднемесячная характеристика качества ткани (в баллах),X1 – среднемесячное число профилактических наладокавтоматической линии,X2 – среднемесячное число обрывов нити.Были вычислены следующие выборочные парные коэффициенты корреляции:R01 = 0.105, R02 = −0.024, R12 = −0.996.Эти данные показывают слабую связь между качествомткани и числом профилактических наладок и числом обрывов нити, что противоречит опыту работы в данной области.
Но если вычислить частные коэффициенты корреляцииR01.2 = 0.907, R02.1 = −0.906,то мы видим сильную корреляционную связь. Полученные выше результаты обусловлены тем, что факторы X1и X2 сильно отрицательно коррелированы и их взаимноевлияние маскирует вклад каждого из факторов.
Общийвклад факторов является значительным, что показываетвеличина множественного коэффициента корреляции2RY.X= 0.823.1 X230Глава 3Простая линейнаярегрессияВ этой главе подробно анализируются все основные задачирегрессионного анализа в простейшей ситуации, когда мыизучаем зависимость переменной Y от одной независимойпеременной (фактора) X.3.1Подгонка кривойРассмотрим вначале одну вспомогательную задачу, решение которой будет постоянно использоваться в дальнейшем.
Пусть мы имеем N совместных измерений величинX и Y : (X1 , Y1 ), . . . , (XN , YN ). Мы хотим найти некоторуюфункцию y = f (x) из заданного (как правило параметрического) класса F, которая наилучшим образом аппроксимирует имеющийся набор данных. Если данных достаточно много, а число параметров невелико, то, скорее всего,ни одна из функций f из класса F не пройдет через всеэкспериментальные точки. Образуются некоторые ошибки(невязки) ej = Yj − f (Xj ).31Найти наилучшую аппроксимирующую кривую в такойситуации означает, что необходимо в том или ином смыслеминимизировать невязки {ej }.
Но их много — целый набор e = (e1 , . . . , eN ). Нужен какой-то интегральный критерий Q, учитывающий всю совокупность остатков e. Нижемы рассмотрим несколько вариантов таких критериев.1) Сумма квадратов остатков.ПустьQ1 (e) =NXe2j =j=1NX[Yj − f (Xj )]2 .(3.1)j=1Если y = f (x, θ1 , . . . , θm ) = f (x, θ), то для минимизацииQ необходимо вычислить первые производные (если онисуществуют) и приравнять их к нулю.
Это приводит наск некоторой системе уравнений. Достоинство этого метода состоит в том, что он приводит к несложным вычислительным процедурам при оценке параметров. Как мы увидим позднее, оценки параметров обладают хорошими статистическими свойствами и удается построить статистическую теорию для проверки разнообразных гипотез. Главным недостатком метода является то, что оценки параметров очень чувствительны к "выбросам" – одна грубаяошибка, например, неверная запись в наблюдении, сильноменяет оценки параметров.2) Сумма модулей остатков.ПустьQ2 (e) =NX|ej |.(3.2)j=1При таком выборе критерия оценки параметров будутменьше реагировать на выбросы. Но сама процедура оценки параметров будет гораздо сложнее с аналитической точ32ки зрения, в силу недифференцируемости Q. Решение, какправило, находится численными методами.
Кроме того,решение может быть неединственным.3) Функция Хьюбера.Пытаясь объединить достоинства двух предыдущих методов, Хьюбер (Huber) предложил следующий критерий:Q3 (e) =NXg(ej ),(3.3)j=1где(g(x) =x2 , если |x| ≤ c,2c · |x| − c2 , если |x| ≥ c.Таким образом, при небольших значениях ej мы берём e2j ,а при больших — |ej |. Функция g подобрана так, что онаявляется дифференцируемой.Наиболее популярным является первый метод. Соответствующий метод оценки параметров называется методомнаименьших квадратов (МНК). Рассмотрим его более подробно для случая, когда класс F состоит из линейныхфункцийf (x) = α + β · x.(3.4)В этом случае выражение (1) принимает вид:NXQ(e) =[Yj − (α + β · Xj )]2 .(3.5)j=1Нам необходимо найти наименьшее значение функции Q(e) =Q(e, α, β) по параметрам α и β.
Запишем необходимое условие экстремума (так называемое условие первого порядка):∂Q∂α= −2∂Q∂β= −2NP[Yj − (α + β · Xj )] = 0,j=1NP(3.6)[Yj − (α + β · Xj )] · Xj = 0.j=133После несложных преобразований получаемN ·α+ÃPjÃPj!!PXj · β =Xj · α +ÃPj!jYj ,Xj2 · β =Pj(3.7)Xj Yj .Уравнения (7) называются системой нормальных уравнений.Решения системы (7) имеют видN·Pjβ̂ =ÃXj Yj −N·PjPjXj2 −! ÃXj ·ÃPjPj!2!Yj=XjSXY,2SX(3.8)α̂ = Ȳ − β̂ · X̄,(3.9)гдеX̄ =1NSXY =Pj1NXj ,Ȳ =P1NPjYj ,(Xj − X̄)(Yj − Ȳ ),Pj2SX= N1 (Xj − X̄)2 ,jSY2=1N(3.10)Pj2(Yj − Ȳ ) .Полезно привести геометрическую интерпретацию полученных результатов.
ОбозначимX1→ . X = .. ,XNY1 . Y = .. ,YN1 . 1 = .. ,11 X1 ... X = ... .1 XN→Мы ищем наилучшую линейную оценку Ŷ = α̂ · 1 + β̂· X→для вектора Y в линейном пространстве L = {c0 ·1+c1 · X }.34По лемме о перпендикуляре нужно найти проекцию Y наL. ОбозначимÃθ̂ =α̂β̂!,Ŷ = X · θ̂,e = Y − Ŷ .Систему нормальных уравнений (7) можно записать в виде~T ·e = 01T · e = 0, XилиX T · e = 0.(3.11)Фактически это формулировка леммы о перпендикуляре.Отсюда получаемX T · (Y − X · θ) = X T · Y − (X T X) · θ = 0.Если матрица X T X невырождена, тоθ̂ = (X T X)−1 · X T Y.3.23.2.1(3.12)Классическая линейная модельОписание моделиОсновная модель, с которой мы имеем дело в эконометрике в простейшем случае имеет видYj = f (Xj ) + εj ,j = 1, N .Всюду далее в этой главе мы будем предполагать, чтовыполнены следующие35Основные предположения о модели1) Модель линейна по параметрам, т.
е.Yj = α + β · X j + ε j ,2) Xj измерены без ошибок, т. е. это неслучайные величины,3) M (εj ) = 0,4) D(εj ) = σ 2 для всех j,5) cov(εj , εk ) = 0, j 6= k,6) εj имеют нормальное распределение.Отсюда, в частности следует, что случайные величины Yj независимы и имеют нормальное распределение сосредним α + β · Xj и дисперсией σ 2 .В нашей модели есть три параметра α, β и σ 2 , которыенеобходимо оценить.3.2.2Метод наименьших квадратовДля оценки параметров α и β мы применим МНК, описанный в предыдущем параграфе.
Таким образом, нам необходимо минимизировать выражениеQ=NX[Yj − (α + β · Xj )]2 .j=1Напомним, что решение этой экстремальной задачи имеет видSXYβ̂ = 2 ,(3.13)SXα̂ = Ȳ − β̂ · X̄,2вычисляются по формулам (10).где X̄, Ȳ , SXY , SX36(3.14)Преобразуем (13) и (14) так, чтобы получить выражения более удобные для дальнейшего исследования.
ОбозначимXj − X̄wj = P.(3.15)(Xk − X̄)2kНетрудно проверить, чтоXwj = 0,Xjwj2 = Pjk1.(Xk − X̄)2(3.16)Производя несложные преобразования, получаемP(Xj −X̄)(Yj −Ȳ )β̂ ==jPPj=β=(Xk −X̄)2kPjwj · (Yj − Ȳ ) =wj (α + β · Xj + εj ) = βPjwj (Xj − X̄) +то естьβ̂ =XPjPjjjwj · Yj =wj · Xj +w j · εj = β +w j · Yj = β +PXPjPjwj · εj =wj · εj ,wj · εj .(3.17)jАналогичными преобразованиями получаем (задача!)α̂ =X· 1jN¸− wj · X̄ · Yj = α +X· 1jN¸− wj · X̄ · εj .
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
