В.П. Носко - Эконометрика для начинающих (1160539), страница 3

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 3)

Пусть прямаяy = α∗ + β ∗xрассматривается в числе прочих в процессе такого поиска.Для i - го наблюдения мы будем наблюдать тогда расхождение(«невязку»)ε i ∗ = y i − α ∗ + β ∗ xi ,()∗причем значения ε i могут быть как положительными, таки отрицательными. При изменении значений α ∗ и β ∗ будетnизменяться и алгебраическая сумма невязок∑ε∗i. С этойi =1точки зрения, мы можем остановить свой выбор на прямой,для которой соблюдается баланс положительных иотрицательных невязок, так чтоn∑ε∗i= 0.i =1Соответствующие этой прямой значения α ∗ и βобозначать как α$ и β$ .

Итак, прямаяy = α$ + β$ x∗проходит через точку ( x , y ) , и если обозначить ещебудем()ei = yi − α$ + β$ x i ,то тогдаn∑ei= 0.i =1Значение ei называется остатком в i - м наблюдении. Дляреальных данных, как правило, все остатки отличны от нуля,так что часть из них имеет положительный знак, а остальные— отрицательный.Оказывается, что ту же самую прямую y = α$ + β$ x можнополучить, исходя из другого принципа — принципанаименьших квадратов. Согласно этому принципу, средивсех возможных значений α ∗ , β ∗ , претендующих на рольоценок параметров α и β , следует выбирать такую паруα ∗∗ , β ∗∗ , для которойn∑ ( yi − αi =1∗∗−β∗∗x i ) 2 = min∗∗α ,βn∑ (yi− α ∗ − β ∗ xi ) 2 .i =1Иначе говоря, выбирается такая пара α ∗∗ , β ∗∗ , для которойсуммаквадратовневязококазываетсянаименьшей.Получаемые при этом оценки называются оценкаминаименьших квадратов, и можно показать, что онисовпадают с ранее определенными оценками α$ и β$ , так чтоα ∗∗ = α$ , β ∗∗ = β$ .Заметим, что при построении оценок наименьшихквадратов заранее не требуется, чтобы соответствующаяпрямая проходила через точку ( x , y ) ; этот факт являетсясвойством оценок наименьших квадратов.

Наличие такогосвойства мы докажем чуть позднее, а сейчас обратимся квопросу о том, как практически найти указанные оценки α$ иβ$ .Если исходить из первого определения, то прежде всегоследует заметить, что если прямая y = α ∗ + β ∗ x проходитчерез точку ( x , y ) , то тогда y = α ∗ + β ∗ x , так чтоα ∗ = y − β ∗ x,и для поиска «наилучшей» прямой достаточно определитьее угловой коэффициент β ∗ . Изменяя значения β ∗ и следя заnизменением значений∑ε∗i, мы можем, в принципе, найтиi =1искомое β$ с любой наперед заданной точностью.Использование непосредственного перебора∗α , β ∗ с целью минимизации суммы квадратов)значенийnQ(α ∗ , β ∗ = ∑ ( yi − α ∗ − β ∗ xi ) 2i =1при реализации метода наименьших квадратов такжевозможно, хотя и требует, конечно, существенно большихвычислительных усилий.Было бы идеальным, если бы существовала возможностьпрямого вычисления значений α$ и β$ по какой-нибудьформуле на основании известных значений xi , yi , i = 1,K , n .Такую возможность нам предоставляет еще один подход кпоиску параметров α$ , β$ «наилучшей» прямой.Заметим, что через каждую пару точек ( xi , yi ), ( x k , y k ) надиаграмме рассеяния можно провести прямую.

Всего такихпрямых (с учетом совпадающих точек) будет ровно столько,сколько различных пар индексов (i , k ) можно образовать наоснове n индексов 1,K , n . А количество таких пар индексовравно числу сочетаний из n элементов по два. Изкомбинаторной математики известно, что последняя величинаравна N = n( n − 1) / 2 . Пусть прямая, проходящая через j - юпару точек, имеет видy =α j + β jx ,а точки, через которые она проводится, имеют абсциссыx1 ( j ) и x 2 ( j ) , соответственно.Обратимся опять к диаграмме рассеяния. Из этойдиаграммы видно, что параметры α$ и β$ будут очень сильноотличаться для различных пар, и для многих пар не будутиметь ничего общего с параметрами α$ , β$ «наилучшей»прямой. Оказывается, однако, что эти значения α$ и β$ можнополучить как взвешенные суммы значений параметровотдельных прямых:NNj =1j =1α$ = ∑ w j α j , β$ = ∑ w j β j ,∑ w = 1 и веса w ,K, w( x ( j ) − x ( j )) ,=∑ ( x ( k ) − x ( k ))nгдеj =1j1nимеют вид2wj21N221k =1Нетрудно заметить, что большие веса придаются темпрямым, которые строятся по точкам с далеко разнесеннымиабсциссами.Итак, мы имеем возможность получать оценкинаименьших квадратов чисто аналитически, сначала вычисляяпараметры α j , β j отдельных прямых, а затем взвешиваяполученные значения.

Однако, существует еще один способполучения точных формул для α$ и β$ , исходящий изпринципа наименьших квадратов.Согласно этому принципу, оценки α$ и β$ находятся путемминимизации суммы квадратовnQ(α , β ) = ∑ ( yi − α − β xi ) 2i =1по всем возможным значениям α и β при заданных(наблюдаемых)значениях x1 ,K , x n , y1 ,K , y n .ФункцияQ(α , β ) как функция двух переменных описываетповерхность z = Q(α , β ) в трехмерном пространстве спрямоугольной системой координат α , β , z , и дело сводитсяк известной математической задаче поиска точки минимумафункции двух переменных.Такая точка находится путем приравнивания нулючастных производных функции z = Q(α , β ) по переменным αи β , т.

е. приравниванием нулю производной функцииQ(α , β ) как функции только от α при фиксированном β ,∂ Q(α, β) / ∂β = 0 ,и производной функции Q(α , β ) как функции только от βпри фиксированном α ,∂ Q(α, β) / ∂β = 0 ,Это приводит к так называемой системе нормальныхуравнений∂ Q(α , β ) / ∂α = 0 , ∂ Q(α, β) / ∂β = 0 ,решением которой и является пара α$ , β$ .

Остаетсязаметить, что согласно правилам вычисления производных,∂ Q(α , β ) / ∂α = 2∂ Q(α , β ) / ∂β = 2ni− α − β xi )( −1) ,i− α − β x i )( − x i ) ,∑(yi =1n∑(yi =1так что искомыесоотношениямзначенияnn∑ ( yi − α$ − β$ xi ) = 0 ,∑(yi =1i =1iα$ ,β$удовлетворяют− α$ − β$ xi ) x i = 0 .Эту систему двух уравнений можно записать также в видеn n $$nα +  ∑ x i  β = ∑ y i i =1 i =1 nnn ∑ xi  α$ +  ∑ x i2  β$ = ∑ yi x i . i =1  i =1 i =1Последняя система является системой двух линейныхуравнений с двумя неизвестными и может быть легко решена,например, методом подстановки.Из первого уравнения системы находим:α$ =n1n∑ yi − n1 β$i =1n∑xi= y − β$ x ,i =1так что точка ( x , y ) действительно лежит на прямойy = α$ + β$ x .

Подстановка полученного выражения для α$ вовторое уравнение системы дает2n n  n  1  n  $  n 2  $ ∑ y i   ∑ xi  − n  ∑ xi  β +  ∑ xi  β = ∑ yi x i , i =1   i = 1  i =1  i =1 i =1откуда1nn n 1−yxy∑i in ∑ i   ∑ xi  i =1   i =1 i =1nβ$ =− n1  ∑ x i  i =1 i =1Заметим еще, чтоn∑xn∑ (xn2ini =1=i =1n∑x.2i− nx2i =1nn− x ) = ∑ x i2 − 2 x ∑ x i + nx 2 = ∑ x i2 − nx 2 ,2i2nn∑ y i x i − nyxi =1i =1i =1nnnnni =1i =1i =1i =1i =1∑ ( yi − y )( xi − x ) = ∑ yi xi − y ∑ xi − x ∑ yi + nyx = ∑ yi xi − nyx .Последние соотношения позволяют получить болееупотребительную форму записи выражения для β$ (вотклонениях от средних значений)nβ$ =∑(yii =1− y )( x i − x )n∑ (xi =1i− x),2которая в паре с выражениемα$ = y − β$ xдает явное и простое решение задачи отыскания оценок α$ ,β$ на основе принципа наименьших квадратов.Разумеется, такое решение может существовать только привыполнении условияn∑ (xi =1− x) ≠ 0 ,2iчто равносильно отличию от нуля определителя системы.Действительно, этот определитель равен2n n  n2n ∑ x −  ∑ x i  = n ∑ x i2 − nx 2  = n ∑ ( x i − x ) . i =1 i =1i =1 i =1Последнееусловиеназываетсяусловиемидентифицируемостимоделинаблюденийyi = (α + β ⋅ x i ) + ε i , i = 1,K , n , и означает попросту, что не всезначения x1 ,K , x n совпадают между собой.

При нарушенииn2iэтого условия все точки ( xi , yi ), i = 1,K , n , лежат на однойвертикальной прямой x = x .Оценки α$ и β$ обычно называют оценками наименьшихквадратов (least squares estimates), или LS — оценками.Обратим еще раз внимание на полученное выражение для β$ .Нетрудно видеть, что в это выражение входят уже знакомыенам суммы квадратов, участвовавшие ранее в определенииnвыборочнойдисперсииVar ( x ) = ∑ ( x i − x )i =1n2( n − 1)выборочной ковариации Cov ( x , y ) = ∑ ( x i − x )( y i − y )i =1( n − 1)и,так что, в этих терминах,Cov ( x , y )β$ =.Var ( x )Отсюда, в частности, видно, что значения β$ близки кнулю, если ковариация между наблюдаемыми значениямипеременных x и y близка к нулю.

(Однако, близость β$ кнулю здесь следует понимать как относительную, с учетомреальных значений выборочной дисперсии Var ( x ) .) Крометого, знак β$ совпадает со знаком ковариации Cov( x , y ) ,поскольку Var ( x ) > 0 .Вычисление значений α$ и β$ для нашего примера даетзначенияβ$ = 0.020415 / 0162976.= 0125.,α$ = y - β$ x = 3118.− 0125.

⋅ 6.576 = 2.294 .Таким образом, «наилучшая» прямая имеет видy = 2.294 + 0.125x ,и мы принимаем ее в качестве аппроксимации для«истинной» модели линейной связи между переменными x иy . Эта аппроксимация указывает на то, что при изменениипеременной x на 1 единицу (измерения x ) переменная yизменяется «в среднем» на 0125.единиц (измерения y ).Факт горизонтальности прямой y = α$ + β$ x при β$ = 0( Cov( x, y) = 0) и наличие у этой прямой наклона при β$ ≠ 0( Cov( x, y) ≠ 0) , позволяют произвести некоторую детализациюструктуры остатков ei = y i − α$ − β$ x i .

Характеристики

Список файлов книги