В.П. Носко - Эконометрика для начинающих (1160539), страница 12

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 12)

Иначе ее еще называютнормальной линейной моделью множественной регрессии23переменнойyна переменные x1, ... , xp . Термин“множественная” указывает на использование в правой частимодели наблюдений двух и более объясняющих переменных,отличных от постоянной. Термин “регрессия” имеетопределенные исторические корни и используется лишь в силутрадиции.Оцениваниенеизвестных коэффициентов моделиметодом наименьших квадратов состоит в минимизации повсем возможным значениям θ 1 , K , θ p суммы квадратов()n()Q θ 1 ,Kθ p = ∑ yi − θ 1 x i 1 −K−θ p x i p .i =12Минимум этой суммы достигается при некотором наборезначений коэффициентовθ 1 = θ$ 1 ,K ,θ p = θ$ p ,так чтоQ θ$ ,Kθ$(1p)=()min Q θ 1 ,Kθ p .θ 1 ,K,θ pЭто минимальное значение мы опять обозначаемтак чтоn(RSS = ∑ y i − θ$ 1 x i1 −K−θ$ p x ipi =1),2и называем остаточной суммой квадратов.Коэффициент детерминации R2 определяется какRSSR2 = 1−TSSгдеnTSS = ∑ ( y i − y ) .i =1Обозначая242RSS ,y$ i = θ$ 1 x i1 +K+θ$ p x ip , i = 1, K , n,(подобранные - fitted- значения объясняющей переменнойпо оцененной линейной модели связи), и определяя остаток(residual) от i-го наблюдения какei = y i − y$ i ,мы получаем:nRSS = ∑ ( y i − y$ ) =2i =1n∑e2i.i =1ОбозначаяnESS = ∑ ( y$ i − y )2i =1- объясненная моделью (explained) сумма квадратов, илирегрессионная сумма квадратов, мы так же, как и в случаепростой линейной регрессии с p = 2 , имеем разложениеTSS = RSS + ESS ,так чтоESSR2 =.TSSИ опять, это разложение справедливо только при наличиипостоянной составляющей в модели линейной связи.

Приэтом, также, здесьR 2 = ry2, y$ ,т.е.коэффициент детерминации равен квадратувыборочного коэффициента корреляцииry , y$ междупеременнымиyиy$ .Последнийназываетсямножественным коэффициентом корреляции (multiple-R).Для поиска значений θ$ 1 , K , θ$ p , минимизирующих сумму25()n(Q θ 1 , Kθ p = ∑ y i − θ 1 x i1 −K−θ p x i pi =1)2,следует приравнять нулю частные производные этойсуммы (как функции от θ 1 , K , θ p ) по каждому из аргументовθ 1 ,K , θ p . В результате получаем систему нормальныхуравнений∑ 2 (yn− θ$ 1 x i1 −K−θ$ p x i p ( − x i 1 ) = 0,i− θ$ 1 x i1 −K−θ$ p x i p ( − x i 2 ) = 0,i− θ$ 1 x i 1 −K−θ$ p x i p − x i p = 0,i =1n∑ 2 (y)ii =1)K∑ 2 (yni =1)()илиn n 2 $ n $ n $x⋅θ+xx⋅θ+K+xx⋅θ= ∑ i1  1  ∑ i1 i 2  2 ∑ i1 i p  p ∑ yi xi1 , i =1  i =1 i =1i =1n n $ n 2 $ n $xx⋅θ+x⋅θ+K+xx⋅θ= ∑ i 2 i1  1  ∑ i 2  2 ∑ i 2 i p  p ∑ yi x i 2 , i =1 i =1  i =1i =1Kn n n n 2  ∑ xi p xi 1 ⋅ θ$ 1 +  ∑ xi p xi 2  ⋅ θ$ 2 +K+ ∑ x i p  ⋅ θ$ p = ∑ yi xi p . i =1 i =1 i =1i =1Это система p линейных уравнений с p неизвестнымиθ$ ,K , θ$ .

Ее можно решать или методом подстановки или по1pправилу Крамера с использованием соответствующихопределителей. В векторно-матричной форме эта системаимеет вид26X T Xθ$ = X T yгде x11 x12x 21 x 22X = MM x n1 x n 2K x1 p K x2 p K M K xn p - матрица значений p объясняющих переменных в nнаблюдениях; x11 x12 K x n1  x 21 x 22 K x n 2 TX =MM K M xxKx2pnp  1p- транспонированная матрица; θ$ 1  y1  $ yθ2y= иθ$ =  2  MM  θ$  yn  pсоответственно, вектор-столбец значений объясняемойпеременной в n наблюдениях и вектор-столбец оценок pнеизвестных коэффициентов. Система нормальных уравненийимеет единственное решение, если выполнено условие(4) матрица XTX невырождена, т.е. ее определительотличен от нуля:det X T X ≠ 0 ,которое можно заменить условием27(4’) столбцы матрицы X линейно независимы.При выполнении этого условия матрица X T X (размераp × p ) имеет обратную к ней матрицу ( X T X ) −1 .

Умножая втаком случае обе части последнего уравнения слева на матрицу( X T X ) −1 , находим искомое решение системы нормальныхуравнений:−1θ$ = X T X X T y .()Введем дополнительные обозначенияθ 1 ε 1  y$1  e1   θ2ε2y$ 2 e2θ =   , ε =   , y$ =, e= . M MMM   y$ n  en θp εp Тогда модель наблюденийyi = θ 1 xi1 +K+θ p xip + ε i , i = 1,K , n,можно представить в матрично-векторной формеy = Xθ + ε .Вектор подобранных значений имеет видy$ = Xθ$и вектор остатков равенe = y − y$ = y − Xθ$ .Определяющим для всего последующего является тообстоятельство, чтов нормальной линейной модели снесколькими объясняющими переменными оценки θ$ 1 , K , θ$ pкоэффициентов θ 1 , K , θ p как случайные величины имеютнормальные распределения (хотя эти случайные величиныуже не являются независимыми в совокупности).28Действительно, посколькуθ$ 1 ,K , θ$ pθ$ = ( X T X ) X T y , то оценки−1являются линейными комбинациями значенийy1 ,K , y n , т.е.

имеют видθ$ j = c j1 y1 + c j 2 y 2 +K+c j n y n ,гдеcjk -коэффициенты, определяемые значениямиy1 ,K , y n наблюдаемые значения случайных величин Y1 ,K , Yn , то θ$ jобъясняющих переменных. Поскольку же у насявляется наблюдаемым значением случайной величиныc j1Y1 + c j 2 Y2 +K+ c j n Yn , которую мы также будем обозначатьθ$ :jθ$ j = c j1Y1 + c j 2 Y2 +K+c j n Yn , j = 1,K , p.Ранее мы выяснили, что при наших предположенияхYi ∼ N (θ 1 xi1 +K+θ p xip , σ 2 ), i = 1,K , n.Поэтому случайные величины θ$ 1 , K , θ$ p также будутнормальными как линейные комбинации независимыхнормально распределенных случайных величин.Можно показать, что математическое ожидание случайнойвеличины θ$ j равно( )=θE θ$jj, j = 1,K , p,( θ$ j является несмещенной оценкой истинного значениякоэффициентаθ j ), а дисперсия этой случайной величиныравна j -му диагональному элементу матрицы σ 2 ( X T X ) −1 :D θ$ = σ 2 ( X T X ) −1 .( ) [j]jj29Рассмотренная ранее модель простой линейной регрессииyi = α + β xi + ε i , i = 1,K , n,вкладывается в модель множественной линейнойрегрессии с p = 2 :ε 1  1 x1 1xαε22, θ =X =, ε =.M M M β ε 1 xn  n Матрица ( X T X ) −1 имеет вид y1  y2y= , M  yn  n 2 ∑ xi−11T i =1nX X=2nn n∑ xi2 −  ∑ xi   − ∑ xii =1 i =1 i =1Учитывая, что(n− ∑ xi i =1.n )2 n n∑ x −  ∑ xi  = n i =1 i =1находим:nn∑(x2i− x) ,2ii =1n[D(α$ ) = σ 2 ( X T X ) −1]11σ 2 ∑ xi2i =1=nn∑(xi =1() [D β$ = σ 2 ( X T X ) −1]22=− x)σ2n∑(xi =130ii− x).2,22.5.

НОРМАЛЬНАЯ МНОЖЕСТВЕННАЯ РЕГРЕССИЯ:ДОВЕРИТЕЛЬНЫЕ ИНТЕРВАЛЫДЛЯ КОЭФФИЦИЕНТОВРассматриваянормальнуюмодельлинейноймножественной регрессииyi = θ 1 xi1 +K+θ p xip + ε i , i = 1,K , n,с εi()∼ i. i. d. N 0, σ 2 , мы установили, что оценканаименьших квадратов θ$jнеизвестного истинного значенияθ j коэффициента при j — ой объясняющей переменнойимеет нормальное распределение, причемE θ$ j = θ j , D θ$ j = σ 2 ( X T X ) −1 , j = 1,K , n .jj( )( ) []Рассмотрим теперь случайную величинуθ$ j − θ j,$Dθ j( )получаемую путем вычитания из случайной величины θ$jее математического ожидания и деления полученной разностина корень из дисперсии θ$ j (т.

е. путем центрирования инормирования случайной величины θ$ ). При совершенииjэтих двух действий мы не выходим из семейства нормальныхслучайных величин, получая опять же нормальную случайнуювеличину, но только уже с другими математическиможиданием и дисперсией. Используя упомянутые ранеесвойства математического ожидания и дисперсии, находим:$θ j −θ j E= D θ$ j ( )1D θ$( )( E (θ$j) −θj)=0,j$θ j −θ j 1DD θ$ j − θ j = 1 ,= D θ$ j  D θ$ jтак чтоθ$ j − θ j∼ N (0,1) , j = 1,K , p .$Dθ j( )( )()( )Иными словами, внормирования случайнойрезультате центрирования ивеличины θ$ j мы получилислучайную величину, имеющую стандартное нормальноераспределение, т. е.

нормальное распределение с нулевымматематическим ожиданием и единичной дисперсией.Функцию распределения и функцию плотности распределениятакой случайной величины обозначают, соответственно, какΦ( x ) и ϕ ( x ) :zzp1 − z2 21 −t 2 2ϕ ( z) =e, Φ( z) = ∫edt .2π−∞ 2πДля каждого значения p, 0 < p < 1 , определим символомчисло, для которого Φ( z p ) = p , так что если случайнаявеличина Z имеет стандартное нормальное распределение, тотогдаP Z ≤ zp = p .{}Такое число называется квантилью уровня p стандартногонормального распределения.41-pzpЗаштрихованная площадь под графиком плотностистандартного нормального распределения находится правееквантили z p уровня 0.95 ;эта квантиль равна z 0.95 = 1.645 . Поэтому площадь подкривой, лежащая левее точки z = 1.645 , равна 0.95 , азаштрихованная площадь равна 1 − 0.95 = 0.05 .

Последняявеличина есть вероятность того,что случайная величина Z ,имеющая стандартное нормальное распределение, приметзначение, превышающее 1645..Если мы возьмем какое-нибудь число α в пределах от 0.5до 1 , 0.5 < α < 1 , и выделим интервал(− z1− α2), z1− α ,2то получим следующую картину:51− ααα22−z1− α2z1− α2Изсимметрии функции плотности нормальногораспределения вытекает равенство площадей областей,заштрихованных на последнем рисунке.

Характеристики

Список файлов книги