XVII Математическая статистика (1081432), страница 36
Текст из файла (страница 36)
7.4. Функция 7"(х) нам не известна, известны лишь значения отклика 1л, ..., у„, полученные в эксперименте при значениях факторов хм ..., х„ (на рис. 7.4 точки (х;, у;), 1 = 1, в, отмечены „крестиками"). Рне. 7.4 Неизвестную функцию Дх) на основании характера расположения экспериментальных точек (они визуально расположены вдоль прямой) естественно аппроксимировать линейной функцией ~,(х;Д = ~3е+Ах. Отклонения е; = у; — Де+Ах ), 1= 1,в, ординат экспериментальных точек (х;, у;) от любой прямой ~ (х;,6) =,3е+ Дх называют неелзками.
В общем случае для линейной регрессионной модели (7.6) б; = у; — ~~) бьюик(х;), 1= 1, п, и невязку б; можно рассматривать как реализацию случайной ошибки я; = с(х;), 1= 1, и. Согласно методу наименьших квадратов, оценку ~3(У„) = =()3е(У„) ... )3 1(У„)) вектора параметров ~3=(0е ... ф 1) выбирают так, чтобы сумма квадратов невязок б; была мини- Хг М Д ЛР 297 мальной, т.е. х в ш-1 Ь(О) = ~~ б,". = у (у; — ~~> 73ьфь(х*)) -+ ш1п, 1=1 я=о или, что то же самое, Ь(Д = б б = (У - ГЯ (У вЂ” Г~3) = Ь(ф) -+ ппп, где б = (бм ..., б„) — вектор невязок.
Необходимым условием экстремума функции Ьф) перемен- ных 13о, 13м ..., Р 1 (а, следовательно, и условием существова- ния МНК-оценки параметра 13), как известно, является равен- ство нулю ее частных производных (Ч), т.е. ~а-1 — =-2 ~1 ф„(х')(д; — ~4ь(х')73 » ~=О, г =О, т — 1. 1=1 я=о Эту систему можно представить, используя матричную запись -2Г (У вЂ” Г)3) =О, или Г Г~З=Г У. (7.8) Из геометрических соображений очевидно, что решением системы (7.8) является точка минимума функции Ь(ф), в чем можно убедиться непосредственно, воспользовавшись достаточным условием экстремума (Ч]. Систему линейных алгебраических уравнений (7.8) называют системой нормальных уравнений Гаусса.
Она всегда имеет решение (хотя не всегда единственное). Пусть матрица Г Г имеет обратную матрицу (Г Г) 1 (для этого необходимо и достаточно, чтобы ганн Г был равен числу столбцов матрицы Г). Тогда, умножая обе части равенства (7.8) слева на матрицу (Г Г) 1, приходим к формуле (7.7), которал дает единственное решение системы (7.8). Если матрица Г Г не имеет обратной (случай, когда ранг матрицы Г меньше числа гл ее столбцов), то МНК-оценка параметра,9 существует, но не является единственной'. 'См:. Рао С.Р. 298 7.
ОСНОВЫ РЕГРЕССИОННОГО АНАЛИЗА Несмещенность оценки Д(У„), заданной равенством (7.7), и эффективность в классе всех линейных несмещенных оценок непосредственно следуют иэ исходных предположений для метода наименьших квадратов. Действительно, М,В(У„) = М((Р К)-'Г'У) = =(Р'Г)-'Р'МУ=(Р'Р)-'РГ Р=Р, т.е. Р(У„) — несмещенная оценка для,9. Докажем ее эффективность. Пусть И' — произвольная линейная несмещенная оценка для,9.
Тогда иэ равенства М(йУ) =йМУ= йЕЗ=,О получаем йЕ = 1„и Р(И ) =М(И'-йМ1)'=Мй(У-МУ)зй = =йРУй =йп 1й =о йй . Наша задача минимизировать диагональные элементы матт рицы йй, которые с точностью до множителя оз являются дисперсиями оценок параметров Д„й = 9, т-1. Для этого рассмотрим равенство й1, =(М-'Р )(М-'Р ) +(й-М-'К )(й-М-'Р' )', в спранедливости которого можно убедиться непосредственно, перемножив матрицы в праной его части с учетом рат венств йГ = 1„и М = Г Р'. Поскольку диагональные элементы т матрицы вида АА являются неотрицательными, то можно утверждать, что диагональные элементы матрицы йй будут минимальными, если й = М ~г', т.е. оценка ф(У„) является эффективной в классе всех линейных оценок.
299 7.2. Метод иаимеиыпих квадратов Итак, по теореме 7.1 МНК-оценки являются наилучшими в указанном выше смысле в классе линейных оценок. Тем самым равенство (7.5) определяет наилучшую модель реерессии для выбранных базисных функций и значений Д, й = О, т — 1, найденных по методу наименьших квадратов, которую будем записывать (обозначив у,(х) = д(х)) в виде (7.9) Случайную величину У(х) = ~~> Д(У„)фь(х) будем называть оценкой среднезо значени,а отпклика У.
Согласно (7.9), можно определить оценки У; = У(х') среднего значения отклика (условного математического ожидания отклика) в каждой точке х' факторного пространства: У;= ~Д(У„)фь(х'), 1=1,п. ь=о т При этом, если ввести матприцу У = (У1, ..., Уи) оценок среднеео значени,а отпклика, то 1' = ~'Р(Уи). Замечание 7.2. В ряде случаев интерес представляют не сами параметры Д>, Д, ...,,9 1 в линейной регрессионной модели (7.6), а их некоторые линейные комбинации, т.е. новый вектор параметров а = (ое, о1, ..., о 1), д < тп, связанный с вектором ~3 = (,9е, ...,,8 1) соотношением а = А~3, где А— некоторая матрица типа д х т. зоо И ОСНОВЫ РЕГРЕССИОННОГО АНАЛИЗА Для вектора а МНК-оценка о(У„) определяется равенством (7.11) о(У ) = А11(У„), где 13(У„) — МНК-оценка для ~3. Укажем теперь правило определения ковариационной матрицы Еф МНК-оценки ф(У„) вектора параметров ф.
Это правило будет вытекать как частный случай из следующей теоремы. ,т 1 т (7.12) где а'з — дисперсия отклика. м Согласно (7.7) и (7.6), имеем Ж) = (Р' ~Г'й' (~Р+ ") = Отсюда для оценки о(У„) = Аф(У„) параметра о = А,О имеем представление оз(У„)=А,О(У„)=А,9+А(Г Р) р' е= =о+А(Г Г) ~Г е, (7АЗ) из которого вытекает несмещенность оценки а(У„), так как, согласно исходным предположениям метода наименьших квад- Теорема 7.2. ПустЫ9 — т-мерный вектор-столбец линейной регрессионной модели (7.6), А — произвольная матрица типа ох т, где 1 < д < т, а матрица Г выявляется обратимой (т.е.
бес(г г) ф 0). Тогда для вектора о = Аф МНК-оценка а(У„), определяемая равенством (7.11), является несмещенной оценкой с матрицей ковариаций ЗО1 72.Методваииеньшихкввдратов ратов, Ме=О и, следовательно, Моо(У„) =о+А(Р Р) ~Р Ме= о. Далее, матрица ковариаций вектора МНК-оценок о(У„) в силу несмещениости оценки о имеет вид Используя представление (7.13), преобразуем выражение для ЕЯ следующим образом: Е(оо) =М((А(Р Р) ~Р е)(А(Р Р) ~Р ~~ ) = =М(А(Р Р) ~Р ее Р(Г Р) зА ) = =А(Р Р) ~Р М(ее )Р(Р Р) ~А . Е(а) А(РТР) 1Рт1 2Р(РТР) 1Ат аА(Р Р)-~(Р Р)(Р Р) ~А азА(Р Р) ~'А что и доказывает представление (7.12).
~ Следствие 7.1. Если А = 1, т.е. о = А,9 = ~3, то Е(Д = о~С, (7.14) где С = (Р Р) ~ — дисперсиоииал матпри ца Фишера. Следствие 7.2, Дисперсия оценки У(х) среднего значения отклика в произвольной точке х факторного пространства Х" (При переходе к правой части мы воспользовались правилом траиспонирования произведения матриц (АВ) = В А [11Ц и симметричностью матрицы (Р Р) ~.) Если теперь учесть, что, согласно исходным предположениям метода наименьших квадратов, М(е е) = 1„от, то ЗО2 7.
ОСНОВЫ РЕГРЕССИОННОГО АНАЛИЗА определяется по формуле ВУ(х) =о~4~ (х)Сф(х), (7.15) где ч3 (х) = (4п(х), ..., 1(ь, 1(х)). м Действительно, согласно (7.9) и (7.14), имеем И У(х) = Р(ч' (х)Р(У~)) = = М(4 (х)(д(У„) —,0)(33(У ) — 33) ~Щ) = = Ю'(х) М((33(У„) — Д) д(У„) — р)') ~(х) = =4> (х)Еф)4(х) =о~ь|~ (х)Сю~(х). е с = (У вЂ” Г13(У„)) (У вЂ” Е33(У„)), (7.16) где е = У вЂ” Р)3(У„) — случайный вектор, а ~3(У„) — МНК-оцен- ка вектора параметров 33 линейной регрессионной модели (7.6), называют остапючной суммой кеадратпое.
Теорема 7.3. Если выполнены исходные предположения метода наименьших квадратов и ранг матрицы базисных функций Г типа п х щ равен ш, то несмещенная оценка для осяпаяпочмой дисперсно оз определяется по формуле Я (У„) = — (У вЂ” Р'13(У„)) (У вЂ” Г33(У„)), (7.17) где,8(У„) — МНК-оценка вектора параметров 33 линейное регрессионной модели (7.6). Формулы (7.14) и (7.15) содержат неизвестный параметр оз — дисперсию отклика У. Поэтому требуется правило определения оценки параметра о~. Такое правило устанавливает следующая теорема Однако прежде чем формулировать теорему, отметим, что случайную величину ЗОЗ 7.2. Метод яаимекыиих квадратов ~ Из равенства (7.6) и предположений о случайной составляю- щей модели следует: М((У вЂ” РД (У вЂ” РЯ) =М(с е) = в в = М ~~с;) = ~~1,33л; = тит~.
(7.18) Рассмотрим равенства (У вЂ” Г~3) (У вЂ” Р,3) = =( — Ы)+ Ы>-~~)'~ — =.)+ У(; -4= =(У- ЧАИ'(У-РАУ:))+(Р(Ж)-Ф)) М(У.)-й+ +(У- д(У-))'пд(У.) -й+(Г(р(У-) -й)'(У- И-)). Поскольку ~3(У„) — МНК-оценка вектора параметров ~3, то, согласно (7 7), ф(У„) = (Г Г) 1Г У, и, как следствие, имеем (Г(Р(У ) — Р)) (У - Ю(У )) = = Р(У„) -Р)'Г'(У-Г(Р Г)-1Г'У) = = ()3(У„) — Я (Р У вЂ” Р Р(Г Г) 1Г У) = О и, кроме того, (У РД(У )) Р(ф,В(У )) — ((Р(ф(У ) Д) (У Рф(У ))) — О Таким образом, (У- Рй'(У- Г~3) — (Г(6(У.) - Р))'Р(Р(У-) - Ф) = = (У- К)(У„)) (У- Р(3(У„)).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
