XVII Математическая статистика (1081432), страница 37
Текст из файла (страница 37)
(7.1О) ЗО4 7. ОСНОВЫ РЕГРЕССИОННОГО АНАЛИЗА Воспользовавшись свойствами следа матриц и следствием 7.1, получим М((ГР(У„)-Р)) КфУ„)-Д) = =М(Р(У„) -Р) (К .Р)(Р(У„) -Д) = = М~сг((Г'Г) р(у„) — р)(р(У„) — р)')) = = (( л ((Ж)-ФФФ-)-4'))= =Гг((Г Г)ЕфУ„))) =Фг((Г Г)(Г г) ~п2) = =о Фг7 =то . Таким образом, согласно (7.17)-(7.19), имеем 2 2 М(у р~(у )т(у рЗ(у ))) откуда о = — М((У вЂ” гф(У„)) (У вЂ” г~3(У„)).
Следовательно, — (У- Р'Ю)) (У-ГАУ)) является несмещенной оценкой для п2. ~ Замечание 7.3. а. Оценка 52 остаточной дисперсии а2 представляет собоЙ отношение остаточной суммы квадратов -те е, отнесенное к числу степеней свободы и — т, где п — количестно наблюдений У = (Уы ..., У„), представленных матрицей отклика У, а гп — число оцениваемых параметров, представленных вектором р". Таким образом, 52 — доля остаточной суммы квадратов линейной регрессионной модели (7.6), приходящаяся 305 7.2. Метод вввневьшвк квадратов на одну „степень свободы". Фактически число степеней свободы равно объему случайной выборки за вычетом числа независимых линейных сияэей, наложенных на выборочные значения.
б. Формула (7.17) верна лишь в том случае, если есть основалия считать, что выбранная линейнзл регрессионная модель (7.6) является верной, т.е. МУ = РК В противном случае в остаточную сумму квадратов кроме случайных ошибок входят н систематические, а потому она может давать завышенную оценку для оэ. в. Полезно обратить внимание на сходство результата (7.17) с несмещенной оценкой Яз(У„) дисперсии случайной величины У по наблюдениям У„, которая имеет вид в ~2(У ) ~ч~~(У У)2 ьм Здесь также сумма квадратов отклонений У; от У делится на число степеней свободы и — 1, так как неизвестный параметр МУ = р заменен его оценкой У, т.е. на экспериментальные данные наложена одна линейная связь. 41 При решении реальных задач, связанных с практическим использованием регрессионных моделей, необходимо проверять выполнение исходных предположений для метода наименьших квадратов, т.е.проводить статистический анализ регрессионной модели (см.
7.3). Проиллюстрируем процедуру построения регрессионной модели на частных примерах, имеющих и самостоятельный интерес. Пример Т.З. Рассмотрим случай простпой линейной регрессии, когда отклик У зависит от одного фактора Х (т.е. р = 1) н в качестве приближения искомой функции регрессии выбрана функция у (х) =До+Дх. 306 7. ОСНОВЫ РЕГРЕССИОННОГО АНАЛИЗА Эту функцию получают ыз общей модели (7.2) пры ~о(х) = 1, 4з1(х) = х, т.е. размерность вектора Х равна р = 1, а число параметров т = 2. Роль фактора Х могут играть время (ыногда часто вместо х пышут 1), температура, доза лечебного препарата ы т.д.
Задача состоит в изучении связи между откликом У ы фактором Х на основания выборкы (х', у1), 1= 1, п, полученной в результате эксперимента (вместо х' далее будем писать х;, так как х— скаляр). Для конкретности будем считать, что Х вЂ” это скорость движения автомобиля (в км/ч), а У вЂ” тормозной путь (в м) по скользкой дороге до полной его остановки, ы по результатам и = 17 замеров Х ы У получены данные, представленные в табл. 7.1. Таблица 7.1 Найдем значения оценок параметров ~Зо и 111, дисперсии отклика и дисперсыи среднего значения отклыка, а также дадим прогноз для длины тормозного пути пры скорости хо = = 120 хм/ч. В рассматриваемом примере матрицы У ы Е имеют вид =(") Следовательно, и ,'1х; зю1 зз и ~х1 2 х7 г У= з=1 зю1 зж1 307 7.2.
зиетод наомееыинх квадратов Далее случайные векторы и их реализации будем обозначать одинаково: из текста всегда ясно, о чем идет речь. т Поскольку х; — различные числа, то матрица М = Р Г обратима, причем зв и з и 1 и в1еФМ=п~~ х~ — (~> х;) =п~) (х,-х1 з х=- Сх;. зеп вип з=1 С помощью присоединенной матрицы находим Ехй — Ех; зип вш1 и — 2 х; п з=с М 1=(К г') ~, поформуле(7.7) 1 М '=— де1 М Используя обратную матрицу получаем 2 ; х~(~; у;) — 2 ', хф х;у;) з — 2,х;();у)+п2 х,у; откуда яз- у ~ (~ .
) зв и 7 и п2,х;у; — 2;х;Д,у) в=1 ви1 ви1 п~ х( — (),х;) зеп ви1 п2;х( — ();х;) а=1 ввз1 Ю.щ А= —, в и Я =~~ (х;-х)', ви1 9 т —— ~ (х; — х)(у; — у). ~Зо = у - 111х, (7.20) в=1 Из последних двух равенств с помощью простых преобразова- ний получаем 308 7. ОСНОВЫ РЕГРЕССИОННОГО АНАЛИЗА Из равенств (7.20) видно, что оценки Ро(У„) и Р1(У„) связаны линейной зависимостью.
Поскольку Я „/и = К „является значением оценки ковариации Я „(Х„,У )/и= К „(Х„,У„) фактора и отклика, аЯ /и= = йг — значением оценки дисперсии фактора, то для значения 111 оценки параметра Д1 справедливо и такое представление: Кя ро оя Уг = "' =г -г и и. где р — значение оценки козффициента корреляции р между фактором н откликом. Таким образом, найдена модель простой регрессии у(х) = До+ Д *, где До и 111 определены по формулам (7.20). Для данных из табл. 7.1 имеем о=17. Далее находим 9 6557, Ь)я ~ 250,8, Я,„ъ 1271,5. По формулам (7 20) вычисляем значения оценок 13о и Д1: А = 1271 5/6557 0 194 До = 5 95 — 0,194 ° 55,76 и -4,87. Следовательно, прогнозируемое значение р при х = хо = 120 равно у(120) = -4,87+ 0,194.
120 = Найдем точность оценок До(У„), юг(У„) формулу (7.14), получаем 18,4. и У(х). Используя Е(р) =о~М ' =— деФМ где йеСМ = н~~) (х; — х)~. Пг Метод наименьших кондратов Таким образом, пгкхг худо(У») = и Е(х; — х)г ,г РА(У»)= „ ); (х; — х)г В'(!1 У ) = ~~(Ро(У ),!У~(У )) =— Е(х! - х)г По формуле (7.15) находим 1ЭУ(х): ' ()= = пг — + .
(7.21) ,'> (х; — х)г ,г РУ(х) = „(1 х) и Е(х; — х)г а=! г=! В точке прогноза х = хо = 120 и РУ(хо) =о~~-+ ' ) =0,69ог. г/1 (120 — 55,76)г ! ~п 6557 Яи — — — ~~! (у; — у(х;)) — — . 4,2 = 0,28 г 1 - г 1 п — 2. ' ' 15 г=! и заменяем пг на яиг во всех предыдущих равенствах, где присутствует ог. Считая оценку У(х) нормально распределенной с математическим ожиданием МУ(х) = 7(х) и дисперсией РУ(х), вычисленной по формуле (7.21), можно по правилу „3<т" указать Наконец, по формуле (7.17) находим значение Яиг оценки дис- персии отклика: 310 7.
ОСНОВЫ РЕГРЕССИОННОГО АНАЛИЗА интервал возможных значений для У в точке х = хо = 120, учитывая, что а м Я„= 0,53: (у(хо) — Зо„, у(хо)+ЗНя) = (18,4-16; 18,4+ 1,6). Донерительный интервал для заданной донерительной нероятности 7 будет построен в 7.3. Пример 7.4 (квадратичная регрессия). Исследуется эффективность системы охлаждения двигателя, работающего непрерывно в течение времени Фо = 60 мин. Измерение температуры Т (в 'С) работающего двигателя проведено с интервалом 5мин в течение 25мин. Результаты снедены в таблицу (табл.
7.2). На рис. 7.5 дано графическое представление этих данных. Считая, что зависимость между переменными 1 (фактор) и Т (отклик) является квадратичной, т.е. Т = а+ 51+ с12, найдем по методу наименьших квадратов значения оценок параметров а, Ь и с. Т Таблица 7.2 60 70 60 60 0 6 10 16 20 26 1 Рас. 7.6 Для удобства вычислений предварительно сделаем линейные преобразования переменных 1 и Т по формулам 1 — 15 х = —, у = 10(Т - 60) и вычислим вначале значения МНК-оценки параметров линейной (по параметрам) модели у =,Во+ Д х +,Озх~. 7.3.
Статистический анализ регрессионной моделя 311 В данном случае базисные функции такие: фр(х): — 1, ф~(х) = х, 31з(х) =хз. Будем искать МНК-оценки не по формуле (7.7), а непосредственно решая систему уравнений (7.8), которая в данном случае имеет вид 513о+ 1013з —— 143, 1013~ = 269, 10~За+ 34Рз = 427. Решение системы таково: 13о = 8,4, 131 = 26,9, 13з — — 10,1. Таким образом, у = 8,4+ 26,9х + 10,1хз и, переходя к исходным переменным 1 н Т, окончательно получаем Я1) = 61,86 — 0,671+ 0,04с~. 7.3.
Статистический анализ регрессионной модели Статистический анализ модели регрессии (7.9), построенной на основе параметриззции искомой функции регрессии 7"(х) в виде (7.2) и на основе МНК-оценок параметров, состоит из следующих трех этапов: — проверка адекватности модели регрессии; — проверка значимости модели регрессии и ее параметров; — анализ точности результатов, полученных с использованием регрессионной модели. Для проведения статистического анализа требуется дополнить исходные предположения метода наименьших кеадраизое еще одним.
Будем считать, что случайные ошибки г;, 4 = 1, и, в модели (7.3) не только независимы, но и распределены по нормальному закону: г< Ж(0, оз), 1 = 1, и, т.е. случайная составляющая Г= (гн ..., го) линейной регрессионной модели (7.6) имеет и-мерныи нормальный закон распределения с нулевым средним значением и ковариационной матрицей оз1„. 312 х основы ркгтссионного лнллизл Это предположение в силу (7.3) эквивалентно тому, что наблюдения У;, 1 = 1, и, являются независимыми нормально распределенными случайными величинами, т.е. У; ° Ф(Ях'),оэ), (7.22) где ~ (ип)= ~~) Д4~я(х'), 1=1,п.
г; = У; — У(з *), 1=1,п, значения которых представляют собой отклонения наблюдае- мых значений у; отклика У от его значений, предсказанных моделью регрессии Таким образом, все сводится к проверке сп~атистической гипотезы о выполнении исходных предположений: случайные величины г;, 1 = 1, о, являются независимыми и г; Ф(О,оз), 1 = 1, и. Критерии проверки указанных гипотез рассмотрены выше (см. Б).
Следует отметить, что, когда каждая случайная величина г; имеет единственную реализацию (нет повторных наблюдений), мы не можем проверить гипотезу о независимости случайных величин г;, 1 = 1, и. Однако, если у исследователя есть основания считать, что случайные величины г;, 1=1, и, независимы и одинаково распределены, можно ограничиться проверкой гипотезы о том, что г;, 1 = 1, и — реализация случайной величины г; распределенной по нормальному закону. Проверку рассматриваемого предположения проводят на основе статистического анализа случайных величин 7.3.
Статистический анализ регрессионной модели 313 Считая, что исходные предположения метода наименьших квадратов выполнены, перейдем к рассмотрению зтапов статистического анализа регрессионной модели. Проверка адекватности построенной модели регрессии. Лиееебмую реерессиоесную модель называют едекеееп вой, если предсказанные по ней значения отклика У согласуются с результатами наблюдений. В основе процедуры проверки адекватности модели лежат предположения, что случайные ошибки наблюдений е;, 1'= 1, и, являются независимыми, нормально распределенными случайными величинами с нулевыми средними значениями и одинаковыми дисперсиями стз.
Пусть для каждого или некоторых значений переменного х = (хм ..., хр) имеется несколько (г;, 1 = Т, и)) повторных наблюдений отклика У (т.е. исходные данные представлены матрицей Π— см. (7.1)). Тогдадля проверки адекватности модели можно использовать следующую процедуру. Итак, повторные наблюдения получены при различных значениях х~, ..., х" переменного х, причем в точке х = х прои изведено г; наблюдений ун, ..., у;„,. отклика У, а ) и; = Ф— в=1 объем выборки. Введем обозначение уз = ~~ уб. гз ' 1=1 Если линейны регрессионная модель адекватна, то значения у; должны быть близки к значениям у; = у(х'), е = 1, п.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
