Г.Е. Маркелов - Регрессионные модели

Московский государственный технический университетимени Н.Э. БауманаФакультет «Фундаментальные науки»Кафедра «Прикладная математика»Г. Е. МаркеловРЕГРЕССИОННЫЕ МОДЕЛИМетодические указанияк выполнению домашнего заданияМоскваМГТУ им. Н.Э. Баумана2014УДК 519.2ББК 22.172М 26Рецензент Н.М. МеженнаяМаркелов Г.Е.М 26 Регрессионные модели [Электронный ресурс] : метод.указания к выполнению домашнего задания.

М. :МГТУ им. Н.Э. Баумана, 2014. 1 электрон. опт. диск(CD-ROM).В методических указаниях изложены подходы к решениюодной из задач математической статистики — задачи построениялинейной регрессионной модели по экспериментальным данным.Для студентов высших технических учебных заведений, аспирантов, инженерно-технических и научных работников.Рекомендовано Учебно-методической комиссиейНУК «Фундаментальные науки» МГТУ им. Н.Э. Баумана.УДК 519.2ББК 22.172© Маркелов Г.Е., 2014© МГТУ им. Н.Э. Баумана, 2014ВВЕДЕНИЕПри решении многих практически важных задач в различных областях человеческой деятельности часто возникаетнеобходимость построения математической модели объектаисследования.

Под объектом исследования понимают носитель свойств и качеств, подлежащих изучению. В техникеобъектом исследования может быть конкретное техническоеустройство, его агрегат или узел, система технических устройств, процесс, явление или отдельная ситуация в какомлибо техническом устройстве или в системе таких устройств.Иногда объект исследования можно условно представитьв виде схемы (рис. 1), которая содержит определенное количество входов и выходов.

При этом выделяют входные контролируемые (или измеряемые) переменные x1, x2, ..., xn;входные неконтролируемые (или неизмеряемые) переменныеe1, e2, ..., es и выходные показатели y1, y2, ..., ym — характеристики исследуемых свойств и качеств объекта.34e1, e2, …, es2x1 ,x2 ,…,xny1 ,y2 ,…,ym1Рис. 1. Структурная схема объекта исследования: 1 — объектисследования; 2 — входные контролируемые переменные; 3 — входные неконтролируемые переменные; 4 — выходные показатели—————————————(Оглавление)—————————————Маркелов Г.Е. «Регрессионные модели»3Переменные x1, x2, ..., xn принято называть факторами.Пространство контролируемых переменных образует факторное пространство.Влияние переменных e1, e2, ..., es на выходные показателиможет быть двояким. Если мысленно представить себе, чтозначения параметров x1, x2, ..., xn фиксированы, то под влиянием переменных e1, e2, ..., es выходные показатели могутизменяться закономерным или практически непредсказуемым, случайным образом.

Так, например, ошибки измерительных приборов, методов анализа могут привести к изменению выходных показателей, причем такое изменение подчиняется некоторому закону, а под влиянием случайных явлений, происходящих в окружающей среде, выходные показатели могут изменяться случайным образом.В большинстве случаев структурную схему объекта исследования можно представить в виде, изображенном нарис.

2, где влияние переменных e1, e2, ..., es заменено случайной величиной e, являющейся приведенной аддитивной составляющей выходного показателя y. При этом выходной показатель y называют откликом.234ex1 ,x2 ,…,xny1Рис. 2. Структурная схема объекта исследования: 1 — объектисследования; 2 — входные контролируемые параметры; 3 — случайная величина; 4 — выходной показатель—————————————(Оглавление)—————————————Маркелов Г.Е. «Регрессионные модели»4Одной из важнейших задач математической статистикиявляется нахождение взаимосвязи между факторами и откликом при наличии входных неконтролируемых параметров.

Например, зависимость между факторами и откликомможно представить в видеy ( x1 , x2 , ..., xn ) = β0 F0 ( x1 , x2 , ..., xn ) + β1 F1 ( x1 , x2 , ..., xn ) ++β2 F2 ( x1 , x2 , ..., xn ) + ... + βd Fd ( x1 , x2 , ..., xn ) + e , (1)где β0, β1, ..., βd — коэффициенты регрессии; F0, F1, ..., Fd —линейно независимые базисные функции; e — случайная величина.1. ПОСТАНОВКА ЗАДАЧИ РЕГРЕССИОННОГОАНАЛИЗАОсновное назначение регрессионного анализа — получение по экспериментальным данным регрессионных моделей.

Далее ограничимся рассмотрением только регрессионных моделей вида (1), т. е. моделей линейных по параметрамβ0, β1, ..., βd.Система базисных функций выбирается обычно исходяиз априорной информации о характере зависимостиy ( x1 , x2 , … , xn ) и обеспечения простоты проведения расчетов. В качестве базисных функций обычно используют тригонометрические функции, системы ортогональных полиномов и др.

В настоящее время чаще всего применяют полиномиальные регрессионные модели.В регрессионном анализе считают, что вид модели (1)известен полностью. Однако такая ситуация, когда заранееможно указать форму регрессионной модели, полностью соответствующей объекту исследования, встречается весьмаредко. Поэтому проводят постепенное усложнение модели.—————————————(Оглавление)—————————————Маркелов Г.Е. «Регрессионные модели»5Например, в случае полиномиальной регрессионной моделиповышают степень многочлена, начиная с линейной регрессионной моделиy ( x1 , x2 , ..., xn ) = β0 + β1 x1 + β2 x2 + ... + βn xn + e ,(2)где β0, β1, ..., βn — коэффициенты регрессии; 1, x1, ..., xn —базисные функции (F0 = 1, F1 = x1, ..., Fn = xn); e — случайнаявеличина.Классический регрессионный анализ может быть применен при выполнении следующих условий.1.

Случайная величина e подчиняется нормальному закону, т. е. e ∼ N ( 0, σe ) .2. При различных наблюдениях случайные величины некоррелированы. На практике полагают, что для обеспеченияданного требования достаточно использовать рандомизацию.3. Вклад, вносимый случайными ошибками измерения вдисперсию σe2 случайной величины e, должен быть пренебрежимо мал.4. Векторы(f1j, f 2 j , ..., f Nj ) , j = 0, …, d,являются линейно независимыми, где fij — значение j-й базисной функции Fj в i-м опыте. Это условие ограничиваетобщее число коэффициентов, входящих в регрессионнуюмодель, т.

е. d + 1 ≤ N , где d + 1 — число базисных функций;N — число опытов.Регрессионный анализ включает в себя:• определение точечных оценок неизвестных коэффициентов регрессии и дисперсии случайной величины e;• статистический анализ полученных результатов, т. е. выявление значимых коэффициентов регрессии, проверкуадекватности и работоспособности регрессионной модели.—————————————(Оглавление)—————————————Маркелов Г.Е. «Регрессионные модели»62.

ОЦЕНКА НЕИЗВЕСТНЫХ ПАРАМЕТРОВРЕГРЕССИОННОЙ МОДЕЛИ2.1. Точечная оценка коэффициентов регрессииИсходным материалом для получения точечных оценокпараметров регрессионной модели (1) являются матрица X иматрица-столбец отклика Y:⎛ x11⎜xX = ⎜ 21⎜ ...⎜⎝ xN 1x12x22...xN 2............⎛ y1⎜yY =⎜ 2⎜ ...⎜⎝ yNx1n ⎞⎟x2 n ⎟,... ⎟⎟x Nn ⎠⎞⎟⎟,⎟⎟⎠где xij — значение j-го фактора в i-м опыте; yi — значениеотклика в i-м опыте. Численные значения всех базисныхфункций могут быть представлены в матричной форме следующим образом:⎛⎜F =⎜⎜⎜⎝f10f 20...f11f 21...fN 0f N1............⎞⎟⎟,⎟⎟f Nd ⎠f1df2d...где f ij = Fj ( xi1 , xi 2 , ..., xin ) — значение j-й базисной функциив i-м опыте.Для определения точечных оценок неизвестных коэффициентов регрессии могут быть использованы различные методы.

Наиболее часто применяют метод наименьших квадратов (МНК).Согласно МНК наилучшими оценками коэффициентоврегрессии считают такие значения переменных z0, z1, ..., zd,при которых достигает минимума сумма квадратов отклоне—————————————(Оглавление)—————————————Маркелов Г.Е. «Регрессионные модели»7ний значений отклика yi, от значений yi , полученных с помощью зависимостиyi = z0 fi 0 + z1 fi1 + ... + zd fid ,т. е.

наилучшие оценки определяются из условия минимумафункцииNNQ = ∑ [ yi − yi ] = ∑ ⎡⎣ yi − ( z0 f i 0 + z1 f i1 + ... + zd f id ) ⎤⎦ .2i =12i =1Если функция Q ( z0 , z1 , ..., zd ) имеет локальный минимумпри z0 = b0 , z1 = b1 , …, z d = bd , то справедливы равенства∂Q( b0 , b1, ..., bd ) = 0 , k = 0, …, d.∂ zk(3)Учитывая, чтоN∂Q( b0 , b1, ..., bd ) = −2∑ ( yi − b0 fi 0 − b1 fi1 − ... − bd f id ) fik ,∂ zki =1преобразуем (3) к видуNd∑∑ fi =1 j = 0Nikf ij b j = ∑ f ik y i .(4)i =1Тогда, решая полученную систему линейных алгебраических уравнений, можно определить искомые точечныеоценки b0, b1, ..., bd, при которых функция Q ( z0 , z1 , ..., z d )достигает своего минимума.Систему (4) называют системой нормальных уравненийи ее можно представить в матричной форме(F F ) BT= F TY ,(5)где B = ( b 0 b1 ...

b d ) . Матрица F T F — симметрическая матрица порядка d + 1 . Если выполняется условие 4 регрессионT—————————————(Оглавление)—————————————Маркелов Г.Е. «Регрессионные модели»8ного анализа, то эта матрица является невырожденной. Тогдарешение уравнения (5) можно записать в видеB = C ( F TY ) ,(6)где C = ( F T F ) .−1Пример 1.

Исполнительный механизм движется поступательно с постоянной скоростью. Результаты измеренияприращения координаты центра масс механизма за время tприведены в табл. 1. Очевидно, что регрессионная модельимеет видs = βt + e ,где s — приращение координаты за время t; e — случайнаявеличина. Требуется найти оценку неизвестного коэффициента регрессии β.Таблица 1Значения s(t)№ опыта12345t, с1020304050s, м0,1030,1830,3090,4220,487Для рассматриваемой регрессионной модели F0 = t, следовательно, система нормальных уравнений (4) в этом случаеимеет видN∑bti =12iN= ∑ si ti ,i =1где ti — значение параметра t в i-м опыте; si — значение отклика в i-м опыте.

Это позволяет записать формулу для определения оценки неизвестного коэффициента регрессии:—————————————(Оглавление)—————————————Маркелов Г.Е. «Регрессионные модели»9Nb = ∑ si tii =1N∑ti =12i.Тогда, используя данные табл. 1, имеемb=10 ⋅ 0,103 + 20 ⋅ 0,183 + 30 ⋅ 0,309 + 40 ⋅ 0, 422 + 50 ⋅ 0, 487 м=с102 + 202 + 302 + 402 + 50255,19 м== 0,01 м/с.5500 с2.2. Точечная оценка дисперсииКроме точечных оценок bi параметров βi необходимаоценка дисперсии σe2 случайной величины e.Если N > d + 1 и заранее известно, что модель адекватнаобъекту исследования, то единственной причиной различиямежду значением выходного параметра и значением, предсказанным с помощью регрессии, является случайная величина e. Тогда в качестве точечной оценки дисперсии σe2можно использовать точечную оценку остаточной дисперсии2Sост=1νeN∑( yi =1− yi ) ,2i(7)2где νe = N − d − 1 — число степеней свободы Sост; yi — значение, предсказанное с помощью зависимостиyi = b0 f i 0 + b1 f i1 + ...