Линейная регрессия
§ 5. Линейная регрессия
Предположим, что зависимость среднего значения фактора У от изменения фактора Х можно описать линейной функцией
.
Т.е., линия регрессии – прямая линия.
Чтобы найти коэффициенты регрессии a и b применим метод наименьших квадратов (МНК).
Составим сумму квадратов отклонений :
Чтобы найти минимум, приравняем нулю частные производные этого выражения по параметрам a и b . Получим нормальную систему для определения коэффициентов:
Рекомендуемые материалы
Вычислим производные и выполним преобразования полученных выражений:
Разделим оба равенства на n:
Это система двух линейных уравнений с двумя неизвестными. Коэффициенты этой системы – это числовые характеристики, подсчитанные для имеющихся исходных данных, данных наблюдений.
Матрица системы:
Найдем коэффициент b из второго уравнения:
Подставим это значение в уравнение линейной регрессии и получим еще одну форму записи этого уравнения
Это так называемая центрированная форма записи уравнения линейной регрессии.
Второй коэффициент a можно получить, используя формулы Крамера.
.
Числитель этой формулы симметричен относительно x и y. Разделим и умножим эту дробь на . Получим:
Здесь введен новый коэффициент, который называется коэффициент корреляции.
В исследовании зависимости между различными показателями он играет огромную роль, он содержит в себе массу информации. Подробнее мы на нем остановимся ниже, а сейчас запишем окончательно уравнение линейной регрессии.
Вместе с этой лекцией читают "4 Русская социологическая мысль".
или
.
Эта форма записи называется: стандартизированное уравнение регрессии.
Совершенно аналогично можно по методу наименьших квадратов построить уравнение регрессии X на Y .
Далее нам предстоит проанализировать построенные уравнения линейной регрессии и постараться и извлечь из полученных формул массу полезной информации.