Работа № 8. Линейный регрессионный анализ

В линейный регрессионный анализ входит широкий круг задач, связанных с построением (восстановлением) зависимостей между группами числовых переменных

X º (x₁ , ..., x_p) и Y = (y₁ ,..., y_m).

Предполагается, что Х - независимые переменные (факторы, объясняющие переменные) влияют на значения Y - зависимых переменных (откликов, объясняемых переменных). По имеющимся эмпирическим данным (X_i , Y_i), i = 1, ..., n требуется построить функцию f (X), которая приближенно описывала бы изменение Y при изменении X:

Y » f (X).

Предполагается, что множество допустимых функций, из которого подбирается f (X), является параметрическим:

f (X) = f (X, q),

где q - неизвестный параметр (вообще говоря, многомерный). При построении f (X) будем считать, что

Y = f (X, q) + e, (1)

где первое слагаемое - закономерное изменение Y от X, а второе - e - случайная составляющая с нулевым средним; f (X, q) является условным математическим ожиданием Y при условии известного X и называется регрессией Y по X.

1. Простая линейная регрессия

Пусть X и Y одномерные величины; обозначим их x и y, а функция f(x, q) имеет вид f (x, q) = A + bx, где q = (A, b). Относительно имеющихся наблюдений (x_i , y_i), i = 1, ..., n, полагаем, что

y_i = A + bx_i + e_i , (2)

где e₁ , ..., e_n - независимые (ненаблюдаемые) одинаково распределенные случайные величины. Можно различными методами подбирать “лучшую” прямую линию. Широко используется метод наименьших квадратов. Построим оценку параметра q = (A, b) так, чтобы величины

e_i = y_i - f (x_i, q) = y_i - A - bx_i ,

называемые остатками, были как можно меньше, а именно, чтобы сумма их квадратов была минимальной:

= min по (A, b) (3)

Чтобы упростить формулы, положим в (2) x_i = x_i - ; получим:

y_i = a + b (x_i - ) + e_i , i = 1, ..., n, (3)

где = , a = A + b . Сумму минимизируем по (a,b), приравнивая нулю производные по a и b; получим систему линейных уравнений относительно a и b. Ее решение ( ) легко находится:

, где , (4)

. (5)

Свойства оценок. Нетрудно показать, что если Me_i = 0, De_i = s² , то

1) M = а, М = b, т.е. оценки несмещенные;

2) D = s² / n, D = s² / ;

3) cov ( ) = 0;

если дополнительно предположить нормальность распределения e_i , то

4) оценки и нормально распределены и независимы;

5) остаточная сумма квадратов

Q² = (6)

независима от ( , ), а Q² / s² распределена по закону хи-квадрат с n-2 степенями свободы.

Оценка для s² и доверительные интервалы. Свойство 5) дает возможность несмещенно оценивать неизвестный параметр s² величиной

s² = Q² / (n-2). (7)

Поскольку s² независима от и , отношения

и , где ,

имеют распределение Стьюдента с (n-2) степенями свободы, и потому доверительные интервалы для a и b таковы:

, , (8)

где t_p - квантиль уровня (1 + P_Д) / 2 распределения Cтьюдента с n - 2 степенями свободы, P_Д - коэффициент доверия.

Проверка гипотезы о коэффициенте наклона. Обычно возникает вопрос: может быть, y не зависит от х, т.е. b = 0, и изменчивость y обусловлена только случайными составляющими e_i ? Проверим гипотезу Н: b = 0. Если 0 не входит в доверительный интервал (8) для b, т.е.

, (9)

то гипотезу Н следует отклонить; уровень значимости при этом a = 1 - P_Д.

Другой способ (в данном случае эквивалентный (9)) проверки гипотезы Н состоит в вычислении статистики

F = , (10)

распределенной, если Н верна, по закону F (1, n - 2) Фишера с числом степеней свободы 1 и n - 2. Если

F > F_1-a , (11)

где F_1-a - квантиль уровня 1 - a распределения F (1, n - 2), то гипотеза Н отклоняется с уровнем значимости a.

Вариация зависимой переменной и коэффициент детерминации. Рассмотрим вариацию (разброс) T_ss (total sum of square) значений y_i относительно среднего значения

T_ss = .

Обозначим предсказанные с помощью функции регрессии значения y_i: . Сумма R_ss (regression sum of square)

R_ss =

означает величину разброса, которая обусловлена регрессией (ненулевым значением наклона ). Сумма E_ss (error sum of squares)

E_ss =

означает разброс за счет случайных отклонений от функции регрессии. Оказывается,

T_ss = R_ss + E_ss ,

т.е. полный разброс равен сумме разбросов за счет регрессии и за счет случайных отклонений. Величина R_ss / T_ss - это доля вариации значений y_i , обусловленной регрессией (т.е. доля закономерной изменчивости в общей изменчивости). Статистика

R² = R_ss / T_ss = 1 - E_ss / T_ss

называется коэффициентом детерминации. Если R² = 0, это означает, что регрессия ничего не дает, т.е. знание х не улучшает предсказания для y по сравнению с тривиальным . Другой крайний случай R² = 1 означает точную подгонку: все точки наблюдений лежат на регрессионной прямой. Чем ближе к 1 значение R² , тем лучше качество подгонки.

Пример [5]. В табл. 1 приведены данные по 45 предприятиям легкой промышленности по статистической связи между стоимостью основных фондов (fonds, млн руб.) и средней выработкой на 1 работника (product, тыс. руб.); z - вспомогательный признак: z = 1 - федеральное подчинение, z = 2 - муниципальное (файл Product. Sta.).

Таблица 1

Выполнение в пакете Statistica

Работаем в модуле Multiple Regression (множественная регрессия). Предварительно построим диаграмму рассеяния, чтобы убедиться, что предположение линейности регрессионной зависимости не лишено смысла.

Graphs - Stats 2D Graphs - Scatter plots - Variables - X: fonds, Y : product, Graphs Type: Regular, Fit (подбор): Linear - OK - OK.