Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла

Студент: Варламов Дмитрий

Группа: А-13-03

Вариант №2

Отчет по лабораторной работе №8:

«Линейный регрессионный анализ»

(Курс:”Математическая статистика”).

Теория.

В линейный регрессионный анализ входит широкий круг задач, связанных с построением (восстановлением) зависимостей между группами числовых переменных

X  (x₁ , ..., x_p) и Y = (y₁ ,..., y_m).

Предполагается, что Х - независимые переменные (факторы, объясняющие переменные) влияют на значения Y - зависимых переменных (откликов, объясняемых переменных). По имеющимся эмпирическим данным (X_i , Y_i), i = 1, ..., n требуется построить функцию f (X), которая приближенно описывала бы изменение Y при изменении X:

Y  f (X).

Предполагается, что множество допустимых функций, из которого подбирается f (X), является параметрическим:

f (X) = f (X, ),

где  - неизвестный параметр (вообще говоря, многомерный). При построении f (X) будем считать, что

Y = f (X, ) + , (1)

где первое слагаемое - закономерное изменение Y от X, а второе -  - случайная составляющая с нулевым средним; f (X, ) является условным математическим ожиданием Y при условии известного X и называется регрессией Y по X.

1. Простая линейная регрессия

Пусть X и Y одномерные величины; обозначим их x и y, а функция f(x, ) имеет вид f (x, ) = A + bx, где  = (A, b). Относительно имеющихся наблюдений (x_i , y_i), i = 1, ..., n, полагаем, что

y_i = A + bx_i + _i , (2)

где ₁ , ..., _n - независимые (ненаблюдаемые) одинаково распределенные случайные величины. Можно различными методами подбирать “лучшую” прямую линию. Широко используется метод наименьших квадратов. Построим оценку параметра  = (A, b) так, чтобы величины

e_i = y_i  f (x_i, ) = y_i  A  bx_i ,

называемые остатками, были как можно меньше, а именно, чтобы сумма их квадратов была минимальной:

= min по (A, b) (3)

Чтобы упростить формулы, положим в (2) x_i = x_i  ; получим:

y_i = a + b (x_i  ) + _i , i = 1, ..., n, (3)

где = , a = A + b . Сумму минимизируем по (a,b), приравнивая нулю производные по a и b; получим систему линейных уравнений относительно a и b. Ее решение ( ) легко находится:

, где , (4)

. (5)

Свойства оценок. Нетрудно показать, что если M_i = 0, D_i = ² , то

1) M = а, М = b, т.е. оценки несмещенные;

2) D = ² / n, D = ² / ;

3) cov ( ) = 0;

если дополнительно предположить нормальность распределения _i , то

4) оценки и нормально распределены и независимы;

5) остаточная сумма квадратов

Q² = (6)

независима от ( , ), а Q² / ² распределена по закону хи-квадрат с n-2 степенями свободы.

Оценка для ² и доверительные интервалы. Свойство 5) дает возможность несмещенно оценивать неизвестный параметр ² величиной

s² = Q² / (n-2). (7)

Поскольку s² независима от и , отношения

и , где ,

имеют распределение Стьюдента с (n-2) степенями свободы, и потому доверительные интервалы для a и b таковы:

, , (8)

где t_p - квантиль уровня (1 + P_Д) / 2 распределения Cтьюдента с n - 2 степенями свободы, P_Д - коэффициент доверия.

Проверка гипотезы о коэффициенте наклона. Обычно возникает вопрос: может быть, y не зависит от х, т.е. b = 0, и изменчивость y обусловлена только случайными составляющими _i ? Проверим гипотезу Н: b = 0. Если 0 не входит в доверительный интервал (8) для b, т.е.

, (9)

то гипотезу Н следует отклонить; уровень значимости при этом  = 1  P_Д.

Другой способ (в данном случае эквивалентный (9)) проверки гипотезы Н состоит в вычислении статистики

F = , (10)

распределенной, если Н верна, по закону F (1, n  2) Фишера с числом степеней свободы 1 и n  2. Если

F > F_1 , (11)

где F_1 - квантиль уровня 1   распределения F (1, n - 2), то гипотеза Н отклоняется с уровнем значимости .

Вариация зависимой переменной и коэффициент детерминации. Рассмотрим вариацию (разброс) T_ss (total sum of square) значений y_i относительно среднего значения

T_ss = .

Обозначим предсказанные с помощью функции регрессии значения y_i: . Сумма R_ss (regression sum of square)

R_ss =

означает величину разброса, которая обусловлена регрессией (ненулевым значением наклона ). Сумма E_ss (error sum of squares)

E_ss =

означает разброс за счет случайных отклонений от функции регрессии. Оказывается,

T_ss = R_ss + E_ss ,

т.е. полный разброс равен сумме разбросов за счет регрессии и за счет случайных отклонений. Величина R_ss / T_ss - это доля вариации значений y_i , обусловленной регрессией (т.е. доля закономерной изменчивости в общей изменчивости). Статистика

R² = R_ss / T_ss = 1  E_ss / T_ss

называется коэффициентом детерминации. Если R² = 0, это означает, что регрессия ничего не дает, т.е. знание х не улучшает предсказания для y по сравнению с тривиальным . Другой крайний случай R² = 1 означает точную подгонку: все точки наблюдений лежат на регрессионной прямой. Чем ближе к 1 значение R² , тем лучше качество подгонки.

Пример. В табл. приведены данные по 45 предприятиям легкой промышленности по статистической связи между стоимостью основных фондов (fonds, млн руб.) и средней выработкой на 1 работника (product, тыс. руб.); z - вспомогательный признак: z = 1 - федеральное подчинение, z = 2 - муниципальное (файл Product. Sta.).

Построим диаграмму рассеяния, чтобы убедиться, что предположение линейности регрессивной зависимости не лишено смысла.

Выполним регрессионный анализ.

Таблица результатов:

В – значение оценок неизвестных коэффициентов регрессии,

St.Err.of B – стандартные ошибки оценки коэффициентов,

t – значение статистики Стьюдента для проверки гипотезы о нулевом значении коэффициента,

p- level – уровень значимости отклонения этой гипотезы.

В данном случае, поскольку значения p- level очень малы (<10^-4), гипотезы о нулевых значениях коэффициентов отклоняются с высокой значимостью.

Имеем регрессию: product = 11.5 + 1.43 fonds, соответствующие стандартные ошибки коэффициентов: 2.1 и 0.18; значение s по (7 – оценка для ²): s = 5.01 (Std Error of estimate - ошибка прогноза выработки по фондам с помощью этой функции). Значение коэффициента детерминации R² = RI = 0.597 достаточно велико (доля R = 0.77 всей изменчивости объясняется вариацией фондов). Уравнение регрессии показывает, что увеличение основных фондов на 1 млн руб. приводит к увеличению выработки 1 работника в среднем на ₁ = 1.43 тыс. руб.

Для удобства интерпретации параметра пользуются коэффициентом эластичности

,

который показывает среднее изменение (в долях или %) зависимой переменной y при изменении фактора х:

.

В нашем случае, Э = 0,579.

Построим регрессию выработки по фондам для более однородной совокупности

• для предприятий федерального подчинения (z=1). Можно ожидать, что качество подгонки улучшиться.

Получаем результаты: Product = 12.55 + 1.44 fonds,

R² = RI = 0.897,

S = 2.68.

Коэффициент детерминации увеличился с 0.597 до 0.897, значение s уменьшилось с 5.01 до 2.68; действительно, подгонка улучшилась.

2. Множественная регрессия

Обобщением линейной регрессионной модели с двумя переменными является многомерная регрессионная модель (или модель множественной регрессии). Пусть n раз измерены значения факторов x₁ , x₂ , ..., x_k и соответствующие значения переменной y; предполагается, что

y_i = _o + ₁x_i1 + ... + _k x_ik+ _i , i = 1, ..., n, (12)

(второй индекс у х относится к номеру фактора, а первый - к номеру наблюдения); предполагается также, что

M_i = 0, M =  ²,

M(_i _j) = 0, i  j, (12a)

т.е. _i - некоррелированные случайные величины . Соотношения (12) удобно записывать в матричной форме:

Y = X +  , (13)

где Y = (y₁, ..., y_k)^T - вектор-столбец значений зависимой переменной, Т - символ транспонирования,  = (₀, ₁, ..., _k)^T - вектор-столбец (размерности k) неизвестных коэффициентов регрессии,  = (₁ , ..., _n)^T - вектор случайных отклонений,

-матрица n (k + 1); в i - й строке (1, x_i1, ...,x_ik) находятся значения независимых переменных в i-м наблюдении первая переменная - константа, равная 1.

Оценка коэффициентов регрессии. Построим оценку для вектора  так, чтобы вектор оценок = Х зависимой переменной минимально (в смысле квадрата нормы разности) отличался от вектора Y заданных значений:

по .

Решением является (если ранг матрицы Х равен k +1) оценка

= (X^TX)^-1 X^TY (14)

Нетрудно проверить, что она несмещенная. Ковариационная (дисперсионная) матрица равна

D = (  ) (  )^T =  ² (X^TX)^1 =  ² Z , (15)

где обозначено Z = (X^TX)^1.

Справедлива

теорема Гаусса - Маркова. В условиях (12а) оценка (14) является наилучшей (в смысле минимума дисперсии) оценкой в классе линейных несмещенных оценок.

Оценка дисперсии  ² ошибок. Обозначим

e = Y  = Y  Х = [I  X (X^TX)^1 X^T] Y = BY (16)

вектор остатков (или невязок); B = I  X (X^TX)^1 X^T - матрица; можно проверить, что B² = B. Для остаточной суммы квадратов справедливо соотношение

M = M (n - k -1)  ² ,

откуда следует, что несмещенной оценкой для  ² является

s² = . (17)

Если предположить, что _i в (12) нормально распределены, то справедливы следующие свойства оценок:

1) (n - k - 1) имеет распределение хи квадрат с n-k-1 степенями свободы;

1. оценки и s² независимы.

Как и в случае простой регрессии, справедливо соотношение:

или

T_ss = E_ss + R_ss , (18)

в векторном виде:

,

где = ( . Поделив обе части на полную вариацию игреков

T_ss = , получим коэффициент детерминации

R² = (19)

Коэффициент R² показывает качество подгонки регрессионной модели к наблюдённым значениям y_i. Если R² = 0, то регрессия Y на x₁ , ..., x_k не улучшает качество предсказания y_i по сравнению с тривиальным предсказанием . Другой крайний случай R² = 1 означает точную подгонку: все e_i = 0, т.е. все точки наблюдений лежат на регрессионной плоскости. Однако, значение R² возрастает с ростом числа переменных (регрессоров) в регрессии, что не означает улучшения качества предсказания, и потому вводится скорректированный (adjusted) коэффициент детерминации

(20)

Его использование более корректно для сравнения регрессий при изменении числа переменных (регрессоров).

Доверительные интервалы для коэффициентов регрессии. Стандартной ошибкой оценки является величина , оценка для которой

s_j = , j = 0, 1, ..., k, (21)

где z_jj- диагональный элемент матрицы Z. Если ошибки _i распределены нормально, то, в силу свойств 1) и 2), приведенных выше, статистика

(22)

распределена по закону Стьюдента с (n - k - 1) степенями свободы, и потому неравенство

 t_p s_j , (23)

где t_p - квантиль уровня (1 + P_Д) / 2 этого распределения, задает доверительный интервал для _j с уровнем доверия Р_Д.

Проверка гипотезы о нулевых значениях коэффициентов регрессии. Для проверки гипотезы Н₀ об отсутствии какой бы то ни было линейной связи между y и совокупностью факторов, Н₀: ₁ = ₂ = ... = _k = 0, т.е. об одновременном равенстве нулю всех коэффициентов, кроме коэффициента ₀ при константе, используется статистика

F = = = , (24)

распределенная, если Н₀ верна, по закону Фишера с k и n - k - 1 степенями свободы. Н₀ отклоняется, если

F > F_ (k, n - k - 1), (25)

где F_ - квантиль уровня 1 - .

Отбор наиболее существенных объясняющих переменных. Различные регрессии (с различным набором переменных) можно сравнивать по скорректированному коэффициенту детерминации (20): принять тот вариант регрессии, для которого максимален.

Пример. Исследуется зависимость урожайности y зерновых культур ( ц/га ) от ряда факторов (переменных) сельскохозяйственного производства, а именно,

х₁ - число тракторов на 100 га;

х₂ - число зерноуборочных комбайнов на 100 га;

х₃ - число орудий поверхностной обработки почвы на 100 га;

х₄ - количество удобрений, расходуемых на гектар (т/га);

х₅ - количество химических средств защиты растений, расходуемых на гектар (ц/га).

Исходные данные для 20 районов области приведены в табл.

Здесь мы располагаем выборкой объема n = 20; число независимых переменных (факторов) k = 5. Матрица Х должна содержать 6 столбцов размерности 20; первый столбец состоит из единиц, а столбцы со 2-го по 6-й представлены соответственно столбцами 37 таблицы. Специальный анализ (здесь не приводимый) технологии сбора исходных данных показал, что допущения (12а) могут быть приняты в качестве рабочей гипотезы, поэтому можем записать уравнения статистической связи между y_i и X_i = (x_i1, x_i2, ..., x_i5), i = 1, ..., n в виде (13).

Выполнение регрессионного анализа:

В окне Mult. Regr. Results имеем основные результаты: коэффициент детерминации (19) R² = 0.517; для проверки гипотезы Н₀ об отсутствии какой бы то ни было линейной связи между переменной y и совокупностью факторов определена статистика (24) F = 3.00; это значение соответствует уровню значимости р = 0.048 (эквивалент (25) согласно распределению F (5,14) Фишера с df = 5 и 14 степенями свободы. поскольку значение р весьма мало, гипотеза Н₀ отклоняется.

Таблица Regression summary. В ее заголовке повторены результаты предыдущего окна; в столбце В указаны оценки неизвестных коэффициентов по (14). Таким образом, оценка (x) неизвестной функции регрессии f (x) в данном случае:

(x) = 3.51  0.06 x₁ + 15.5 x₂ + 0.11 x₃ + 4.47 x₄  2.93 x₅ (26)

В столбце St. Err. of B указаны стандартные ошибки s_j оценок коэффициентов (по (21)); видно, что стандартные ошибки в оценке всех коэффициентов, кроме ₄ , превышают значения самих коэффициентов, что говорит о статистической ненадежности последних. В столбце t(14) -значение статистики Стьюдента (22) для проверки гипотезы о нулевом значении соответствующих коэффициентов; в столбце p-level -уровень значимости отклонения этой гипотезы; достаточно малым (0.01) этот уровень является только для коэффициента при x₄ . Только переменная x₄ - количество удобрений, подтвердила свое право на включение в модель. В то же время проверка гипотезы об отсутствии какой бы то ни было линейной связи между y и (х₁ , ..., х₅) с помощью статистики (24)

F = 3.00 , p = 0.048 ,

говорит о том, что следует продолжить изучение линейной связи между y и (х₁ , ..., х₅), анализируя как их содержательный смысл, так и матрицу парных корреляций, которая определяется так:

Из матрицы видно, что х₁ , х₂ и х₃ (оснащенность техникой) сильно коррелированы (парные коэффициенты корреляции 0.854, 0.882 и 0.978), т.е. имеет место дублирование информации, и потому, по-видимому, есть возможность перехода от исходного числа признаков (переменных) к меньшему.

Характеристики

Тип файла документ

Документы такого типа открываются такими программами, как Microsoft Office Word на компьютерах Windows, Apple Pages на компьютерах Mac, Open Office - бесплатная альтернатива на различных платформах, в том числе Linux. Наиболее простым и современным решением будут Google документы, так как открываются онлайн без скачивания прямо в браузере на любой платформе. Существуют российские качественные аналоги, например от Яндекса.

Будьте внимательны на мобильных устройствах, так как там используются упрощённый функционал даже в официальном приложении от Microsoft, поэтому для просмотра скачивайте PDF-версию. А если нужно редактировать файл, то используйте оригинальный файл.

Файлы такого типа обычно разбиты на страницы, а текст может быть форматированным (жирный, курсив, выбор шрифта, таблицы и т.п.), а также в него можно добавлять изображения. Формат идеально подходит для рефератов, докладов и РПЗ курсовых проектов, которые необходимо распечатать. Кстати перед печатью также сохраняйте файл в PDF, так как принтер может начудить со шрифтами.

Список файлов лабораторной работы