LEC-18 (Материалы к лекциям), страница 4

Е(Y(x)) = b₀ + b₁x.

  Коэффициенты b₀ и b₁, называются коэффициентами регрессии, определяются равенствами

,

где m_Х и m_Y — математические ожидания Х и Y, и  — дисперсии Х и Y, а r — коэффициент корреляции между Х и Y. Уравнение регрессии Y = u(X) при этом выражается формулой

  В случае, когда совместное распределение Х и Y нормально, обе линии регрессии у = u(х) и х = u(у) являются прямыми.

  Если регрессия Y по Х отлична от линейной, то последнее уравнение есть линейная аппроксимация истинного уравнения регрессии: математическое ожидание Е[Y — b₀ — b₁X]² достигает минимума b₀ и b₁ при b₀ = b₀ и b₁ = b₁. Особенно часто встречается случай уравнения регрессии, выражающегося линейной комбинацией тех или иных заданных функций:

у = u(Х) = b₀j₀(x) + b₁j₁(x) + ... + b_mj_m(x).

  Наиболее важное значение имеет параболическая (полиномиальная) регрессия, при которой j₀(x) = 1 , j₁(x) = x, ..., j_m(x) = x^m.

  Понятие регрессии применимо не только к случайным величинам, но и к случайным векторам. В частности, если Y — случайная величина, а Х = (X₁, ..., X_k) — случайный вектор, имеющие совместное распределение вероятностей, то регрессия Y по X определяется уравнением

y = u ( x₁, ..., x_k), где u( x₁, ..., x_k) = E{YïX = x₁, ... , X_k = x_k}.

  Если u ( x₁, ..., x_k) = b₀ + b₁x₁ + ... + b_kx_k, то регрессия называется линейной. Эта форма уравнения регрессии включает в себя многие типы регрессии с одной независимой переменной, в частности полиномиальная регрессия Y по Х порядка k сводится к линейной регрессии Y по X₁, ..., X_k, если положить X_k = X^k.

  Простым примером регрессии Y по Х является зависимость между Y и X, которая выражается соотношением: Y = u(X) + d, где u(x) = Е(Y (X) = х), а случайные величины Х и d независимы. Это представление полезно, когда планируется эксперимент для изучения функциональной связи у = u(х) между неслучайными величинами у и х.

  На практике обычно коэффициенты регрессии в уравнении у = u(х) неизвестны и их оценивают по экспериментальным данным, проводя так называемый регрессионный анализ.

  Первоначально термин «регрессия» был употреблен английским статистиком Ф. Гальтоном (1886) в теории наследственности в следующем специальном смысле:

«возвратом к среднему состоянию» (regression to mediocrity) было названо явление, состоящее в том, что дети тех родителей, рост которых превышает среднее значение на а единиц, имеют в среднем рост, превышающий среднее значение меньше чем на а единиц.

3. Регрессионный анализ.

Регрессионный анализ, раздел математической статистики, объединяющий практические методы исследования регрессионной зависимости между величинами по статистическим данным. Цель регрессионного анализа состоит в определении общего вида уравнения регрессии, построении оценок неизвестных параметров, входящих в уравнение регрессии, и проверке статистических гипотез о регрессии. При изучении связи между двумя величинами по результатам наблюдений (x₁, y₁), ..., (x_n, y_n) в соответствии с теорией регрессии предполагается, что одна из них Y имеет некоторое распределение вероятностей при фиксированном значении х другой, так что

Е(Y ï х) = g(x, b) и D(Y ï х) = s²h²(x),

где b обозначает совокупность неизвестных параметров, определяющих функцию g(х), a h(x) есть известная функция х (в частности, тождественно равная 1). Выбор модели регрессии определяется предположениями о форме зависимости g(х, b) от х и b. Наиболее естественной с точки зрения единого метода оценки неизвестных параметров b является модель регрессии, линейная относительно b:

g(x, b) = b₀g₀(x) + ... + b_kg_k(x).

  Относительно значений переменной х возможны различные предположения в зависимости от характера наблюдений и целей анализа. Для установления связи между величинами в эксперименте используется модель, основанная на упрощённых, но правдоподобных допущениях: величина х является контролируемой величиной, значения которой заранее задаются при планировании эксперимента, а наблюдаемые значения у представимы в виде

y_i = g(x_i, b) + e_i, i = 1, ..., k,

где величины e_i  характеризуют ошибки, независимые при различных измерениях и одинаково распределённые с нулевым средним и постоянной дисперсией s². Случай неконтролируемой переменной х отличается тем, что результаты наблюдений (x_i, y_i), ..., (x_n, y_n) представляют собой выборку из некоторой двумерной совокупности. И в том, и в другом случае регрессии регрессионный анализ производится одним и тем же способом, однако интерпретация результатов существенно различается (если обе исследуемые величины случайны, то связь между ними, как уже говорилось, изучается методами корреляционного анализа).

  Предварительное представление о форме графика зависимости g(x) от х можно получить по расположению на диаграмме рассеяния (называемой также корреляционным полем, если обе переменные случайные) точек (x_i, (x_i)), где (x_i) — средние арифметические тех значений у, которые соответствуют фиксированному значению x_i. Например, если расположение этих точек близко к прямолинейному, то допустимо использовать в качестве приближения линейную регрессию. Стандартный метод оценки линии регрессии основан на использовании полиномиальной модели

y(x, b) = b₀ + b₁x + ... + b_mx^m

(этот выбор отчасти объясняется тем, что всякую непрерывную на некотором отрезке функцию можно приблизить полиномом с любой наперёд заданной степенью точности). Оценка неизвестных коэффициентов регрессии b₀, ..., b_m и неизвестной дисперсии s² осуществляется наименьших квадратов методом. Оценки  параметров b₀, ..., b_m, полученные этим методом, называются выборочными коэффициентами регрессии, а уравнение

определяет т. н. эмпирическую линию регрессии. Этот метод в предположении нормальной распределённости результатов наблюдений приводит к оценкам для b₀, ..., b_m и s², совпадающим с оценками наибольшего правдоподобия. Оценки, полученные этим методом, оказываются в некотором смысле наилучшими и в случае отклонения от нормальности. Так, если проверяется гипотеза о линейной регрессии, то

, ,

где  и  — средние арифметические значений x_i и y_i, и оценка  будет несмещенной для g(х), а её дисперсия будет меньше, чем дисперсия любой другой линейной оценки. При допущении, что величины y_i нормально распределены, наиболее эффективно осуществляется проверка точности построенной эмпирической регрессионной зависимости и проверка гипотез о параметрах регрессионной модели. В этом случае построение доверительных интервалов для истинных коэффициентов регрессии b₀, ..., b_m и проверка гипотезы об отсутствии регрессионной связи b_i = 0, i = 1, ..., m) производится с помощью распределения Стьюдента.

  В более общей ситуации результаты наблюдений y₁, ..., y_n рассматриваются как независимые случайные величины с одинаковыми дисперсиями и математическими ожиданиями

Ey_i, = b₁ x_1i + ... + b_kx_ki, i = 1, ..., n,

где значения x_ji, j = 1, ..., k предполагаются известными. Эта форма линейной модели регрессии является общей в том смысле, что к ней сводятся модели более высоких порядков по переменным x₁, ..., x_k. Кроме того, некоторые нелинейные относительно параметров b_i; модели подходящим преобразованием также сводятся к указанной линейной форме.

  Регрессионный анализ является одним из наиболее распространённых методов обработки результатов наблюдений при изучении зависимостей в физике, биологии, экономике, технике и др. областях. На модели регрессионного анализа основаны такие разделы математической статистики, как дисперсионный анализ и планирование эксперимента; модели регрессионного анализа широко используются в многомерном статистическом анализе .

4. Метод наименьших квадратов.

Метод Наименьших Квадратов, один из методов теории ошибок для оценки неизвестных величин по результатам измерений, содержащим случайные ошибки. Метод наименьших квадратов применяется также для приближённого представления заданной функции другими (более простыми) функциями и часто оказывается полезным при обработке наблюдений. Метод наименьших квадратов предложен К. Гауссом (1794—95) и А. Лежандром (1805—06). Первоначально метод наименьших квадратов использовался для обработки результатов астрономических и геодезических наблюдений. Строгое математическое обоснование и установление границ содержательной применимости метода наименьших квадратов даны А. А. Марковым (старшим) и А. Н. Колмогоровым. Ныне метод наименьших квадратов представляет собой один из важнейших разделов математической статистики и широко используется для статистических выводов в различных областях науки и техники.

  Сущность обоснования метода наименьших квадратов (по Гауссу) заключается в допущении, что «убыток» от замены точного (неизвестного) значения физической величины и её приближённым значением X, вычисленным по результатам наблюдений, пропорционален квадрату ошибки: (X - m)². В этих условиях оптимальной оценкой естественно признать такую лишённую систематической ошибки величину X, для которой среднее значение «убытка» минимально. Именно это требование и составляет основу метода наименьших квадратов. В общем случае отыскание оптимальной в смысле метода наименьших квадратов оценки Х — задача весьма сложная, поэтому практически эту задачу сужают и в качестве Х выбирают линейную функцию от результатов наблюдений, лишённую систематической ошибки, и такую, для которой среднее значение «убытка» минимально в классе всех линейных функций. Если случайные ошибки наблюдений подчиняются нормальному распределению и оцениваемая величина m зависит от средних значений результатов наблюдений линейно (случай, весьма часто встречающийся в приложениях Н. к. м.), то решение этой задачи будет одновременно являться и решением общей задачи. При этом оптимальная оценка Х также подчиняется нормальному распределению со средним значением m и, следовательно, плотность вероятности случайной величины Х

при х = Х достигает максимума в точке m = Х (это свойство и выражает точное содержание распространённого в теории ошибок утверждения «оценка X, вычисленная согласно методу наименьших квадратов — наиболее вероятное значение неизвестного параметра m»).

  Случай одного неизвестного.