В.А. Столярчук. Анализ результатов расчетов в САЕ-системах (учебное пособие) (1014115), страница 6

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 6)

y_i = g(x_i, b) + e_i, i = 1, ..., k,

где величины e_i характеризуют ошибки, независимые при различных измерениях и одинаково распределённые с нулевым средним и постоянной дисперсией s². Случай неконтролируемой переменной х отличается тем, что результаты наблюдений (x_i, y_i), ..., (x_n, y_n) представляют собой выборку из некоторой двумерной совокупности. И в том, и в другом случае регрессии регрессионный анализ производится одним и тем же способом, однако интерпретация результатов существенно различается (если обе исследуемые величины случайны, то связь между ними, как уже говорилось, изучается методами корреляционного анализа).

Предварительное представление о форме графика зависимости g(x) от х можно получить по расположению на диаграмме рассеяния (называемой также корреляционным полем, если обе переменные случайные) точек (x_i, (x_i)), где (x_i) — средние арифметические тех значений у, которые соответствуют фиксированному значению x_i. Например, если расположение этих точек близко к прямолинейному, то допустимо использовать в качестве приближения линейную регрессию. Стандартный метод оценки линии регрессии основан на использовании полиномиальной модели

y(x, b) = b₀ + b₁x + ... + b_mx^m

(этот выбор отчасти объясняется тем, что всякую непрерывную на некотором отрезке функцию можно приблизить полиномом с любой наперёд заданной степенью точности). Оценка неизвестных коэффициентов регрессии b₀, ..., b_m и неизвестной дисперсии s² осуществляется наименьших квадратов методом. Оценки параметров b₀, ..., b_m, полученные этим методом, называются выборочными коэффициентами регрессии, а уравнение

определяет т. н. эмпирическую линию регрессии. Этот метод в предположении нормальной распределённости результатов наблюдений приводит к оценкам для b₀, ..., b_m и s², совпадающим с оценками наибольшего правдоподобия. Оценки, полученные этим методом, оказываются в некотором смысле наилучшими и в случае отклонения от нормальности. Так, если проверяется гипотеза о линейной регрессии, то

, ,

где и — средние арифметические значений x_i и y_i, и оценка будет несмещенной для g(х), а её дисперсия будет меньше, чем дисперсия любой другой линейной оценки. При допущении, что величины y_i нормально распределены, наиболее эффективно осуществляется проверка точности построенной эмпирической регрессионной зависимости и проверка гипотез о параметрах регрессионной модели. В этом случае построение доверительных интервалов для истинных коэффициентов регрессии b₀, ..., b_m и проверка гипотезы об отсутствии регрессионной связи b_i = 0, i = 1, ..., m) производится с помощью распределения Стьюдента.

В более общей ситуации результаты наблюдений y₁, ..., y_n рассматриваются как независимые случайные величины с одинаковыми дисперсиями и математическими ожиданиями

Ey_i, = b₁ x_1i + ... + b_kx_ki, i = 1, ..., n,

где значения x_ji, j = 1, ..., k предполагаются известными. Эта форма линейной модели регрессии является общей в том смысле, что к ней сводятся модели более высоких порядков по переменным x₁, ..., x_k. Кроме того, некоторые нелинейные относительно параметров b_i; модели подходящим преобразованием также сводятся к указанной линейной форме.

Регрессионный анализ является одним из наиболее распространённых методов обработки результатов наблюдений при изучении зависимостей в физике, биологии, экономике, технике и др. областях. На модели регрессионного анализа основаны такие разделы математической статистики, как дисперсионный анализ и планирование эксперимента; модели регрессионного анализа широко используются в многомерном статистическом анализе .

4. Метод наименьших квадратов.

Метод Наименьших Квадратов, один из методов теории ошибок для оценки неизвестных величин по результатам измерений, содержащим случайные ошибки. Метод наименьших квадратов применяется также для приближённого представления заданной функции другими (более простыми) функциями и часто оказывается полезным при обработке наблюдений. Метод наименьших квадратов предложен К. Гауссом (1794—95) и А. Лежандром (1805—06). Первоначально метод наименьших квадратов использовался для обработки результатов астрономических и геодезических наблюдений. Строгое математическое обоснование и установление границ содержательной применимости метода наименьших квадратов даны А. А. Марковым (старшим) и А. Н. Колмогоровым. Ныне метод наименьших квадратов представляет собой один из важнейших разделов математической статистики и широко используется для статистических выводов в различных областях науки и техники.

Сущность обоснования метода наименьших квадратов (по Гауссу) заключается в допущении, что «убыток» от замены точного (неизвестного) значения физической величины и её приближённым значением X, вычисленным по результатам наблюдений, пропорционален квадрату ошибки: (X - m)². В этих условиях оптимальной оценкой естественно признать такую лишённую систематической ошибки величину X, для которой среднее значение «убытка» минимально. Именно это требование и составляет основу метода наименьших квадратов. В общем случае отыскание оптимальной в смысле метода наименьших квадратов оценки Х — задача весьма сложная, поэтому практически эту задачу сужают и в качестве Х выбирают линейную функцию от результатов наблюдений, лишённую систематической ошибки, и такую, для которой среднее значение «убытка» минимально в классе всех линейных функций. Если случайные ошибки наблюдений подчиняются нормальному распределению и оцениваемая величина m зависит от средних значений результатов наблюдений линейно (случай, весьма часто встречающийся в приложениях Н. к. м.), то решение этой задачи будет одновременно являться и решением общей задачи. При этом оптимальная оценка Х также подчиняется нормальному распределению со средним значением m и, следовательно, плотность вероятности случайной величины Х

при х = Х достигает максимума в точке m = Х (это свойство и выражает точное содержание распространённого в теории ошибок утверждения «оценка X, вычисленная согласно методу наименьших квадратов — наиболее вероятное значение неизвестного параметра m»).

Случай одного неизвестного.

Пусть для оценки значения неизвестной величины m произведено n независимых наблюдений, давших результаты Y₁, Y₂,..., Y_n, т. е. Y₁ = m + d₁, Y₂ = m + d₂,..., Y_n = m + d_n, где d₁, d₂,..., d_n — случайные ошибки (по определению, принятому в классической теории ошибок, случайные ошибки — независимые случайные величины с нулевым математическим ожиданием: Еd_i = 0; если же Ed_i ¹ 0, то Еd_i, называются систематическими ошибками). Согласно методу наименьших квадратов в качестве оценки величины m принимают такое X, для которого будет наименьшей сумма квадратов (отсюда и само название метода):

( 1 )

где p_i = k/s_i² и s_i² = Dd_i = Ed_i² (коэффициент k > 0 можно выбирать произвольно). Величину p_i называют весом, a s_i — квадратичным отклонением измерения с номером i. В частности, если все измерения равноточны, то s₁ = s₂ =... = s_n, и в этом случае можно положить p₁ = p₂ =... = p_n = 1; если же каждое Y_i, — арифметическое среднее из n_i, равноточных измерений, то полагают p_i = n_i.

Сумма S (X) будет наименьшей, если в качестве Х выбрать взвешенное среднее:

Оценка величины m лишена систематической ошибки, имеет вес Р и дисперсию

В частности, если все измерения равноточны, то Y — арифметическое среднее результатов измерений:

При некоторых общих предположениях можно показать, что если количество наблюдений n достаточно велико, то распределение оценки мало отличается от нормального с математическим ожиданием m и дисперсией k/P. В этом случае абсолютная погрешность приближённого равенства

меньше

с вероятностью, близкой к значению интеграла

[напр., I (1,96) = 0,950; I (2,58) = 0,990; I (3,00) = 0,997].

Если веса измерений p_i заданы, а множитель k до наблюдений остаётся неопределённым, то этот множитель и дисперсия оценки могут быть приближённо оценены по формулам:

и

(обе оценки лишены систематических ошибок).

В том практически важном случае, когда ошибки d_i подчиняются нормальному распределению, можно найти точное значение вероятности, с которой абсолютная погрешность приближённого равенства

окажется меньше ts (t — произвольное положительное число). Эту вероятность, как функцию от t, называют функцией распределения Стьюдента с n - 1 степенями свободы и вычисляют по формуле

где постоянная C_n-1 выбрана таким образом, чтобы выполнялось условие: I_n-1(¥) = 1. При больших n формулу (2) можно заменить формулой (1). Однако применение формулы (1) при небольших n привело бы к грубым ошибкам. Так, например, согласно (1), значению I = 0,99 соответствует t = 2,58; истинные значения t, определяемые при малых n как решения соответствующих уравнений l_n-1(t) = 0,99, приведены в таблице:

Пример. Для определения массы некоторого тела произведено 10 независимых равноточных взвешиваний, давших результаты Y_i (в г):

(здесь n_i — число случаев, в которых наблюдался вес Y_i, причём n = Sn_i, = 10). Так как все взвешивания равноточные, то следует положить p_i = n_i и в качестве оценки для неизвестного веса m, выбрать величину

Задавая, например, I₉ = 0,95, по таблицам распределения Стьюдента с девятью степенями свободы можно найти, что t = 2,262, и поэтому в качестве предельной абсолютной погрешности приближённого равенства m » 18,431 следует принять величину

Т. о. 18,420 < m < 18,442.

Характеристики

Список файлов книги