rpd000003197 (1012246), страница 33

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 33)

Применяя приведенное общее выражение к имеющимся исходным данным получаем:

y_i=f(x_i)+ _i , i=1,...,n.

Дальнейшая формализация задачи опирается на предположение о том, что все случайные величины  ₁, ₂ ,..., _n статистически независимы и одинаково распределены. Все многообразие подходов к решению задач регрессионного анализа во многом определяется тем, какие предположения относительно распределения ошибок  ₁, ₂ ,..., _n положены в их основу. Достаточно часто обоснованным является предположение о том, что ошибки _i распределены по нормальному закону с параметрами N(0,²)

Следующей составляющей регрессионной модели является функция f(X). Как правило в практических задачах регрессионного анализа предполагают, что множество допустимых функций f(X) принадлежит параметрическому семейству f(X,), где -некоторый параметр. Тогда уравнение регрессии можно представить в виде:

y_i=f(x_i, )+ _i , i=1,...,n.

В рамках такого представление восстановление зависимости между X и Y сводится к отысканию оценки * параметра  по измерениям (x_i, y_i) i=1,...,n.

Наиболее простой является ситуация, когда функция f(X,) линейно зависит от параметров , то есть регрессионная модель может представлена в следующем виде: f(Х,)= А(Х), где А(Х)- некоторая известная матрица элементы которой зависят от Х. Эта задача носит название линейного регрессионного анализа. В случае, когда f(X,) не линейна по  - имеет место задача нелинейного регрессионного анализа.

Лекция 9.doc

Лекция 9. Построение математической модели экспериментальных данных с помощью метода наименьших квадратов.

В процессе анализа экспериментальных данных встречаются процессы, характер протекания которых зависит от определенных величин x₁, x₂,..., x_n. Переменные x₁, x₂,..., x_n называют входными или независимыми переменными. Выходную переменную процесса y называют зависимой переменной или выходом процесса. Предполагается, что между независимыми переменными и выходом существует функциональная связь, выражаемая векторной записью следующего вида:

y=y(x), где x=( x₁, x₂,..., x_n)^Т- вектор значений независимых переменных.

Обычно, вид указанной зависимости на практике бывает неизвестен и тогда ее пытаются установить на основе обработки экспериментальных данных. Так как всякий эксперимент связан с появлением случайных ошибок, то для построения математических моделей на основе экспериментальных данных обычно используют методы математической статистики. Наиболее часто при решении этой задачи применяют метод наименьших квадратов (МНК) [36].

Метод наименьших квадратов предназначен для получения математической модели исследуемого процесса в виде: y=f(а,x), где- y выходная переменная; x=(x₁,x₂,...,x_n)^Т - вектор значений входных переменных; а=(а₁,а₂,... а_k)^Т-вектор параметров модели размерности (kx1); f -известная с точностью до параметров а₁, а₂,..., а_k функция.

Ранее указывалось, что всякий эксперимент, в процессе которого проводятся измерения выходной переменной, связан с появлением случайных ошибок. С учетом этого модель эксперимента может быть представлена следующим образом:

y=f(а,x)+ ,

где  - случайная ошибка измерений. Целью метода наименьших квадратов является получение оценок неизвестных параметров а₁, а₂,..., а_k по экспериментальным данным. Проблема, однако состоит в том, что на практике вид функции f - неизвестен, поэтому обычно используют её разложение в ряд по некоторой системе базисных функций f_i (например, в ряд Тейлора, Фурье и т. д.) с последующим переходом к модели линейной относительно коэффициентов а₁, а₂,..., а_k:

f(а,x)= а₁ f₁(x)+ а₂ f₂(x)+...+ а_k f_k(x).

Предполагается, что f_i(x),i=1,...,k - известные функции, образующие в совокупности вектор f(x)=( f₁(x),..., f_k(x))^Т размерности (kx1). Тогда в векторном виде модель, используемая в МНК, может быть записана следующим образом:

y=а^Т f(x) + = f^Т(x)а+.

Пусть в серии из N опытов получены реализации x¹,x²,...,x^N вектора независимых переменных, xⁱ=(x₁ⁱ,..., x_nⁱ),i=1,...,N. Реализации выхода процесса y*ⁱ в точках xⁱ в совокупности образуют вектор наблюдений Y*=(y₁^*,..., y_N^*)^Т размерности (Nx1). Если в процессе проведения эксперимента в некоторой точке xⁱ получено несколько значений выходной переменной, в этом случае в качестве наблюдения в этой точке используется среднее значение всех наблюдений в этой точке.

Задача, как мы уже говорили, состоит в том, чтобы на основе наблюдений Y*=(y₁^*,..., y_N^*)^Т найти наилучшие в определенном смысле оценки вектора параметров модели а. С учетом определенного таким образом вектора наблюдений модель эксперимента может быть представлена следующим образом:

Y*=Fa+,

где F-матрица размерности (Nxk) с компонентами:

 = (¹,...,^N)^Т- вектор ошибок измерений (Nx1).

Реализация МНК опирается на следующие предположения относительно характера распределения ошибок измерений:

1) систематические ошибки отсутствуют. То есть:

M[ ]=0

2) ошибки измерения ⁱ в точке xⁱ не зависят от ошибок измерений ^j в точке x^j. То есть:

M[ⁱ ^j]=0, ij

3) дисперсия ошибок измерений ⁱ во всех точках xⁱ одинакова:

D[ⁱ ]=², i=1,...,N

Интересующие нас оценки параметров модели а в МНК рассчитываются таким образом, чтобы ошибки оценивания в совокупности были минимальными. Для этого в МНК используется критерий следующего вида:

J=M[ (Y*-Fa)^Т (Y*-Fa)]

В качестве оптимальных оценок а^* параметров модели а принимаются такие, которые доставляют минимум критерию J [ 36 ].

a*=arg min M[ (Y*-Fa)^Т (Y*-Fa)]

Раскрывая выражение по знаком математического ожидания с учетом выдвинутых предположений относительно ошибок оценивания получим:

J=J(a) = Y*^Т Y*+а^ТF^ТF a-2 Y*^ТF a

Указанное выражение в случае невырожденности матрицы F^ТF, то есть det(F^ТF)0 имеет единственный минимум при:

a* = (F^ТF)^-1 F^Т Y*=C F^Т Y*,

где матрица C=(F^ТF)^-1 размерности kxk называется дисперсионной матрицей. Доказано [ 36 ], что матрица (F^ТF) невырождена, если матрица F имеет ранг k. При справедливости выдвинутых предположений относительно ошибок измерения оценка a* обладают следующими свойствами:

1) она является несмещенной, то есть M[a*]=a;

2) она является состоятельной, то есть дисперсии _i² оценок a_i^* коэффициентов экспериментальной модели a_i являются минимальными.

С учетом оценок a_i^*,i=1,..,k параметров модели a_i,i=1,..,k оценки значений выходной переменной y* в рамках рассматриваемой модели могут быть получены на основе следующего соотношения:

y*=а*^Т f(x)

Очевидно, что оценки параметров модели a_i^*,i=1,..,k, рассчитанные в условиях присутствия случайных ошибок  в модели эксперимента отличаются от истинных значений a_i,i=1,..,k, причем ошибка тем больше, чем больше дисперсия ошибок измерений. Показателями точности оценок a_i^* и оценок y^* выходной переменной являются дисперсии _i² и _y². Эти дисперсии зависят не только от дисперсии ошибок наблюдений ² но и от выбранной структуры модели и точек постановки опытов, то есть от матрицы F.

Заметим, что наличие такой зависимости делает принципиально возможным решение задачи планирования наблюдений, то есть выбора такого состава точек наблюдения, при котором эти дисперсии будут минимальными. В последующих разделах этот вопрос будет рассмотрен более подробно.

Для получения оценок дисперсий _i²,i=1,..,k получим выражение для ковариационной матрицы K_a ошибок оценивания параметров модели:

K_a=M[(a^*-m_a)( a^*-m_a)^Т],

где m_a- вектор математических ожиданий оценок a^*:

m_a = M[a^*]=M[C F^Т Y^*]= C F^Т m_Y

Используя это выражение получаем:

K_a=M[(a^*-m_a)( a^*-m_a)^Т]=M[C F^Т(Y^*- m_Y) (Y^*- m_Y)^Т F C^Т]=

C F^Т M[(Y*- m_Y) (Y*- m_Y)^Т]F C^Т

В свою очередь в силу независимости ошибок измерения ⁱ, i=1,…,N:

M[(Y*- m_Y) (Y*- m_Y)^Т]= М[^Т]=²

Тогда:

K_a= C F^Т F C^Т²

Поскольку, C = (F^Т F)^-1, а матрица F^Т F-симметрична

C F^Т F C^Т= C

Следовательно,

K_a= C²

При этом дисперсии _i²,i=1,..,k, характеризующие точность оценивания отдельных параметров модели представляют собой диагональные элементы матрицы K_a:

_i²=с _{i i}²,

а коэффициенты корреляции r_ij, характеризующие статистическую связь оценок a_i^* a_j^* представляют собой недиагональные элементы:

r_ij = с² _{i j}/ с _ii с _jj

Дисперсия _y², характеризующая точность оценивания выходной переменной в рамках принятой модели может быть получена на основе следующих соотношений:

_y²= M[(y^*-m_y)²]= M[((a^*-m_a)^Тf(x))²]= M[f^Т(x) (a^*-m_a)(a^*-m_a)^Тf(x)]=

=f^Т(x) K_af(x)= f^Т(x) C²f(x)= f^Т(x) C f(x) ²

В том случае, если ошибки измерений ⁱ распределены по нормальному закону ⁱN(0, ²) величина

Z=(a^*_i-m_a)/ _i

имеет стандартное нормальное распределение с нулевым математическим ожиданием и единичной дисперсией. Следовательно, задавая доверительную вероятность , по таблице стандартного нормального распределения находят соответствующую величину Z_, представляющую собой квантиль нормального распределения для доверительной вероятности . Например, для =0.95 значение Z_=1.96. Таким образом, имеет место следующее неравенство:

Характеристики

Список файлов учебной работы