Выбор оптимальной эмпирической модели

3.5. Выбор оптимальной эмпирической модели

Принцип наименьших квадратов позволяет найти наилучшую модель идентификации для исследуемой экспериментальной выборки с заданным уравнением регрессии вида

.

Если имеются достаточно веские основания для выбора формы этого уравнения, никаких проблем не возникает. Однако, в большинстве случаев конкретная форма модели заранее неизвестна и может, вообще говоря, быть различной.

На первый взгляд может показаться, что более сложная модель (увеличение степени полинома) всегда обеспечивает получение бóльшей точности. На самом деле это не так. При переходе к полиномам более высокой степени можно, конечно, получить лучшее согласие регрессионной кривой с экспериментальными данными. Для  m = n  это согласие будет абсолютным, но при этом получится худшее согласие с истинным характером процесса W(x). Дело в том, что экспериментальные данные представляют собой случайные величины и содержат лишь ограниченную информацию о характере W(x). Увеличение степени полинома целесообразно лишь до тех пор, пока из экспериментальной выборки извлекается надежная информация. Таким образом, возникает проблема выбора формы модели.

Подход к решению этой проблемы основан на статистическом исследовании уравнений регрессии.

1) Метод всех возможных регрессий основан на последовательном изучении всех возможных моделей (m < n), из которых отбирается лучшая модель.

Метод представляется мало пригодным для анализа сложных систем, так как отличается высокой трудоемкостью.

2) Метод исключения предполагает исследование наиболее полной (в пределах разумного) модели и последовательную проверку на значимость всех ее членов. При этом для каждого из членов модели вычисляется величина критерия Фишера F. На основе полученного множества {F_i} выбирается член уравнения регрессии, соответствующий минимальному значению критерия F_i . Если это минимальное значение меньше критического при выбранном уровне риска (F_i < F_{кр a}), то соответствующий член исключается из регрессионного уравнения как несущественный, после чего все коэффициенты регрессии пересчитываются заново и вновь осуществляется проверка их значимости.

Если F_i > F_{кр a} ,  то все члены модели существенны и уравнение регрессии остается в первоначальном виде. Однако, если это произошло уже на первом шаге исследования, стóит рассмотреть целесообразность усложнения первоначальной модели.

Рекомендуемые материалы

Трудоемкость этого метода меньше, чем метода всех возможных регрессий.

3) Метод включений по существу противоположен методу исключений и предусматривает последовательное включение в модель новых членов с проверкой их статистической значимости.

Трудоемкость этого метода существенно меньше трудоемкости рассмотренных выше методов.

Существуют и некоторые другие методы подбора оптимального уравнения регрессии.

Лекция "Элементы озерного ложа и береговой области." также может быть Вам полезна.

Общим недостатком всех рассмотренных ранее методов является использование для оценки модели того же экспериментального материала, на основе которого эта модель построена.

4) Иной подход основан на использовании регуляризации. При этом подходе все экспериментальные данные разбиваются на две части: обучающую (n₁) и проверочную (n₂). Первая из них используется для определения коэффициентов регрессии модели, вторая – для оценки модели в целом.

Оптимальные по этому подходу модели мало чувствительны к небольшим изменениям исходных данных.

Число точек обучающей последовательности должно быть, по крайней мере, на единицу больше числа коэффициентов регрессии (n₁ > m+1).  Для повышения достоверности результатов этот запас должен быть существенно увеличен (n₁ ³ (2…3)m). Проверочная последовательность должна включать в себя хотя бы одну точку.

В ряде случаев в качестве критерия регуляризации удобно использовать критерий несмещенности, обеспечивающий наименьшее изменение модели при изменении состава обучающей последовательности. При этом весь экспериментальный массив разбивается на две одинаковые по величине последовательности (n₁ = n₂), каждая из которых поочередно используется в качестве обучающей. В результате их использования определяются две независимые, одинаковые по форме модели  и . Оптимальная модель ищется по всем точкам выборки:

Критерий регуляризации всегда имеет четко выраженный минимум, что обеспечивает объективное выделение модели оптимальной сложности.