Статистические методы проверки адекватности математических моделей

3.3. Статистические методы проверки адекватности математических моделей

Если имеются или могут быть получены необходимые и достоверные экспериментальные данные, для проверки адекватности моделей можно использовать методы математической статистики.

Математически задача проверки адекватности модели формулируется как задача проверки предположения о том, что значение отклика модели W_m отличается от реального отклика системы W не более чем на заданную величину e*:

.                                            (3.3)

Однако, истинное значение отклика системы никогда неизвестно. Полученный в результате эксперимента отклик в силу неконтролируемого дрейфа системы, разброса характеристик ее элементов и, наконец, просто ошибок измерения представляет собой случайную величину, отличающуюся от W. Поэтому при сравнении результатов математического и физического экспериментов  будет получена совокупность случайных величин {e_i}:  ,  среди которых могут оказаться как величины, удовлетворяющие условию (3.3), так и не удовлетворяющие ему.

Можно ли считать, что полученные отклонения (e_i > e*) объясняются случайными причинами или их наличие должно быть признано существенным, что приводит к отказу от проверяемой модели. Для решения этого вопроса на основе выборки случайных величин {e_i} строят статистические критерии, по которым оценивают адекватность модели.

Гипотеза об адекватности модели действительности (гипотеза Н₀) может быть сформулирована как предположение о том, что полученная совокупность {e_i} не дает оснований отказаться от рассматриваемой модели. Иными словами, модель удовлетворяет заданной точности e*.

Альтернативная гипотеза Н₁ состоит в том, что модель не отвечает заданным требованиям (3.3) и, следовательно, должна быть отвергнута.

Так как выборка {e_i} случайна, решение о выборе одной из гипотез Н₀ или Н₁ носит вероятностный характер. При этом может быть допущена ошибка первого рода, состоящая в отказе от правильной модели (принимается Н₁, когда верна Н₀), или ошибка второго рода, состоящая в принятии ошибочной модели (принимается Н₀, когда верна Н₁). Вероятность ошибки первого рода обозначают через a, второго рода – b. Принято называть a риском разработчика, b – риском потребителя. Разумеется, желательно минимизировать как a, так и b. Однако, при заданном объеме экспериментальной выборки уменьшение a влечет за собой увеличение b.

На практике a задается на определенном уровне (a = 0,05; 0,01; 0,005; 0,001), при этом в 100a% случаев правильная модель отвергается.

Рекомендуемые материалы

Величина 1– b характеризует вероятность отказа от ошибочной модели, называется мощностью критерия и является мерой его эффективности.

Выбор вероятностей ошибок a и b при проверке конкретной модели зависит от ответственности решений, принимаемых на основе моделирования.

Например, если модель предназначена для управления двигателем летательного аппарата, необходимо в первую очередь минимизировать b, так как в данном случае принятие неверной модели, а значит, возможность ошибочных решений при управлении представляет больший вред, чем отказ от правильной модели.

Для оценки гипотезы об адекватности модели существует несколько критериев:

1) Критерий согласия c² Пирсона.

2) Критерий Смирнова-Колмогорова.

3) Критерий Фишера и др.

При использовании критерия c² проверке подлежит гипотеза о том, что рассматриваемая модель адекватна исследуемой системе с вероятностью р (например, р = 0,95). Это значит, что при n независимых испытаниях np значений e_i должно удовлетворять условию (3.3) и лишь в (1– р)п случаях это условие может быть нарушено.

В результате случайного эксперимента для этих событий будут получены частоты n₁ и n₂: n₁ » рп;  n₂ » (1– р)п;   (n₁ + n₂ = п).

Частоты n₁ и n₂ отличаются от точных вероятностных оценок или из-за несоответствия модели действительности (заданная вероятность р не соблюдается), или из-за случайных отклонений.

Для оценки предположения о том, что отклонения n₁ и n₂ от соответствующих вероятностей случайны, строится функция

,

представляющая собой сумму квадратов отклонений, нормированных на соответствующие вероятности.

Полученное значение U ^* сравнивается с табличным значением при заданном уровне риска a . Если U ^* превышает пороговое значение  , модель должна быть отвергнута, и принимается гипотеза Н₁. Если U ^*£ , экспериментальные данные не противоречат гипотезе об адекватности модели, и принимается гипотеза Н₀.

Вывод о правильности гипотезы Н₁, вообще говоря, не требует безоговорочного отказа от проверяемой модели:

1) Можно изменить исходные предположения с тем, чтобы увеличить толерантный интервал ±e* или уменьшить доверительную вероятность р. При этом умéньшатся отклонения n₁ и n₂ от соответствующих вероятностей, и проверка может привести к принятию гипотезы Н₀. В этом случае моделью можно пользоваться, но нужно признать, что ее точность оказалась ниже, чем первоначально предполагалось.

2) Можно уменьшить уровень риска a (то есть вероятность отказа от правильной модели в результате неудачного эксперимента). Это приводит к увеличению порогового значения c²_1,a. Это, в свою очередь, может изменить оценку значения U. Однако нужно помнить, что при этом увеличивается риск признать правильной ошибочную модель.

3) Можно потребовать увеличения объема выборки, что, разумеется, приведет к увеличению точности оценки модели и уменьшению риска ошибок.

При проверке адекватности моделей действительности всегда рассматривается случай, когда за пределами толерантного интервала оказалось больше точек, чем ожидалось (n₁ < pn;  n₂ > (1– pn)n). В противном случае опасений за точность модели не возникает, однако можно предположить, что величина толерантного интервала задана необоснованно большой. Если в результате проверки по критерию c² в этом случае будет получена величина U > c²_1,a , то завышение толерантного интервала (или занижение доверительной вероятности р) статистически значимо, и необходимо уменьшить e* или увеличить р.
В обоих случаях нужно признать, что модель оказалась точнее, чем ожидалось.

Необходимым условием использования критерия c² является многочисленность экспериментальных данных (не меньше 20).

Критерий Смирнова-Колмогорова основан на максимальном значении отклонений 

.

Для заданной экспериментальной выборки строится вспомогательная функция

,

которая сравнивается с пороговым значением l_n,a , определенным по таблицам распределения функции Смирнова-Колмогорова.

При  модель должна быть отвергнута, а при  экспериментальные данные не противоречат гипотезе об адекватности модели.

Критерий Смирнова-Колмогорова целесообразно использовать при относительно малых выборках, когда критерий c² оказывается неэффективным.

Критерий Фишера осуществляется путем анализа дисперсий. Если дисперсия, характеризующая ошибку эксперимента s²(W), известна, вычисляется выборочная дисперсия S ²(e) и составляется F-отношение:

.

Полученную величину F-отношения сравнивают с пороговым значением критерия  Фишера F_{f s,¥, a} при заданном уровне риска a.

При F_{f s,¥} £ F_{f s,¥, a} полученная величина S ²(e) может быть объяснена случайным разбросом экспериментальных данных и, следовательно, нет оснований для отказа от проверяемой модели.

Если F_{f s,¥} > F_{f s,¥, a} , полученное расхождение результатов моделирования и экспериментальных данных знáчимо и, следовательно, модель должна быть отвергнута как недостаточно точная.

Контрольные вопросы к лекции 8

1. Сформулируйте задачу проверки адекватности модели.

2. Что означает понятие «адекватность математической модели»?

Вместе с этой лекцией читают "10 Популяционный анализ".

3. В чем заключается ошибка первого рода?

4. В чем заключается ошибка второго рода?

5. Какие критерии проверки адекватности математической модели Вы знаете?

6. Охарактеризуйте каждый из этих критериев.

7. Перечислите меры, которые можно применить в случае неадекватности построенной математической модели.

8. В каком случае можно не проверять модель на адекватность?