Проверка адекватности модели

6.4. Проверка адекватности модели

Проверка адекватности или соответствия модели данным эксперимента обеспечивается проведением повторных опытов при одних и тех же значениях переменной x. Эти опыты должны быть действительно повторными, а не повторением считывания получаемых в опыте значений переменной отклика. Они должны проводиться не один за другим, а в случайной последовательности наряду с другими опытами эксперимента. Аппаратура для проведения повторных опытов должна подвергаться новой настройке, как и для других опытов, и значение переменной x должно устанавливаться вновь. Таким образом, повторные опыты должны быть подвержены всем обычным ошибкам настройки, выборки и аналитическим ошибкам, которые присутствуют в опытах, проводимых при разных значениях переменной x. Несоблюдение этих условий приведёт к недооценке ошибок и сделает несостоятельным анализ.

Например, в таблице 6.2.1 результатов эксперимента с коэффициентом усиления транзистора опыты 2 и 5 проводились при x=4,60, опыты 1 и 7 проводились при x=4,00 и опыты 6 и 9 проводились при x=4,30. Проведение таких опытов в эксперименте представляет большой интерес, так как различия в значениях переменной отклика между ними позволяют оценить дисперсию ошибок вне зависимости от постулируемой модели.

Положим x₁, x₂, ..., x_m – различные значения переменной x. В эксперименте значение x₁ используется в п₁ опытах, значение x₂ используется в п₂ опытах, значение x₃ используется в п₃ опытах и так далее. Если имеется m таких наборов повторных опытов с n_j опытами в j–м наборе (j =1, 2,..., m), то суммы квадратов остатков для каждого набора могут быть сложены для формирования суммы квадратов чистых ошибок, имеющей её степенями свободы сумму отдельных степеней свободы из наборов. Таким образом, для всех m наборов повторных опытов сумма квадратов чистых ошибок вычисляется по формуле [Box, Draper (2007) стр. 61]

S_PE=                                                           (6.4.1)

с числом степеней свободы, определяемым по формуле

=–m.                                                           (6.4.2)

Когда п_j=2, то используется более простая формула

=(y_j1–y_j2)²/2                                        (6.4.3)

Рекомендуемые материалы

и эта сумма квадратов имеет 1 степень свободы.

При регрессии, для любой модели сумма квадратов чистых ошибок всегда является частью суммы квадратов остаточных ошибок. Остаток от u–го значения переменной отклика при j–м значении переменной x можно представить в виде

y_ju–=(y_ju–)–(–).                                       (6.4.4)

Возводя в квадрат обе части этого выражения, получаем

=+,                (6.4.5)

где при суммировании по u произведение (y_ju–)(–) превращается в нуль для каждого j. Таким образом, имеем

S_E=S_PE+S_LF.                                                                (6.4.6)

Второй член S_LF в правой части называется суммой квадратов неадекватности модели, так как является мерой различия между оценкой  ожидаемого значения переменной отклика и её усреднённым значением  для повторных опытов j–го набора. Соответствующим выражением для степеней свободы является

–p=+m–p,                                       (6.4.7)

где p – число параметров модели. Очевидно, что необходимо иметь m>p, то есть, число разных значений переменной x не должно быть меньше числа оцениваемых параметров. Если m=p, то не будет ни суммы квадратов неадекватности, ни её степеней свободы.

Преобразование функции модели для проверки её адекватности

Для анализа эксперимента с повторными опытами его данные должны быть соответствующим образом организованы. Исходная матрица модели должна включать только различные значения переменной x. Например, для получения матрицы модели таблица 6.2.1 должна быть преобразована, как показано в таблице 6.4.1.

Таблица 6.4.1. Преобразованная таблица данных эксперимента из примера 6.2.1

В этом случае исходная матрица модели имеет только семь строк X_m=. Она не содержит повторные значения переменной x, использованные для повторных опытов 7, 9 и 5. Чтобы включить в модель данные этих опытов необходимо применить матрицу преобразования исходной матрицы модели без повторных опытов в матрицу модели с повторными опытами. Для данных таблицы 6.4.1 эта матрица состоит из единичной матрицы размеров 7х7 с тремя первыми её строками, добавленными внизу, так как опыты 1, 6 и 2 были повторены опытами 7, 9 и 5. Матрица преобразования имеет вид

С=.

Она преобразует матрицу X_m в матрицу модели с повторными опытами и модель (6.2.7) записывается в виде

у=СX_mq+e,                                                   (6.4.8)

где вектор у представлен значениями переменных отклика из таблицы 6.4.1.

Вектор оценки параметров такой модели методом наименьших квадратов находится из выражения =[(СX_m)^Т(СX_m)]^–1(СX_m)^Тy, а сумма квадратов остатков рассчитывается по формуле

S_E=y^Т[I–СX_m(X_m^ТС^ТСX_m)^–1X_m^ТС^Т]y.                       (6.4.9)

Представление данных отклика дисперсионной моделью

Сумму квадратов чистых ошибок модели (6.4.8) тоже можно получить в матричном виде. Для этого данные эксперимента с повторными опытами необходимо представить в виде дисперсионной модели классификации по одному признаку [Себер (1980) стр.235]

y_ju=+e_ju,     (j=1, 2, …, m; u=1, 2, …, n_j)             (6.4.10)

где  - среднее переменной отклика для j-го набора повторных опытов. Некоторые наборы могут состоять только из одного опыта. Для всех значений переменных отклика, представленных, например, в таблице 6.4.1, эту модель можно записать в матричном виде

у=С+ε,                                                       (6.4.11)

где - вектор средних переменных отклика наборов повторных опытов и С - та же матрица, что и в модели (6.4.8). Эта модель не содержит переменную x. В примере 6.3.1 было установлено, что она является значимой при описании данных эксперимента.

Как и для модели у=Xq+ε, сумма квадратов остатков модели (6.4.11) находится по формуле

S_PE=y^Т[I–С(С^ТС)^–1С^Т]y.                                           (6.4.12)

Эта сумма квадратов остатков является наименьшей среди таких сумм квадратов для всех возможных моделей, так как ни одна из детерминированных моделей не может объяснить отклонения значений переменных отклика от их усреднённых значений. При проверке адекватности модели эта сумма квадратов известна как сумма квадратов чистых ошибок, расчёт которой возможен также по формуле (6.4.1).

В формуле (6.4.12) сумма S_РЕ является квадратичной формой относительно вектора у. Матрица этой квадратичной формы идемпотентная и имеет ранг[I–С(С^ТС)^–1С^Т]=п–т. По второму и третьему допущениям раздела 6.1 дисперсия D(y)=s²I. Тогда по следствию 2 теоремы 5.5 квадратичная форма y^Т(I–С(С^ТС)^–1С^Т)y/s² имеет нецентральное распределение c²{п–т, (С)^T[I–С(С^ТС)^–1С^Т]С/(2s²)}. В нём параметр не центральности обращается в нуль ^TС^T[I–С(С^ТС)^–1С^Т]С=^T(С^TС–С^TС)=0. Следовательно, S_PЕ/s² имеет центральное распределение c²(п–т).

Проверка адекватности по статистике с распределением F

В силу (6.4.6), сумма квадратов неадекватности модели (6.4.8) находится так S_LF=S_E –S_PE. Подставляя сюда выражения (6.4.9) и (6.4.12) соответственно для S_E и S_PE, получаем

S_LF=y^Т[С(С^ТС)^–1С^Т–СX_m(X_m^ТС^ТСX_m)^–1X_m^ТС^Т]y.               (6.4.13)

Здесь S_LF также является квадратичной формой относительно вектора у. Матрица этой квадратичной формы идемпотентная и имеет ранг[С(С^ТС)^–1С^Т–СX_m(X_m^ТС^ТСX_m)^–1X_m^ТС^Т] =т–р. Дисперсия D(y)=s²I и у~N(СX_mq, s²I), поэтому по следствию 2 теоремы 5.5 квадратичная форма y^Т[С(С^ТС)^–1С^Т–СX_m(X_m^ТС^ТСX_m)^–1X_m^ТС^Т]y/s² имеет нецентральное распределение

c²{п–т, (СX_mq)^T[С(С^ТС)^–1С^Т–СX_m(X_m^ТС^ТСX_m)^–1X_m^ТС^Т]СX_mq/(2s²)}.

В нём параметр не центральности обращается в нуль

q^TX_m^TС^T[С(С^ТС)^–1С^Т–СX_m(X_m^ТС^ТСX_m)^–1X_m^ТС^Т]СX_mq=q^T(X_m^TС^TСX_m–X_m^TС^TСX_m)q=0.

Следовательно, величина S_PЕ/s² приобретает центральное распределение c²(т–р).

Кроме этого, произведения матриц квадратичных форм S_LF и S_PE дают нулевые матрицы. Следовательно, по следствию 1 теоремы 5.6.2 квадратичные формы S_PE и S_LF распределены независимо. Две независимые квадратичные формы, имеющие центральные распределения хи-квадрат, служат основой образования распределения F. То есть, если S_LF имеет распределение χ²(т–р) и S_PE имеет распределение χ²(п–т), то их отношение в виде [S_LF/(т–р)]/[S_PE/(п–т)] имеет распределение F со степенями свободы (т–р) и (п–т). Следовательно, статистика проверки адекватности модели может быть рассчитана по формуле

F_LF=[S_LF/(т–р)]/[S_PE/(п–т)].                                     (6.4.14)

В этой формуле числитель представляет оценку дисперсии, которая не объясняется проверяемой моделью, а знаменатель представляет оценку дисперсии, не объясняемой никакой моделью. Отношение необъяснённой дисперсии проверяемой моделью к необъяснимой дисперсии даёт ещё один критерий рассмотрения регрессионной линейной модели. Проверка по этому критерию позволяет проверить адекватность описания имеющихся данных эксперимента постулируемой линейной моделью.

Как и при проверке значимости регрессии, проверка адекватности модели выполняется сравнением расчётного значения статистики F_LF с критическим значением F_кр случайной переменной, имеющей распределение F(т–р, п–т), при выбранной вероятности 1–α. И, если расчётное значение статистики F_LF больше значения F_кр, то модель надо считать неадекватной. Таким образом, таблица 6.3.2 дисперсионного анализа может теперь быть дополнена строками неадекватности и чистых ошибок, как показано в таблице 6.4.2.

Таблица 6.4.2 Дисперсионный анализ с разложением суммы квадратов остатков

Пример 6.4.1. Проверим адекватность модели, описывающей зависимость коэффициента усиления транзистора от эмиттерной дозы в примере 6.2.1. Для этого данные эксперимента должны быть представлены в виде таблицы 6.4.1, а рассматриваемая модель записана в виде (6.4.8). Дисперсионный анализ неадекватности представляет собой разложение суммы квадратов остатков на суммы квадратов неадекватности и чистых ошибок. Следовательно, расчёт статистики для проверки адекватности модели можно также представить в виде отдельной таблицы дисперсионного анализа. В ней должны присутствовать те же столбцы, и она представлена таблицей 6.4.3.

Таблица 6.4.3. Дисперсионный анализ адекватности модели

Расчёт суммы квадратов остатков по формуле (6.4.9) даёт S_E=2,0919х10⁵, как и в таблице 6.3.3. Расчёт суммы квадратов чистых ошибок по формуле (6.4.12) даёт S_РЕ=1,3769х10⁵. Расчёт суммы квадратов неадекватности делается по формуле S_LF=S_E –S_PE и даёт S_LF=7,1502х10⁴.

Как и в таблице 6.3.3, сумма квадратов остатков S_E имеет 8 степеней свободы. Это потому, что ранг матрицы её квадратичной формы

ранг[I–СX_m(X_m^ТС^ТСX_m)^–1X_m^ТС^Т]=10–2=8.

Аналогично находится число степеней свободы для суммы квадратов чистых ошибок S_PE. Ранг матрицы её квадратичной формы

ранг[I–С(С^ТС)^–1С^Т]=10–7=3.

Число степеней свободы для суммы квадратов неадекватности находится в виде разности числа степеней свободы для S_E и числа степеней свободы для S_PE. Это число получается равным 5 и может быть найдено тоже как ранг матрицы квадратичной формы в выражении (6.4.13).

"Введение" - тут тоже много полезного для Вас.

На основе найденных значений сумм квадратов и соответствующих степеней свободы вычисляются средние квадратичные S_LF/(т–р) и S_PE/(п–т), как показано в таблице 6.4.2, а результаты расчётов представлены в таблице 6.4.3. Делением значения среднего квадратичного неадекватности на значение среднего квадратичного чистых ошибок находится статистика F_LF для проверки неадекватности модели. Найденное значение 0,312 этой статистики много меньше критического значения 9,013 случайной переменной с распределением F(5, 3) при выбранном уровне значимости α=0,05 или вероятности 1–α=0,95. Следовательно, рассматриваемую модель можно считать адекватной.

Здесь необходимо также заметить, что среднее квадратичное S_PE/(п–т) является независящей от модели оценкой дисперсии s². Значение этой оценки значительно больше значения оценки, найденного в примере 6.2.2 по формуле, зависящей от модели.

□

Статистика R²

Статистика R²=S_Rc/(S_T–n) представляет часть вариации значений переменных отклика относительно их средних значений, которая описывается функцией модели. Она часто используется в качестве обобщённой меры достигнутой адекватности модели [Box, Draper (2007) стр. 63]. При этом надо опять заметить, что никакая модель не может объяснить чистые статистические ошибки. Поэтому максимально возможное значение статистики R² находится из выражения

R_max²=(S_T–n–S_PE)/(S_T–n).