Резко выделяющиеся значения остатков и переменных отклика

8.6. Резко выделяющиеся значения остатков и переменных отклика

В некоторых случаях, модель представляется правильной для большинства значений переменных отклика, но один остаток по абсолютной величине значительно больше остальных. Такое резко выделяющееся значение может быть из-за ошибки записи или взято из другой популяции, или может быть просто редким наблюдением из предполагаемого распределения. Например, если ошибки ε_i имеют нормальное распределение N(0, s²), то значения ε_i большие 3s или меньшие –3s будут всё-таки получаться с вероятностью 0,0027.

Если никакого объяснения для наблюдаемого в опыте эксперимента резко выделяющегося значения переменной отклика не найдено, то данные эксперимента могут быть проанализированы с этим значением или без него. Если в присутствии и отсутствии резко выделяющегося значения результаты анализа приводят к различным выводам, то для получения правильного вывода необходима постановка дополнительных опытов для получения новых данных. Возможно, также просто исключить из рассмотрения резко выделяющееся значение, хоть никаких объяснений его появления и не было обнаружено. Третья возможность заключается в использовании специальных методов, которые учитывают резко выделяющиеся значения наблюдений и рассматриваются в [Mosteller, Turkey (1977); Birch (1980)].

Один из методов выявления резко выделяющихся значений переменных отклика заключается в построении графика зависимости остатков  от результатов  оценки ожидаемых значений переменных отклика или от номера i наблюдения. При анализе остатков необходимо иметь в виду, что, в силу (8.4.7), остатки имеют различные дисперсии

D() =s²(1–h_ii).

По пункту 2 теоремы 8.5 значения диагональных элементов матрицы Н удовлетворяют неравенству h_ii≤1, поэтому дисперсия D() будет малой, если значение h_ii близко к 1.

Зависимость остатков от диагональных элементов матрицы Н

То, что большие значения диагональных элементов h_ii матрицы Н сопровождаются малыми значениями остатков, подтверждается следующим неравенством

1/п≤h_ii+≤1.                                             (8.6.1)

Рекомендуемые материалы

Чтобы показать его справедливость, выполним следующие действия. Пусть матрица Н* образована из H=X(X^ТX)^–1X^Т путём заменены матрицы X на увеличенную матрицу [X, у]. При этом матрица Н* имеет вид

Н*=[X, у]{[X, у]^T[X, у]}^–1[X, у]^T

=[X, у].

В силу (П.5.7) и используя обратную разделённой матрицы с A₁₁=X^TX, a₁₂=X^Ty и а₂₂=y^Ty, получаем

Н*=[X, у],

где b=y^Ty–y^TХ(X^TX)^–1Х^Ty. Вектор остатков =(I–H)y, поэтому b=y^T(I–Х(X^TX)^–1Х^T)y =y^T(I–H)y=^T.

Выполнив умножения, получаем выражение для матрицы Н* в виде

Н*=Х(X^TX)^–1Х^T+[Х(X^TX)^–1Х^Tyy^TХ(X^TX)^–1Х^T–yy^TХ(X^TX)^–1Х^T–Х(X^TX)^–1Х^Tyy^T+yy^T]/b

=Н+[Hyy^TH–yy^TH–Нyy^T+yy^T]/b.

Его можно преобразовать так

Н*=Н+[(Hyy^T–yy^T)H+yy^T–Нyy^T]/b

=Н+(yy^T–Hyy^T)(I–Н)/b

=Н+(I–H)yy^T(I–H)/b

=Н+(^T)/(^T).

В силу (П.2.13), , , ...,  являются элементами, расположенными по диагонали матрицы ^T. Следовательно, элементы по диагонали матрицы Н* находятся по формуле h_ii^*=h_ii+/(^T). Матрица Н* симметричная и идемпотентная, поэтому по пункту 2 теоремы 8.5 имеем неравенство 1/n≤h_ii^*≤1. Подстановка в него h_ii^*=h_ii+/(^T) даёт искомое неравенство (8.6.1). Для выполнения этого неравенства большое значение h_ii должно сопровождаться малым по абсолютной величине значением  остатка.

Нормирование остатков

Нормированные остатки часто дают больше информации, чем обычные остатки [Myers с соавт. (2016) стр.38]. Кроме того, так как остатки имеют разные дисперсии, то желательно нормировать их таким образом, чтобы они имели одинаковую дисперсию. Существуют два общих и связанных между собой метода нормирования остатков. В первом методе используются дисперсии D() =s²(1–h_ii) остатков чтобы получить нормированные остатки /s, которые имеют среднее равное 0 и дисперсию равную 1.

Замена стандартного отклонения s результатом s его оценки позволяет получить стьюдентизированный нормированный остаток

r_i=/s,                                              (8.6.2)

где статистика s²=S_E/(n–р) оценки дисперсии находится по формуле (7.3.8). Такие остатки при правильной модели имеют постоянную дисперсию D(r_i)=1 и дают ту же информацию, что и обычные нормированные остатки. Однако так как значение переменной отклика с большим остатком и при большом h_ii сильно влияет на расчёты методом наименьших квадратов, то обычно рекомендуется проверка стьюдентизированных нормированных остатков [Myers с соавт. (2016) стр. 39].

Нормированные остатки полезны в обнаружении резко выделяющихся значений переменных отклика. Большинство их значений должно находиться в интервале от –3 до 3 и значение переменной отклика с нормированным остатком за пределами этого интервала является резко выделяющимся значением этой переменной. Это значение должно тщательно проверяться, так как оно может быть результатом неправильной записи или получено для области значений факторов, где модель неправильно описывает данные эксперимента.

При втором методе нормирования остатков используется результат оценки стандартного отклонения s, при которой не учитывается i-е наблюдение

t_i=/s_(i),                                            (8.6.3)

где s_(i) - результат оценки стандартного отклонения вычисляемым по n–1 значениям переменных отклика, оставшимся после удаления наблюдения (у_i, x_iс)= (y_i1, x_i1,..., x_iр-1), где у_i - i-й элемент вектора у значений переменных отклика и x_iс - i-я строка матрицы X. Если i-е наблюдение переменной отклика имеет резко выделяющееся значение, то оно, скорее всего, будет выявлено как таковое при нормировании его остатка по формуле (8.6.3) и называемого стьюдентизированным остатком удалённого значения переменной отклика.

Остатки удаляемых значений переменных отклика

Другой подход заключается в изучении остатков удаляемых значений переменных отклика. Остаток для удалённого значения переменной отклика вычисляется при удалённом (у_i, x_iс) с использованием вектора  оценки на основе оставшихся n–1 значений переменных отклика по формуле

=y_i–=y_i–x_iс,                                              (8.6.4)

где вектора  находится методом наименьших квадратов по формуле

=(X_(i)^ТX_(i))^–1X_(i)^Тy_(i)                                              (8.6.5)

и матрица X_(i) размеров (n–1)хр получается путём удаления i-й строки x_iс=[1, x_i1,..., x_i(р-1)] из матрицы X, а вектор y_(i) размеров (n–1)х1 значений переменных отклика получается после удаления из вектора y элемента y_i, соответствующего строке x_iс.

Вектор  можно найти также по формуле

=–(X^ТX)^–1x_i.                                          (8.6.6)

Она получается следующим образом. Разделяя матрицу Х по строкам и выделяя произведение i-й строки на саму себя и на y_i, представим произведения X^ТX и Х^Ty в виде

X^ТX==[x₁, x₂, …, x_n]

==+x_ix_ic

=X_(i)^TX_(i)+x_ix_ic,                                                        (8.6.7)

где x₁, x₂, …, x_n - столбцы матрицы X^Т, являющиеся строками матрицы Х, и

Х^Ty=[x₁, x₂, …, x_n]=

=+x_iy_i

=Х_(i)^Tу_(i)+x_iy_i.                                                        (8.6.8)

При этом вектор  оценки параметров можно записать в виде

=(X^ТX)^–1X^Тy=(X^ТX)^–1(Х_(i)^Tу_(i)+x_iy_i)

=(X^ТX)^–1Х_(i)^Tу_(i)+(X^ТX)^–1x_iy_i

откуда

(X^ТX)^–1Х_(i)^Tу_(i)=–(X^ТX)^–1x_iy_i.

Из выражения H=X(X^ТX)^–1X^Т имеем h_ii=х_ic(X^ТX)^–1х_i, где х_ic - i-я строка матрицы Х, а х_i - i-й столбец матрицы X^Т. Используя полученные выше выражения (8.6.7) и (8.6.8) произведений X^ТX и Х^Ty, а также формулу (П.5.9), получаем

=(X_(i)^ТX_(i))^–1X_(i)^Tу_(i)= (X^ТX–x_ix_ic)^–1X_(i)^Tу_(i)

=X_(i)^Tу_(i)

=X_(i)^Tу_(i).

Далее, раскрывая скобки, имеем

=(X^ТX)^–1X_(i)^Tу_(i)+(X^ТX)^–1x_ix_ic(X^ТX)^–1X_(i)^Tу_(i)/(1–h_ii)

=–(X^ТX)^–1x_iy_i+(X^ТX)^–1x_ix_ic[–(X^ТX)^–1x_iy_i]/(1–h_ii),

а при x_ic= и х_ci(X^ТX)^–1х_i=h_ii получаем

–=–(X^ТX)^–1x_iy_i+[(X^ТX)^–1x_ix_ic–(X^ТX)^–1x_ix_ic(X^ТX)^–1x_iy_i]/(1–h_ii)

=–(X^ТX)^–1x_iy_i+[(X^ТX)^–1x_i–(X^ТX)^–1x_ih_iiy_i]/(1–h_ii)

=[–(X^ТX)^–1x_iy_i+(X^ТX)^–1x_i]/(1–h_ii)

=–(X^ТX)^–1x_i(y_i–)/(1–h_ii)

=–(X^ТX)^–1x_i/(1–h_ii).

Отсюда и получается формула (8.6.6).

В силу (8.6.4) и (8.6.6), остаток  удалённого значения y_i переменной отклика можно выразить через обычный остаток  и h_ii в виде

=y_i–x_iс=y_i–x_iс[–(X_(i)^ТX_(i))^–1x_i]

=y_i–x_iс+x_iс(X_(i)^ТX_(i))^–1x_i]

=y_i–+=+

=                                                          (8.6.9)

Таким образом, п остатков удаленных значений переменных отклика могут быть получены без вычисления п регрессий.

В силу (3.2.8) и (8.4.7), дисперсия остатка  удалённого значения y_i переменной отклика имеет вид

D()=D()=D()==s²/(1–h_ii).

Оценка этой дисперсии делается так =s_(i)²/(1–h_ii). Следовательно, получаемые по формуле (8.6.3) нормированные остатки t_i можно выразить через  следующим образом

t_i=/s_(i)=.

Используемая в формуле (8.6.3) статистика s_(i)² оценки дисперсии, при удалённом резко выделяющемся значении переменной отклика, находится по формуле s_(i)²=S_E(i)/(n–р), где S_E(i)= y_(i)^Тy_(i)–^ТX_(i)^Тy_(i). Она может быть найдена без удаления этого i-го наблюдения по формуле

s_(i)²=S_E(i)/(n–р)

=[S_E–]/(n–р).                                       (8.6.10)

Так получается следующим образом. Сумму квадратов значений переменных отклика можно записать

у^Ту==+y_i²=у_(i)^Ту_(i)+y_i².

В силу Х_(i)^Tу_(i)=Х^Ty–x_iy_i, выражение =–(X_(i)^ТX_(i))^–1x_i можно представить в виде

y_(i)^TХ_(i)=(y^TХ–y_ix_iс)[–(X^TX)^–1x_i]

=y^TХ–y_ix_iс–y^TХ(X^TX)^–1x_i+y_ix_iс(X^TX)^–1x_i

=y^TХ–y_i–^Tx_i+y_ih_ii

=y^TХ–y_i–+y_ih_ii

Подставляя в него =y_i–, получаем

y_(i)^TХ_(i)=y^TХ–y_i(y_i–)–(y_i–)+y_ih_ii

=y^TХ–y_i²+(y_i–y_ih_ii–y_i++y_ih_ii)/(1–h_ii)

=y^TХ–y_i²+/(1–h_ii).

Отсюда сумма квадратов остаточных ошибок S_E(i) находится из выражения

S_E(i)=y_(i)^Ty_(i)–y_(i)^TХ_(i)

=y^Ty–у_i²–[y^TХ–y_i²+/(1–h_ii)]

=y^Ty–y^TХ+/(1–h_ii)

=S_E+/(1–h_ii).

Еще одним методом обнаружения резко выделяющихся значений переменных отклика является построение графика зависимости обычных остатков =y_i–x_iс от остатков  удаляемых значений y_i переменных отклика, рассчитываемых по формулам (8.6.4) или (8.6.9). Если при удалении i-го наблюдения в вычислении  оценка ожидаемых значений переменных отклика существенно не меняется, то точки на графике должны следовать примерно по прямой линии с единичным наклоном. Любая сравнительно отдалённая от этой линии точка является потенциально резко выделяющимся значением.

Сумма квадратов остатков предсказаний

Вычисляемые по формуле (8.6.9) остатки могут быть использованы для проверки постулируемой модели или её улучшения. В формуле (8.6.4) величина =x_iс является предсказанным значением удалённого известного значения переменной отклика. Остаток для него находится по формуле =у_i–. Этот остаток называют остатком предсказания. Сумма квадратов остатков предсказания предложена в качестве критерия способности модели осуществлять предсказания [Allen (1974)]. Она определяется в виде

S_op==

=.                                              (8.6.11)

В силу (8.6.9), остаток предсказания является просто взвешенным обычным остатком с весами, определяемыми диагональными элементами h_ii матрицы Н. Значения переменных отклика, для которых элементы h_ii имеют большие значения, будут иметь большие значения остатков предсказания. Таким образом, соответствующий большому значению h_ii остаток  вносит большой вклад в S_op. В качестве критерия насколько хорошо модель прогнозирует будущие наблюдения для определённого набора данных, сумма S_op может быть лучше, чем S_E. Когда целью разработки модели является применение её для выполнения предсказаний, то для сравнения разных моделей может использоваться сумма S_op и предпочтение должно быть отдано модели с малым её значением.

Сумму квадратов остатков предсказаний можно использовать для вычисления статистики R_p² предсказания по формуле [Myers c соавт. (2016) стр. 40]

R_p²=1–S_op/S_Tс,                                                (8.6.12)

Лекция "11 Применение микропроцессоров в приводах" также может быть Вам полезна.

где S_Tс=у^Ту–()²/n. Она численно выражает качество предсказания с использованием рассматриваемой модели.

Пример 8.6. Для данных примера 7.1 проведём анализ нормированных остатков. Рассчитанные по формуле (8.6.2) нормированные стьюдентизированные остатки r_i представлены в таблице 8.3. График кумулятивных вероятностей распределения нормированных стьюдентизированных остатков показан на Рис.8.6.1.

Этот график представляет ту же информацию, что и график кумулятивных вероятностей распределения обычных остатков на Рис.8.4.2. Так получается потому, что, как видно из таблицы 8.3.3, большинство диагональных элементов h_ii матрицы Н похожи по величине и отсутствуют необычно большие по абсолютной величине остатки. Однако иногда значения элементов h_ii значительно отличаются один от другого, и в этих случаях наилучшим является построение графиков кумулятивных вероятностей распределения нормированных стьюдентизированных остатков.

Рассчитанные по формуле (8.6.9) остатки  предсказаний представлены в таблице 8.3.3 и график зависимости обычных остатков  от остатков  показан на Рис.8.6.2. Точки на графике следуют приблизительно по прямой линии с единичным наклоном, и нет точек, находящихся далеко от этой линии и указывающих на резко выделяющиеся значения.

Найденная на основе остатков  предсказаний по формуле (8.6.12) статистика R_p²=0,487. Следовательно, ожидается, что модель коэффициента усиления транзистора описывает 48,7% изменений в предсказании новых значений коэффициента усиления.