Влиятельные наблюдения

8.7. Влиятельные наблюдения

В предыдущем разделе был рассмотрен поиск резко выделяющихся значений переменных отклика, которые не согласуются с моделью. В этом разделе рассмотрим влияние на векторы  и =X оказываемое удалением наблюдения (y_i, x_iс). Наблюдение, делающее наибольшую разницу в результатах этих оценок, называется влиятельным наблюдением. Точка (y_i, x_iс) в пространстве значений переменных отклика и факторов является потенциально влиятельной, если она стоит отдельно от остальных данных по оси у или находится необычно далеко от центра значений влияющих на переменные отклика факторов.

На Рис. 8.7.1 показаны влиятельные наблюдения для случая с одним фактором х [Rencher, Schaalje (2008) стр. 236]. Точки 1 и 3 являются резко выделяющимися значениями по оси х, а точки 2 и 3 скорее всего появятся в качестве резко выделяющихся значений по оси у. Даже с учётом того, что точка 1 является крайней по оси х, она не будет сильно влиять на оценку параметров модели. Точка 3 будет иметь значительное влияние на результат оценки параметров, так как она сильно удалена от остальных данных. Точка 2 также будет влиять, но гораздо в меньшей степени, чем точка 3.

Таким образом, влиятельные наблюдения находятся в областях, где не было собрано никаких других данных. Такие наблюдения могут быть использованы иногда в ущерб другим нужным данным.

Рис. 8.7.1. Значения переменных отклика, включающие три резко выделяющиеся.

Чтобы исследовать влияние каждого наблюдения, начнём с рассмотрения вектора =Hy оценки ожидаемых значений переменных отклика, элементами которого являются

==h_iiy_i+.                                     (8.7.1)

В соответствии с (8.5.5), если значение h_ii близко к 1, то все h_ij, у которых j≠i, имеют малые значения и, в силу (8.7.1), значение y_i i-й переменной отклика вносит гораздо больший вклад в , чем значения других переменных отклика. Поэтому h_ii называют рычагом значения y_i. Однако лучше называть его коэффициентом влияния. Значения переменных отклика с большими коэффициентами влияния имеют большое влияние на результаты регрессии. В общем, если наблюдение (y_i, x_iс) имеет значение h_ii близкое к 1, то результат оценки ожидаемого значения переменной отклика будет близок к измеряемому её значению y_i, то есть, разность y_i– будет малой.

Рекомендуемые материалы

По пункту 4 теоремы 8.5 усреднённое значение элементов h_ii равно р/п. Полагается, что значение переменной отклика с коэффициентом h_ii>2р/п имеет большое влияние [Hoaglin и Welsch (1978)]. Однако таким может быть любое наблюдение отклика, значение h_ii которого необычно большое по сравнению с другими значениями h_ii.

С точки зрения построения модели на основе данных эксперимента, значения переменных отклика с большими коэффициентами влияния могут быть хорошими либо плохими, как показано на Рис. 8.7.1 точками 1 и 3. Точка 1 может уменьшить дисперсии  и . С другой стороны, точка 3 радикально изменит результат оценки параметров модели. Если точка 3 не является результатом неверной записи, то приходится выбирать между двумя разными получаемыми моделями. Как правило, пока не появятся дополнительные данные, соответствующая основной части данных модель является предпочтительной.

Для анализа влияния наблюдения (y_i, x_iс) рассмотрим влияние его удаления на векторы  и =X. Получаемая при удалённом i-м наблюдении (y_i, x_iс) оценка вектора параметров модели делается по формуле =(Х_(i)^TX_(i))^–1Х_(i)^Ty_(i). При этом можно сравнить векторы  и  с помощью меры Кука [Cook, Weisberg (1982) стр. 116], определяемой выражением

d_i=                                       (8.7.2)

и являющейся квадратичной формой относительно разности векторов  и  с матрицей Х^TX. Эту статистику можно записать в виде

d_i=

=,                                                (8.7.3)

где d_i пропорциональна обычному евклидову расстоянию между  и . Таким образом, если значение статистики d_i велико, то наблюдение (y_i, x_iс) имеет существенное влияние на векторы  и .

Можно использовать более удобную формулу вычисления d_i. Она получается путем подстановки (8.6.6) в (8.7.2) в виде

d_i=x_ic(X^ТX)^–1(X^ТX)^–1x_i

=

и, в силу (8.6.2), преобразуется в

d_i=.                                                            (8.7.4)

В статье [Muller, Mok (1997)] обсуждается распределение статистики d_i и даётся таблица критических значений.

Для данных примера 7.1 в таблице 8.3.3 приведены полученные по формуле (8.7.4) значения статистики d_i. Наибольшее значение этой статистики получено для второго опыта. Следовательно, данные этого опыта сильно влияют на векторы  и . Для этого опыта наблюдаются также большие значения обычного остатка  и нормированного остатка r₂. Всё это указывает на то, что полученное в этом опыте значение переменной отклика является влиятельным наблюдением.

Упражнения

8.1. Дайте альтернативное доказательство, что С() =s²(X₁^ТX₁)^–1 в (8.2.5), используя определение С() =E{[–E()][(–E()]^T} в (3.3.4).

8.2. Покажите, что x_01с смещено при оценке x_01сb₁, если b₂≠0 и X₁^TX₂≠О.

8.3. Покажите, что D(x_01с) ≥ D(x_01с).

8.4. Покажите, что для модели у_i=b₁^*x_i+e_i^* без постоянного члена результатом оценки параметра b₁^* методом наименьших квадратов является =, как в (8.2.10).

Если Вам понравилась эта лекция, то понравится и эта - 4 Методы изучения конфликта.

8.5. Получите E()= в (8.2.11), используя Е()=b₁+Аb₂ из (8.2.4).

8.6. Допустим, что используется модель у_i=b₀^*+b₁^*x_i+e_i^* когда правильной моделью является у_i=b₀+b₁x_i+b₂x_i²+b₃x_i³+e_i.

(а) Используя (8.2.4), найдите E() и E(), если наблюдения получены при х = –3, –2, –1, 0, 1, 2, 3.

(б) Используя (8.2.9), найдите E(s₁²) для тех же значений х.

8.7. Покажите, что Х_О=Х₂–Х₁А ортогональна матрице X₁, то есть X₁^TX_О=O.

8.8. В доказательстве пункта 3 теоремы 8.5 убедитесь, что максимальное значение h_ii–h_ii² равно 1/4.