Работа № 5. Критерий хи-квадрат проверки гипотез

Критерий хи-квадрат Пирсона является весьма общим методом построения тестов для проверки различных гипотез. Рассмотрим исходную схему.

1. Проверка простой гипотезы о вероятностях

Обозначим:

A₁, ..., A_m - m возможных исходов некоторого опыта; p₁, ..., p_m - вероятности cooтветствующих исходов, ;

n - число независимых повторений опыта;

n₁, ..., n_m - число появлений соответствующих исходов в n опытах, ;

p , ..., p - гипотетические значения вероятностей, p > 0, .

Требуется по наблюдениям n₁,...,n_m проверить гипотезу Н о том , что вероятности p₁, ..., p_m имеют значения p , ..., p , т.е.

Н: p_i= p , i=1, ...,m.

Оценками для p₁, ..., p_m являются = n₁ /n, ..., = n_m/n. Мерой расхождения между гипотетическими и эмпирическими вероятностями принимается величина

,

которая с точностью до множителя n есть усредненное с весами p значение квадрата относительного отклонения значений от p . Статистика X² называется статистикой хи-квадрат Пирсона. Для ее вычисления используются две формулы:

. (1)

Условно статистику можно записать так:

Н - наблюдаемые частоты n_i, Т - теоретические (ожидаемые) частоты np .
Поскольку по закону больших чисел ® p_i при n ® ¥, то

.

Последняя величина равна 0, если верна Н; если же Н не верна, то X² ® ¥.

Процедура проверки гипотезы состоит в том, что если величина X² приняла “слишком большое” значение, т.е. если

X² ³ h , (2)

то гипотеза Н отклоняется; если это не так, будем говорить, что наблюдения не противоречат гипотезе. На вопрос, что означает “слишком большое” значение, отвечает

Теорема К. Пирсона. Если гипотеза Н верна и p_i⁰ > 0, i=1,...,m, то при n® ¥ распределение статистики Х² асимптотически подчиняется распределению хи-квадрат с m - 1 степенями свободы, т.е.

Р{ X² < x / H } ® F_m-1(x) º P{ c²_m-1 < x }.

Порог h выберем из условия: вероятность ошибки первого рода должна быть малой - равной выбираемому значению a - уровню значимости:

P{ отклонить H / H верна} = P{ X ² ³ h / H } @ P{c²_m-1 ³ h} = a,

откуда

h = Q( 1-a, n -1) (3)

- квантиль уровня 1-a распределения хи-квадрат с m -1 степенями свободы.

Процедура (2) - (3) проверки Н может быть записана иначе: гипотеза Н отклоняется, если

P{c²_m-1 ³ X²} £ a , (4)

т.е. если мала вероятность получения (при справедливости Н) такого же расхождения, как в опыте (т.е. X²), или ещё большего. Вероятность слева в (4) называется минимальным уровнем значимости (при любом значении a, большем P{X²_m-1 ³ X²}, гипотеза, очевидно, отклоняется).

Замечание. Теорему Пирсона можно применять, если все ожидаемые частоты

np ³ 10, i=1, ...,m; (5а)

если m порядка десяти и более, достаточно выполнения

np ³ 4, i=1, ...,m. (5б)

Если (5) не выполняется, необходимо некоторые исходы А_i объединять

2. Проверка сложной гипотезы о вероятностях

Пусть A₁, ...,A_m - m исходов некоторого опыта, n - число независимых повторений опыта, n₁,...,n_m - числа появлений исходов. Проверяемая гипотеза Н предполагает, что вероятности исходов P(A_i) являются известными функциями p_i(a) k-мерного параметра a = (a₁,...,a_k), т.е.

Н: Р(А_i) = p_i(a), i = 1, ..., m,

но значение а неизвестно.

Для проверки гипотезы Н определим статистику

(6)

По теореме Фишера, если Н верна, то при n ® ¥ распределение статистики Х² асимптотически подчиняется распределению хи-квадрат с числом степеней свободы f = m -1- k, и потому отклоняем Н, если

³ h, (7)

где h = Q(1-a, f) - квантиль уровня 1- a распределения хи-квадрат с числом степеней свободы f; такой порог обеспечивает выбранный уровень a вероятности P(отклонить Н / Н) ошибки 1-го рода. Если (7) не выполняется, делаем вывод, что наблюдения не противоречат гипотезе. Распределению хи-квадрат с f = m -1- k степенями свободы асимптотически подчиняется также статистика

, (8)

где - оценка максимального правдоподобия для а, и потому в (7) может быть использована статистика (8) вместо (6). Процедура (7) может быть записана иначе: если

P{c_f² ³ X²} £ a (9)

то гипотеза Н отклоняется.

3. Проверка гипотезы о типе распределения

Пусть требуется проверить гипотезу о том, что выборка x₁, ..., x_n извлечена из совокупности, распределенной по некоторому закону, известному с точностью до k-мерного параметра а=(а₁,...,а_k). Оказываются теоретически обоснованными следующие действия: разобьем весь диапазон наблюдений на m интервалов, определим значения n_i -число наблюдений в i-м интервале, получим значение оценки минимизацией (6) или методом максимального правдоподобия, определим вероятности p_i( ) попадания в i-й интервал, вычислим (6) или (8) и примем решение по (7).

Пример 1. Проверка нормальности. Проверим гипотезу о нормальном законе распределения размеров головок заклепок, сделанных на одном станке, по выборке объема n = 200; измерения приведены в таблице 1 [1, с.15]. Оценками для а (среднего) и s (стандартного отклонения) являются

и .

Таблица 1.

Диаметры 200 головок заклепок, мм
13.39	13.33	13.56	13.38	13.43	13.37	13.53	13.40	13.25	13.37
13.28	13.34	13.50	13.38	13.38	13.45	13.47	13.62	13.45	13.39
13.53	13.58	13.32	13.27	13.42	13.40	13.57	13.46	13.33	13.40
13.57	13.36	13.43	13.38	13.26	13.52	13.35	13.29	13.48	13.43
13.40	13.39	13.50	13.52	13.39	13.39	13.46	13.29	13.55	13.31
13.29	13.33	13.38	13.61	13.55	13.40	13.20	13.31	13.46	13.13
13.43	13.51	13.50	13.38	13.44	13.62	13.42	13.54	13.31	13.58
13.41	13.49	13.42	13.45	13.34	13.47	13.48	13.59	13.20	14.56
13.55	13.44	13.50	13.40	13.48	13.29	13.31	13.42	13.32	13.48
13.43	13.26	13.58	13.38	13.48	13.45	13.29	13.32	13.24	13.38
13.34	13.14	13.31	13.51	13.59	13.32	13.52	13.57	13.62	13.29
13.23	13.37	13.64	13.30	13.40	13.58	13.24	13.32	13.52	13.50
13.43	13.58	13.63	13.48	13.34	13.37	13.18	13.50	13.45	13.60
13.38	13.33	13.57	13.28	13.32	13.40	13.40	13.33	13.20	13.44
13.34	13.54	13.40	13.47	13.28	13.41	13.39	13.48	13.42	13.46
13.28	13.46	13.37	13.53	13.43	13.30	13.45	13.40	13.45	13.40
13.33	13.39	13.56	13.46	13.26	13.35	13.42	13.36	13.44	13.41
13.43	13.51	13.51	13.24	13.34	13.28	13.37	13.54	13.43	13.35
13.52	13.23	13.48	13.48	13.54	13.41	13.51	13.44	13.36	13.36
13.53	13.44	13.69	13.66	13.32	13.26	13.51	13.38	13.46	13.34

Выполнение в пакете STATISTICA

Предполагается, что операции работы № 2 из [4] освоены.

Результаты измерения диаметров заклепок занесем в таблицу с одним столбцом (d) и 200 строками; соответствующий файл назовем, например, Diamz.sta. Работаем в модуле Nonparametric Statistics (непараметрическая статистика), Distribution Fitting (подбор распределения). В поле Continuous Distributions: Normal - Variable: d - в поле Plot distribution: Frequency distribution (частоты распределения) - отказываемся от теста Колмогорова - Смирнова - ОК - наблюдаем оценки параметров Mean: 13.42, Variance: 0.018, соглашаемся с параметрами группирования (в частности, c числом групп Number of categories: 19) - ОК.

Наблюдаем таблицу частот, в которой нам нужны столбцы observed frequency (наблюдаемые частоты) и expected frequency (ожидаемые частоты). Сравним графически наблюдаемые и ожидаемые частоты: выделим соответствующие столбцы - Graphs - Custom Graphs - 2D Graphs...- OK.. Наблюдаем некоторое различие.

В таблице приведено значение статистики (8) Chi-Square: 12.00, количество степеней свободы d.f. = 3, которое получилось при объединении интервалов для выполнения условий (5): f = 6 - 1 - 2 = 3. Приведено значение вероятности

Рí c² ₃ ³ 12.00ý = р = 0.007.

последнее означает, что если гипотеза верна, вероятность получить 12.00 или больше равна 0.007 - слишком мала, чтобы поверить в нормальность. Гипотезу о нормальности отклоняем.

Если посмотреть гистограмму наблюдений, видно, что в выборке имеется одно аномальное значение 14.56 (№ 188), которое могло появиться в результате какой-либо ошибки (при записи наблюдений, при перепечатке или попалась деталь с другого станка и т.д.). Удалим его и снова проверим гипотезу. Удаление одного наблюдения, если оно типично, не может изменить характеристики совокупности из 200 элементов; если же изменение происходит, следовательно, это наблюдение типичным не является и должно быть удалено.

Чтобы не портить исходные данные, продублируем их в новый столбец, например, dc, и удалим аномальное наблюдение.

Повторим проверку гипотезы для “цензурированной” выборки и убедимся в том, что наблюдения не противоречат гипотезе о нормальности.

4. Примеры проверки простой гипотезы о распределении

Пример 2. Проверим генератор случайных чисел. Сгенерируем выборку заданного объема с заданным в таблице 2 законом распределения, и по полученным результатам проверим гипотезу о согласии данных с этим распределением (файл с выборкой назовем, например, Chisqr). В таблице приняты обозначения для распределений: R - равномерное, N -нормальное, E - показательное, Bi - биномиальное, Po - Пуассона.

Таблица 2. Исходные данные.

№ варианта	1	2	3			4	5	6
Распределение Объем	R[0, 5] 130	N(10, 22=4) 140	E(3) 140			Bi(10, 0.5) 160	Po(15) 130	beta(1, 1) 140
№ варианта	7	8	9	10			11	12
Распределение Объем	R[0, 10] 130	N(15, 32=9) 160	E(5) 130	Bi(15, 0.3) 140			Po(20) 150	beta(2, 2) 160
№ варианта	13	14	15
Распределение Объем	R[-1, 1] 130	N(0, 1) 140	E(1) 150

Выполнение в пакете STATISTICA

Выполнение аналогично предыдущему.

Отличия от предыдущего: 1) в окне Fitting Continuous Distribution нужно ввести значения параметров распределения (вместо их оценок) и, возможно, поправить параметры группировки; 2) приводимый результат для уровня значимости р не соответствует рассматриваемому случаю, так как число степеней свободы d.f. должно быть равным m -1; пакет же указывает с учетом числа оцениваемых параметров. Нужное значение для р получим в модуле Basic Statistics and Tables в Probability calculator.

Пример 3. В опытах по генетике Мендель наблюдал частоты появления различных видов семян, получаемых при скрещивании гороха с круглыми желтыми и с морщинистыми зелеными семенами [2]. Частоты приведены в таблице 3 вместе с теоретическими вероятностями.

Таблица 3. Частоты видов семян.

Семена	Наблюдаемая частота, ni	Теоретическая вероятность, pi
Круглые и желтые Морщинистые и желтые Круглые и зеленые Морщинистые и зеленые	315 101 108 32	9/16 3/16 3/16 1/16
Сумма	n = 556

Формула (1) дает X² = 0.47. При числе степеней свободы m-1 = 3

P{ ³ 0.47 } = 0.92,

так что между наблюдениями и теорией имеется очень хорошее согласие: критерий с любым уровнем значимости a £ 0.92 не отвергал бы эту гипотезу .

Выполнение в пакете STATISTICA

Выполнить самостоятельно. Воспользоваться операциями со столбцами или процедурой Observed versus expected (наблюдаемые частоты против ожидаемых).

5. Проверка гипотезы о независимости признаков (таблица сопряженности признаков)

Предположим, имеется большая совокупность объектов, каждый из которых обладает двумя признаками А и В; признак А имеет m уровней: A₁, ..., A_m, а признак В – k уровней: B₁, ..., B_k . Пусть уровень А_i встречается с вероятностью P(A_i), а уровень B_j - c вероятностью P(B_j). Признаки А и В независимы, если

P(A_i B_j) = P(A_i)×P(B_j), i = 1, ..., m, j = 1, ..., k , (10)

т.е. вероятность встретить комбинацию A_i B_j равна произведению вероятностей. Пусть признаки определены на n объектах, случайно извлеченных из совокупности; n_ij - число объектов, имеющих комбинацию A_i B_j, =n. По совокупности наблюдений {n_ij } (таблица m´ k) требуется проверить гипотезу Н о независимости признаков А и В. Задача сводится к случаю с неизвестными параметрами; ими являются вероятности

P(A_i), i = 1, ..., m; P(B_j), j = 1, ..., k,

всего (m-1) + (k-1); их оценки:

,

(в обозначениях точка означает суммирование по соответствующему индексу), и статистика (6) принимает вид:

. (11)

Если гипотеза Н верна, то по теореме Фишера асимптотически распределена по закону хи-квадрат с числом степеней свободы

f = mk - 1 - (m - 1) - (k - 1) = (m - 1)(k - 1),

и потому, если

, (12)

то гипотезу о независимости признаков следует отклонить.

Ясно, что по (11) - (12) можно проверять независимость двух случайных величин, разбив диапазоны их значений на m и k частей.

Пример 4. Данные [2], собранные по ряду школ, относительно физических недостатков школьников (P₁, P₂, P₃ - признак А) и дефектов речи (S₁, S₂, S₃ - признак В) приведены в таблице 4. В таблице 5 даны частоты.

Для проверки гипотезы о независимости этих двух признаков вычислим статистику (11): = 34.88; число степеней свободы f = (3-1)´(3-1) = 4; минимальный уровень значимости

;

это значит, что при независимых признаках вероятность получить значение такое же, как в опыте или большее, меньше 0.001, и потому гипотезу о независимости следует отклонить.

Выполнение в пакете STATISTICA

Образуем таблицу с двумя столбцами (P и S) и 217 строками и назовем ее Defects.sta (это действие опускаем, если данные уже есть в компьютере). Работаем в модуле Basic Statistics and Tables:

Analysis - Tables and banners - в окне Specify Table, в поле Analysis: Crosstabulation tables - кнопка Specify Table - отбираем признаки: list 1: P, list 2: S - OK - OK - в окне Crosstabulation Tables Results (результаты таблиц сопряженности) отмечаем (потребуем определить) Expected frequencies (ожидаемые или теоретические частоты) и Pearson Chi-Square - Review Summary tables.

Таблица 4.

Дефекты речи (S) и физические недостатки (P) 217 школьников

P

S

P

S

P

S

P

S

P

S

P

S

P

S

P

S

P

S

1

P1

S1

P1

S1

P3

S2

P2

S2

P1

S3

P1

S1

P1

S1

P2

S1

P3

S3

2

P2

S3

P2

S2

P1

S3

P1

S1

P2

S2

P2

S1

P2

S2

P3

S3

P1

S1

3

P1

S1

P2

S3

P1

S2

P1

S1

P2

S2

P2

S2

P1

S3

P3

S2

P2

S3

4

P1

S2

P2

S3

P3

S1

P2

S1

P2

S2

P3

S3

P1

S1

P2

S1

P1

S3

5

P1

S1

P2

S1

P2

S1

P1

S1

P1

S1

P2

S1

P2

S2

P2

S3

P2

S2

6

P3

S1

P1

S2

P3

S3

P2

S2

P1

S3

P1

S1

P2

S3

P1

S1

P2

S1

7

P1

S1

P2

S3

P1

S2

P2

S2

P2

S1

P1

S2

P1

S3

P2

S3

P1

S1

8

P1

S2

P1

S1

P2

S3

P1

S2

P2

S2

P1

S3

P2

S2

P2

S2

P3

S3

9

P2

S2

P2

S1

P1

S2

P1

S1

P2

S2

P2

S3

P2

S3

P1

S2

P2

S1

10

P2

S2

P2

S1

P2

S2

P1

S3

P3

S3

P1

S1

P1

S3

P2

S2

P2

S2

11

P2

S2

P2

S1

P1

S2

P1

S2

P2

S1

P1

S1

P1

S3

P1

S2

P1

S1

12

P1

S2

P2

S2

P1

S2

P2

S2

P1

S1

P1

S1

P1

S1

P2

S3

P2

S1

13

P1

S1

P3

S3

P2

S2

P2

S2

P2

S2

P2

S1

P2

S3

P2

S2

P2

S2

14

P2

S3

P1

S1

P2

S3

P2

S1

P2

S1

P1

S2

P2

S1

P1

S2

P3

S3

15

P2

S1

P1

S1

P3

S2

P2

S2

P1

S1

P2

S2

P3

S2

P2

S2

P1

S2

16

P2

S1

P2

S1

P1

S2

P2

S1

P2

S2

P3

S3

P2

S2

P2

S3

P3

S3

17

P3

S2

P1

S1

P2

S2

P3

S3

P1

S1

P2

S1

P2

S2

P1

S1

P1

S2

18

P1

S1

P2

S2

P1

S1

P3

S2

P3

S3

P2

S2

P1

S2

P1

S2

19

P1

S2

P3

S3

P2

S1

P1

S1

P1

S1

P2

S2

P1

S1

P1

S1

20

P3

S3

P3

S3

P1

S1

P1

S1

P3

S2

P1

S1

P1

S1

P2

S1

21

P2

S2

P2

S1

P2

S3

P3

S2

P2

S2

P1

S2

P2

S1

P2

S2

22

P1

S3

P1

S1

P2

S2

P2

S2

P3

S1

P2

S2

P2

S3

P1

S1

23

P2

S3

P2

S2

P3

S3

P3

S3

P1

S1

P2

S1

P1

S1

P2

S1

24

P3

S2

P2

S2

P2

S3

P1

S3

P2

S2

P3

S2

P2

S2

P1

S2

25

P3

S1

P2

S3

P2

S1

P1

S2

P2

S2

P1

S2

P2

S1

P2

S2

Таблица 5. Таблица частот.

	S1 S2 S3	Сумма
P1 P2 P3	45 26 12 32 50 21 4 10 17	83 103 31
Сумма	81 86 50	217

Наблюдаем две таблицы: таблицу частот Summary Frequency Table и Expected Frequencies; в верхней части последней указано значение статистики (11) (Chi-square), число степеней свободы df и уровень значимости р (вероятность в (12)). Поскольку значение р мало, гипотеза о независимости речевых дефектов и физических отклоняется.

Замечание 1. Если бы исходные признаки Х, Y,... были не символьными, а числовыми, нужно было бы сначала их классифицировать: разбить диапазон значений на части, и для каждой ввести свой символ (например, х1, х2, ..., y1, y2, ...) введением дополнительных столбцов и использованием операции Recode... (кнопка Vars или Edit - Variables).

Замечание 2. Если бы исходными данными являлась таблица частот, то анализ можно было провести в модуле Log - Linear Analysis (как в п.6).

6. Проверка гипотезы об однородности выборок

Пусть имеется m выборок объемами n₁,..., n_m, извлеченных из различных совокупностей. Измеряемая величина в каждой из выборок может иметь k уровней B₁, ..., B_k. Требуется проверить гипотезу о том, что исходные совокупности распределены одинаково. Обозначим n_ij - число наблюдений в i-й выборке, имеющих уровень B_j, . Имеем таблицу m´k наблюдений налогично предыдущему пункту 5. Можно показать, что для проверки гипотезы справедлива процедура (11) - (12).

Пример 5. Имеются данные [3] о наличии примесей серы в углеродистой стали, выплавляемой двумя заводами (см. таблицу 6).

Таблица 6. Число плавок

	Содержание серы, 10-2 %
	0¸2	2¸4	4¸6	6¸8	Сумма
Завод 1 Завод 2	82 63	535 429	1173 995	1714 1307	3504 2794
Сумма	145	964	2168	3021

Проверим гипотезу о том, что распределения содержания серы (нежелательный фактор) одинаковы на этих заводах.

По (11) находим: = 3.39. Число степеней свободы f = (2-1)´(4-1) = 3; квантиль уровня 0.95

h = Q(0.95, 3) = 7.8.

Полученное нами из опыта значение 3.39 лежит в области допустимых значений, и потому у нас нет оснований считать, что содержание серы в стали этих заводов имеют различные распределения.

Выполнение в пакете STATISTICA

Образуем таблицу 2 ´ 4, в которую занесем данные; столбцы назовем, например, S1 ¸ S4 (сера) , а строки - Z1, Z2 (заводы). Работаем в модуле Log - Linear Analysis:

Analysis - Startup Panel - в поле Input file: Frequencies w/out coding variables (частоты без кодирующих переменных) - Variables:Select All - OK - Specify table (спецификация таблицы): Factor Name: S, No. of levels (число уровней): 4, Factor Name: Z, No. of levels: 2 - OK - OK. - в окне Log - Linear Model Specification выполним Test all marginal.

В таблице Results of Fitting... в последней строке столбца Person Chi-Squ получаем Х² = 3.59, число степеней свободы Degrs of Freedom f = 3, и уровень значимости Probab. p = 0.31. поскольку эта вероятность не мала (не является значимой), гипотезу об одинаковом распределении содержания серы в металле на двух заводах можно принять (вернее, наблюдения этому не противоречат).

7. Задание

1. Выполнить все описанные примеры.

2. Проверить генератор случайных чисел (пример 1 в п. 4).

3. Проверить гипотезу о типе распределения на основе сгенерированной по заданному в таблице 7 закону выборке объема n. Проверить три гипотезы: о нормальности, о равномерности и о показательности.

Таблица 7. Исходные данные

№ варианта	1	2		3	4		5
Распределение Объем	N[0, 1] 80	R[-1, 1] 100		E(3) 150	N(10, 4) 80		R[0, 10] 100
№ варианта	6		7	8		9		10
Распределение Объем	E(5) 150		N(15, 4) 80	R[5, 15] 100		E(10) 150		R[20, 25] 80

4. Проверить гипотезу об однородности трех выборок.

Сгенерировать три выборки объемами n₁ = 180, n₂ = 100, n₃ = 120 для заданного в таблице 8 распределения. Провести их группирование на 8 ÷ 10 интервалах. Сделать все для 2-х вариантов:

а) параметры одинаковы;

б) параметры различны.

Таблица 8. Исходные данные.

N	Тип	вариант1	вариант 2
		a1 = a2 = a3	a1	a2	a3
1 2 3 4 5 6 7 8 9 10	N(a, 1) E(a) Po(a) N(a, 2) E(a) Po(a) N(a, 3) E(a) Po(a) N(a, 4)	10 10 10 20 20 20 30 30 30 40	9.8 8.0 9.5 19.5 16.0 19.0 29.4 24.0 28.0 39.0	10 10 10 20 20 20 30 30 30 40	11.2 12.0 11.5 21.5 24.0 21.0 30.6 36.0 32.0 41.0

выполнение в пакете STATISTICA

Группирование провести процедурой Frequency tables, и из трех таблиц сформировать одну. Гипотезу об однородности проверить аналогично п.6.

Отчет по работе должен содержать:

1) краткое описание критерия хи-квадрат;

2) постановки конкретных задач;

3) несколько значений анализируемых выборок;

1. сгруппированные данные;

5) результаты основных вычислений и статистические выводы.

12