Рандомизированный сдвоенный план

10.2. Рандомизированный сдвоенный план

Можно значительно увеличить точность сравнений, делая их в пределах подобранных пар объектов эксперимента. Рандомизация в этом случае осуществляется чрезвычайно легко и может обеспечить правильность таких экспериментов. Покажем это на примере эксперимента с ботинками мальчиков [Box с соавт. (2005) стр. 81].

В таблице 10.2.1 представлены данные результатов измерений износа подошв ботинок, которые носили 10 мальчиков. Подошвы ботинок были изготовлены из двух разных синтетических материалов, а именно, стандартного А и более дешёвого В. Данные износа показаны на Рис.10.2.1 чёрными кружками для материала А и белыми кружками для материала В. На рисунке нет ясного представления, что один материал более износостойкий чем другой.

Таблица 10.2.1. Результаты эксперимента с ботинками мальчиков

Рис.10.2.1. График данных износа для двух различных материалов А и В.

В этом эксперименте опыты проводились сдваиванием, то есть каждый мальчик носил пару ботинок, у которых одна подошва была из материала А, а другая из материала В. Решение об изготовлении левой или правой подошв из А или В осуществлялось подбрасыванием монеты. В опытах некоторые мальчики износили подошвы ботинок больше чем другие, однако для каждого мальчика его пара ботинок подвергалась одинаковому рассмотрению, то есть находилась разность износов подошв из материалов В и А. При этом, рассматривая 10 разностей В–А износа подошв пар ботинок, большая часть вариации износа от мальчика к мальчику устраняется. План эксперимента такого типа называется рандомизированным планом сдвоенного сравнения.

Заметим, что в то время как желательно, чтобы ошибка эксперимента внутри пар ботинок была малой, нет необходимости и даже желания, чтобы вариацию между парами делать малой. Сначала можно подумать, что было бы лучше выполнить все опыты с одним и тем же мальчиком, но на самом деле это не так. Если бы это было сделано, то выводы были бы применимы только к этому отдельному мальчику. Использование 10 разных мальчиков вносит в эксперимент то, что Фишер называл «более широкой индуктивной основой». При этом получаемые выводы много меньше зависят от выбора мальчиков. Такая идея экспериментирования является особым случаем для разработки устойчивых к различным воздействиям изделий, как будет обсуждаться позднее. Здесь же можно сказать, что получаемые на основе эксперимента выводы не зависят от выбора мальчиков.

Анализ данных эксперимента по плану сдвоенного сравнения

Материал А был стандартным, а материал В был более дешёвым его заменителем. Опасались, что такая замена даст в результате увеличение износа. Задачей эксперимента было проверить гипотезу, что при замене материала А на В не происходит изменения износа, в сравнении с тем, что при использовании материала В наблюдается увеличение износа. Данные этого эксперимента приведены в таблице 10.2.1.

Рандомизация эксперимента сдвоенного сравнения осуществлялась путём подбрасывания монеты. Выпадение герба означало, что левую подошву изготовляли из материал А. Результаты подбрасывания монеты получены следующими:

Л         Л         П         Л         П         Л         Л         Л         П         Л,

приводя к показанной в таблице 10.2.1 последовательности опытов.

Будем считать нулевую гипотезу верной, то есть, что износ подошв из материалов А и В одинаковый. Согласно этой гипотезе, данные парам результатов износа обозначения просто определяют знак разности В–А. Каждая последовательность из 10 результатов подбрасывания монеты является одной из 2¹⁰=1024 равновероятных последовательностей. Поэтому, для проверки нулевой гипотезы, полученная в эксперименте усреднённая разность 0,41 может быть сравнена с другими 1024 усреднёнными разностей, вычисленными для каждой из 1024 возможных последовательностей знаков + и – в выражении

=.                                          (3.2.1)

Для вычисления этих усреднённых необходима матрица размеров 1024х10 с расположенными в случайном порядке элементами из чисел +1 и –1. На компьютере такая матрица может быть получена с использованием функции RANDBETWEEN(1,2) программы Microsoft Excel. Эта функция позволяет получить требуемую матрицу с элементами в виде двух чисел, которые можно заменить на +1 и –1 с использованием Microsoft Word. Далее, используя программу Mathcad, эта матрица умножается справа на вектор абсолютных значений столбца разностей d=B–A таблицы 10.2.1 и получаемый вектор делится на 10. Результат такого вычисления даёт 1024 усреднённых разности.

Гистограмма этих усреднённых разностей вместе с графиком функции плотности вероятности надлежащим образом нормированного нормального распределения, показаны на Рис.10.2.2.

Для полученного в эксперименте значения =0,41 только 9 из 1024 усреднённых разностей, вычисленных путём изменений знаков + и – в выражении (3.2.1), дают значения  равные или большие чем 0,41. Таким образом, уровень вероятности получается 9/1024≈0,009. Следовательно в результате этой рандомизированной проверки получается, что использование более дешёвого материала В даёт весьма статистически значимое увеличение износа.

Рис.10.2.2. Гистограмма усреднённых разностей и график функции плотности вероятности нормированного нормального распределения

Проверка с использованием распределения t

Рассмотрим снова приведённые в таблице 10.2.1 разности d. Если гипотеза случайного выбора их усреднённых из нормально распределённой популяции со средним δ верна, то можно использовать распределение t для сравнения усреднённых  с любым гипотетическим значением δ₀ среднего δ. Если существует n разностей, то оценка их дисперсии делается по формуле

s_d²==0,149

и оценки стандартного отклонения разностей и их усреднённых делаются соответственно по формулам

s_d ==0,387 и ===0,122.

Соответствующее нулевой гипотезе δ₀=0 значение статистики t_р0 получается так

t_р0===3,35.

Уровень вероятности Pr(t_р≥3,35) для этого значения статистики можно взять из таблицы значений вероятности распределения t с v=9 степенями свободы или найти по формуле

Pr(t_р>3,35)=1–pt(3,35, 9)≈0,004,

используя компьютерную программу Mathcad. Этот уровень вероятности согласуется со значением 0,009, полученным в результате проверки с использованием множества из 1024 усреднённых разностей.

Упражнение 10.2.1. Используя обычную нулевую гипотезу, создайте распределение для сравнения и соответствующее распределение t и вычислите основанные на каждом уровни вероятности для полученных по рандомизированному сдвоенному плану для сравнения следующих данных:

Упражнение 10.2.2. Повторите предыдущее упражнение со следующими данными:

Обсуждение рассмотренных проверок

Из приведённых примеров проверок с использованием рандомизации и перестановок, а также связанных с ними проверок на основе распределения t может возникнуть впечатление, что этими проверками всегда можно воспользоваться. Следующий пример показывает, что это не так. Из него следует, что для сравнения двух средних полученное с использованием рандомизации распределение может не аппроксимироваться нормальным [Ludbrook, Dudley (1998)].

В примере полагалось, что посещающим тренировочный центр 12 мужчинам было предложено участвовать «в эксперименте, чтобы установить, что питание рыбой (а не мясом) приводит к более низким концентрациям холестерина плазмы, чем питание мясом (а не рыбой)». Мужчины были случайно распределены по питающимся рыбой или мясом группам и далее считалось, что в конце одного года питания их измеряемые концентрации холестерина были следующими:

Отметим, что большинство исследователей заметили бы выделяющееся значение 11,50 в питавшейся мясом группе (см. графики кумулятивных вероятностей данных на Рис.10.2.3). При этом утверждается, что это не было результатом неверной записи или использования некоторой другой процедуры измерения.

Считая верной гипотезу, что питание рыбой или мясом не меняет концентрации холестерина плазмы, и используя комбинации, можно вычислить множество разностей между усреднёнными _мясо–_рыба по представленной в приложении к этой главе методике, а также построить на Рис.10.2.4 их гистограмму. Эта гистограмма представляет распределение с двумя вершинами непохожее на симметричное нормальное распределение.

Рис.10.2.3. Графики кумулятивных вероятностей распределения данных для питавшихся рыбой или мясом

Рис.10.2.4. Гистограмма сдвоенного распределения для разностей _мясо–_рыба

В реальном исследовании, обнаружив, что резко выделяющийся результат является действительным (а не ошибкой записи), было бы очень важно задать вопрос: «Может было что-то не так с рассматриваемым объектом или с этим отдельным опытом, который дал резко выделяющийся результат?» Все ли измерения холестерина были сделаны в одной и той же лаборатории? Каковы были записи холестерина для мужчин в начале изучения? Отклоняющийся от нормы мужчина, не член ли фамилии, у которой уровни холестерина были свойственны данной местности? Не прекратил ли мужчина ходить на тренировки? Не изменил ли он вид тренировок? Не подтверждают ли проверки физического состояния и соответствующие лабораторные анализы другие аномалии? В реальном научном исследовании ответы на такие вопросы в большой степени повлияли бы на направление последующего исследования.

Поставленный статистический вопрос был: «Является ли нулевая гипотеза верной, что питающиеся мясом и рыбой являются представителями одной и той же популяции или из двух популяций с разными средними?» Однако если любое из приведённых выше объяснений было бы найдено правильным, то отклоняющееся от нормы наблюдение было бы из третей популяции (например, питающихся мясом, кто были членами фамилии с высоким уровнем холестерина). При этом выделяющееся наблюдение является членом иного подмножества и полученное на основе двух выборок распределение для сравнения, найденное на основе рандомизации и комбинаций, не является пригодным для сравнения.

Левая часть гистограммы на Рис.10.2.4 получается в основном из-за отклоняющегося от нормы значения 11,50. Почти все выборки левого горба содержат отклоняющееся от нормы значение для усреднённых _мясо и те, что в правом горбе - для усреднённых _рыба. В последующем исследовании этих данных не должно использоваться это распределение с двумя вершинами для выполнения проверки значимости или поиска некоторой другой проверки, но надо постараться определить причину резко выделяющегося результата наблюдения. Если эта причина будет найдена, то может состояться наиболее важное открытие этого эксперимента.

12.3 Дальнейшее развитие культурной жизни - лекция, которая пользуется популярностью у тех, кто читал эту лекцию.

Учёт резко выделяющихся результатов наблюдений

Независимо от области экспертизы, в рассмотренных примерах присутствуют важные уроки, которые должны быть усвоены. В книгах и во многих опубликованных статьях рассматривается в основном анализ данных, которые в течение долгого времени мертвы. С резко выделяющимися от остальных наблюдениями можно иметь дело, только проводя их разные проверки. Поэтому, найдя отдельное подозрительное «множество данных», необходимо его анализировать, а затем повторно анализировать. В нём один эксперт найдёт резко выделяющееся значение, другой будет спорить, что существует, возможно, два резко выделяющихся значения, а другой скажет, что если делается соответствующее преобразование данных, то не будет ни одного резко выделяющегося значения, и так далее. Но такой анализ мертвых данных, полученных на экспериментальной установке, которой уже не существует, являются неминуемо неактивным и не может привести к каким-то определённым выводам.

Вопрос: «если вы получили эти результаты, то, что вы теперь будете делать?» редко задаётся и, если довольствоваться только анализом данных, то в любом случае с этим ничего нельзя сделать. Причина противоречивых результатов опытов, не являющихся ошибками записей, может быть найдена только наблюдением и проверкой генерирующего данные объекта и, возможно, выполнением одного или двух дополнительных опытов и обнаружением того, что сделано неправильно и может объяснить подозрительные результаты опытов. (Экспериментируйте и увидите.) Это возможно только, если непосредственно участвовать в выполнении проводимого исследования.

Таким образом, когда в исследовании получаются отклоняющиеся от нормы результаты, то необходимо пройти в лабораторию к опытной установке или испытательному стенду, где получаются данные, и выяснить, как они получаются у ответственного за эксперимент и за обстановку, окружающую процесс сбора данных. Это одна из многих причин, почему разработчик и специалист по анализу данных эксперимента должны вместе участвовать в исследовании.

Посещая лабораторию, процесс или испытательный стенд, где были получены данные, и, общаясь с выполняющим эксперименты персоналом, первое, на что необходимо обращать внимание это являются ли анализируемые данные теми же, что и данные записываемые изначально. Если не было ошибок записи, то необходимо попытаться обнаружить, не случилось ли чего-нибудь необычного при выполнении подозрительного опыта. Хорошие экспериментаторы ведут записи о выполняемых опытах эксперимента. И это рекомендуется делать всем экспериментаторам. Экспериментатор может сказать: «да, чтобы обеспечить эту особую комбинацию устанавливаемых условий, необходимо изменить другие определённые факторы» (например, использовать более высокое давление или увеличенный расход). Отступления от предписанных условий такого типа может быть причиной необычно больших значений (возможно хороших) или малых значений (возможно плохих) данных. В первом случае проявляет себя неучтённый фактор, который может использоваться для улучшения процесса, а во втором, видимо, найдены условия, которых необходимо избегать. В любом случае поиск причины появления необычных данных, вероятно, научит чему-то и укажет направление, в котором необходимо проводить дальнейшее экспериментирование.

Необходимо помнить, что инженеры и технологи вашего предприятия, как и инженеры и технологи ваших конкурентов, имеют похожее образование и владеют похожими убеждениями. Поэтому обнаружение неожиданных данных является, несомненно, важным, так как это может поставить вас впереди конкурентов. Говорят, что дыра в слое озона атмосферы была бы найдена много раньше, если бы данные постоянно передаваемые с орбитального спутника не фильтровались программой компьютера, которая автоматически удаляла или снижала резко выделяющиеся значения. Если «плохие значения» просто выбрасываются, то с ними может выбрасываться важная информация.