Ю.Н. Тюрин, А.А. Макаров - Анализ данных на компьютере (1115311), страница 90
Текст из файла (страница 90)
Цельэтой главы — всего лишь дать знакомящимся со статистикой читателям самоеобщее представление о назначении некоторых из тех областей статистики,которые не были затронуты в этой книге, а также указать список книг длядальнейшего чтения. Поэтому просим быть снисходительными к упрощениями неточностям, неизбежным при описании сути сложных научных проблем вдвух"трех абзацах.16.2. $…… …ƒВ предыдущих главах книги мы обсуждали, в основном, такие про"блемы, в которых случайная изменчивость была представлена одной(случайной) переменной. Например, у каждого наудачу выбранногообъекта мы измеряли какой"то один признак; либо при каждой комби"нации управляющих факторов измеряли одномерный отклик, и т.д.
Ис"ключение составила глава 9, в которой мы рассматривали вопросы связидвух (случайных) признаков. Там мы встретились с ситуацией, когда водном эксперименте — например, при обследовании одного объекта, —измеряются сразу несколько характеристик. В таких опытах каждое на"блюдение представляется не одним"единственным числом, а некоторымконечным набором чисел, в котором в заданном порядке записаны все461измеренные характеристики объекта.
Та часть математической стати"стики, которая исследует эксперименты с такими многомерными наблю"дениями, называется многомерным статистическим анализом.Измерение сразу нескольких признаков (свойств объектов) в одномэксперименте, в общем, более естественно, чем измерение лишь какого"то одного. Поэтому потенциально многомерный статистический анализимеет обширное поле для применений.
К тому же, с формальной точкизрения, одномерный статистический анализ (который мы и обсуждалиранее) представляет частный случай многомерного.В настоящее время хорошо разработана математическая теория длямногомерных гауссовских наблюдений, т.е. для случайных величин,подчиняющихся многомерному нормальному распределению. Здесь по"чти для каждого одномерного гауссовского метода существует соот"ветствующий многомерный вариант.
Кроме того, имеются решения идля некоторых специфически многомерных статистических проблем. Омногомерном гауссовском статистическом анализе написаны книги, изкоторых мы особо отметим [5] и [8]. Этому вопросу обычно отводитсяместо и в учебниках общего назначения.К сожалению, построение теории для многомерных статистическихданных оказалось делом весьма трудным.
Такая теория до сих пореще далеко не достигает той полноты и законченности, которая свой"ственна ее одномерной версии. Хорошо разработана лишь теория длягауссовских (имеющих многомерное нормальное распределение) дан"ных. Здесь почти для каждого одномерного гауссовского статистическо"го метода имеется соответствующий многомерный вариант. Кроме того,естественно, имеются и методы для решения некоторых специфическимногомерных задач.Построение многомерных версий для других статистических мето"дов удается далеко не так гладко. В частности, непараметрическиеметоды, такие важные и эффективные в одномерном случае, все ещене имеют своего законченного многомерного аналога (соответствующаятеория находится в процессе разработки).
Поэтому для аккуратно"го статистического анализа имеющихся данных нередко не находитсяадекватных статистических средств. Из"за этого, в частности, рассчи"танные на гауссовские данные правила нередко приходится применятьи там, где для этого нет достаточных оснований. Конечные выводыв таких случаях бывает нелегко интерпретировать. Более того, прианализе многомерных данных часто используют и методы, вообще неимеющие четкой статистической трактовки в духе рассмотренных ранееконцепций проверки гипотез, построения доверительных интервалов ит.д.
Поэтому мы не будем пытаться изложить здесь хоть сколько"нибудь462цельную картину многомерного анализа, а ограничимся упоминанием икратким пояснениями нескольких наиболее популярных методов — тех,которые уже нашли отражение в статистических пакетах. Подробноеизложение этих и других методов можно найти в [5], [87], [103].16.3. … …ƒПри исследовании сложных объектов и систем (например, в психо"логии, биологии, социологии т.д.), часто мы не можем непосредственноизмерить величины, определяющие свойства этих объектов (так назы"ваемые факторы), а иногда нам не известны даже число и содержа"тельный смысл факторов. Для измерений могут быть доступны иныевеличины, тем или иным способом зависящие от этих факторов. Приэтом, когда влияние неизвестного фактора проявляется в несколькихизмеряемых признаках, эти признаки могут обнаруживать тесную связьмежду собой (например, коррелированность), поэтому общее число фак"торов может быть гораздо меньше, чем число измеряемых переменных,которое обычно выбирается исследователем в той или иной мере про"извольно.
Для обнаружения влияющих на измеряемые переменныефакторов используются методы факторного анализа1 .В качестве примера применения факторного анализа приведем изучениесвойств личности с помощью психологических тестов. Свойства личности неподдаются прямому измерению, о них можно судить только на основании поведе"ния человека, ответа на те или иные вопросы и т.д. Для объяснения результатовпроведенных опытов их результаты подвергаются факторному анализу, которыйи позволяет выявить те личностные свойства, которые оказывали влияние наповедение испытуемых в проведенных опытах.Первым этапом факторного анализа, как правило, является выборновых признаков, которые являются линейными комбинациями прежнихи «вбирают» в себя большую часть общей изменчивости наблюдаемыхданных, а поэтому передают большую часть информации, заключеннойв первоначальных наблюдениях.
Обычно это осуществляют с помощьюметода главных компонент, хотя иногда используют и другие при"емы (скажем, метод максимального правдоподобия). Метод главных1 Обратите внимание, что факторный анализ — это метод совсем другого назначения,чем одно", двух" и многофакторный анализ, которые рассматривались нами в главах 6 и7. В однофакторном, двухфакторном и т.д. анализе (по"английски: One"way, Two"wayи т.д.
Analysis of Variance) влияющие на результат факторы считаются известными, иречь идет только о выяснении существенности или оценке этого влияния. А в факторноманализе (по"английски: Factor Analysis) речь идет о выделении из множества измеряемыххарактеристик объекта новых факторов, более адекватно отражающие свойства объекта.463компонент по существу сводится к выбору новой ортогональной систе"мы координат в пространстве наблюдений. В качестве первой главнойкомпоненты избирают направление, вдоль которого массив наблюденийимеет наибольший разброс, выбор каждой последующей главной компо"ненты происходит так, чтобы разброс наблюдений вдоль нее был мак"симальным и чтобы эта главная компонента была ортогональна другимглавным компонентам, выбранным прежде.Однако обычно факторы, полученные методом главных компонент,не поддаются достаточно наглядной интерпретации.
Поэтому следу"ющим шагом факторного анализа служит преобразование (вращение)факторов таким образом, чтобы облегчить их интерпретацию.Более подробно о методах факторного анализа можно прочесть вкнигах [10], [103], [110].16.4. &……… …ƒПредположим, что мы имеем совокупность объектов, разбитую нанесколько групп (т.е. для каждого объекта мы можем сказать, к какойгруппе он относится). Пусть для каждого объекта имеются изменениянескольких количественных характеристик. Мы хотим найти способ,как на основании этих характеристик можно узнать группу, к которойпринадлежит объект.
Это позволит нам для новых объектов из той жесовокупности предсказывать группы, к которой они относятся.Например, исследуемыми объектами могут быть пациенты — здоровые илибольные той или иной болезнью, а характеристиками — результаты медицин"ских анализов. Если мы научимся по этим характеристикам узнавать, здоров липациент, либо болен той или иной болезнью, это позволит значительно повыситьэффективность медицинских обследований.Для решения этой задачи применяются методы дискриминантногоанализа, они позволяют строить функции измеряемых характеристик,значения которых и объясняют разбиение объектов на группы. Же"лательно, чтобы этих функций (дискриминирующих признаков) былонемного — в этом случае результаты анализа легче содержательно ис"толковать.
Особую роль, благодаря своей простоте, играет линейныйдискриминантный анализ, в котором классифицирующие признакивыбираются как линейные функции от первичных признаков. В случаеразделения нескольких нормальных (гауссовских) совокупностей линей"ный дискриминантный анализ имеет ясные статистические свойства.Более подробно о дискриминантном анализе говорится в книгах[10], [103].46416.5. … …ƒМетоды кластерного анализа позволяют разбить изучаемую сово"купность объектов на группы «схожих» объектов, называемых кластерами.Большинство методов кластеризации (иерархической группировки)являются аггломеративными (объединительными) — они начинают ссоздания элементарных кластеров, каждый из которых состоит ровно изодного исходного наблюдения (одной точки), а на каждом последующемшаге происходит объединение двух наиболее близких кластеров в один.Момент остановки этого процесса может задаваться исследователем(например, указанием требуемого числа кластеров или максимальногорасстояния, при котором допустимо объединение).
Графическое изобра"жение процесса объединения кластеров моет быть получено с помощьюдендрограммы — дерева объединения кластеров. Другие методы кла"стерного анализа являются дивизивными — они пытаются разбиватьобъекты на кластеры непосредственно.Методы кластеризации довольно разнообразны, в них по"разномувыбирается способ определения близости между кластерами (и междуобъектами), а также используются различные алгоритмы вычислений.Заметим, что результаты кластеризации зависят от выбранного метода,и эта зависимость тем сильнее, чем менее явно изучаемая совокупностьразделяется на группы объектов. Поэтому результаты вычислительнойкластеризации могут быть дискуссионными и часто они служат лишьподспорьем для содержательного анализа.Заметим также, что методы кластерного анализа не дают какого"либо способа для проверки статистической гипотезы об адекватностиполученных классификаций.
Иногда результаты кластеризации можнообосновать с помощью методов дискриминантного анализа.Более подробно с методами кластерного анализа можно познако"миться в [47], [87], [103].16.6. $…… ;…Во многих областях исследования (например, в психологии, биоло"гии, социологии, лингвистике и т.д.) бывает затруднительно или невоз"можно проводить непосредственное измерение интересующих исследо"вателя характеристик объектов из изучаемой совокупности, зато можноэкспертным или каким"то другим путем оценивать степень сходства илиразличия между парами объектов. В этом случае для интерпретацииполучаемых данных используются методы многомерного шкалирования.465Они позволяют представить совокупность интересующих исследователяобъектов в виде некоторого набора точек многомерного пространстванекоторой небольшой размерности, при этом каждому объекту соответ"ствует одна точка.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
