Ким_ Мьюллер и др - Факторный_ дискриминантный и кластерный анализы (1185345), страница 21
Текст из файла (страница 21)
Коэффициенты и, для первой функции выбираются таким образом, чтобы ее средние значения для различных классов как можно больше отличались друг от друга. (Точное определение «максимального отличия между классами» будет дано несколько позднее.) Коэффициенты второй функции выбираются так же, т. е. соответствующие средние значения должны максимально отличаться по классам, при этом налагается дополнительное условие, чтобы значения второй функции были некоррелированы со значениями первой. Аналогично третья функция должна быть некоррелирована с первыми двумя и т. д. Максимальное число двскриминантных функций, которое можно получить описанным способом, равно числу классов без единицы или числу дискриминантных переменных, в зависимости от того, какая из этих величин меньшая.
В примере с голосованием в сенате число переменных равно шести, а классов — только четырем, поэтому максимальное число функций составит три. ГЕОМЕТРИЧЕСКАЯ ИНТЕРПРЕТАЦИЯ Пусть днскриминантные переменные — оси р-мерного евклидова пространства. Каждый объект (наблюдение) является точкой этого пространства с координатами, представляющими собой наблюдаемые значения каждой переменной. Если классы отличаются друг от друга по наблюдаемым переменным, их можно представить как скопления точек в некоторых областях рассматриваемого пространства. Поскольку классы могут частично перекрываться, соответствующие им «территории» не совпадают. Для определения положения класса можно вычислить его «центроид».
Центроид класса является воображаемой точкой, координаты которой есть средние значения переменных в данном классе. В примере с голосованием, наблюдения принадлежат 6-мерному прост- ранству (имеются шесть переменных), а столбцы табл. 1 характеризуют координаты центроида для каждого из четырех классов. Центроид можно использовать для изучения различий между классами, так как он занимает положение типичных наблюдений соответствующего класса. Рассмотрение отдельных переменных не позволяет проводить многомерный анализ — число переменных может быть велико, и совокупную информацию поэтому трудно систематизировать.
Оказывается, для того чтобы различать относительное положение центроидов, не нужна слишком большая размерность. Как правило, достаточно ограничиться размерностью, на единицу меньшей числа классов. ЧИСЛО КАНОНИЧЕСКИХ ДИСКРИМИНАНТНЫХ ФУНКЦИИ Роль числа классов становится понятной, если обратиться к геометрическим аналогам. Для любых пространств, где применимы аксиомы евклидовой геометрии, две точки определяют положение прямой линии, три точки — плоскость, четыре в трехмерную поверхность и т.
д. Принцип сводится к тому, что точки определяют пространство (линию, плоскость и так далее), имеющее размерность, на единицу меньшую, чем число точек. Поскольку центроиды задают пространство, то соответственно имеется неограниченное число точек, где мы можем поместить систему координат. Наиболее удобна точка, в которой каждая ось имеет нулевое значение, — это «главный центроид».
Главный центроид занимает положение, определяемое средними значениями совокупности объектов по каждой из осей. Относительно этого центра существует бесконечное множество ориентаций осей при условии, что они принадлежат пространству, «натянутому на центроиды». Теперь если мы направим одну из этих осей под углом, для которого средние значения классов разделяются в большей степени, чем для любого другого направления, то получим ось, которая, как нам кажется, должна быть особенно важной.
Предполагая, что есть два и более класса, можно ориентировать вторую ось таким образом, чтобы было обеспечено максимальное разделение классов, но при дополнительном ограничении — вторая ось ортогональиа первой (и принадлежит рассматриваемому пространству). Аналогично проводятся другие оси. Расположение осей по такому принципу приводит нас к критерию для канонических дискриминантных функций. Соотношение (1) задает математическое преобразование р-мерного пространства дискриминантных переменных в д-мерное пространство канонических дискриминантных функций (где д — максимальное число функций), Каждой оси соответствует свое соотношение вида (1). Для данного наблюдения значение ~д интерпретируется как координата объекта в пространстве канонических дискриминантных функций. Исключения из приведенного правила составляют случаи, когда один илн несколько центроидов не определяют новое направ- ление.
Примером являются три точки, попадающие на одну прямую, либо четыре точки, лежащие в одной плоскости, т. е. может статься, что данная точка принадлежит пространству, которое задается другими точками. Можно пойти дальше и допустить ситуацию, когда четыре точки лежат на одной прямой. В дискриминантном анализе это случается. Как мы вскоре увидим, в примере с фракциями в сенате существуют две, а может быть даже всего одна дискриминантная функция, описывающая эти данные. В исследовательских задачах возможно появление лишних размерностей из-за ошибок выборки и измерений.
Тем не менее каждую размерность можно проверить на статистическую значимость. Если она незначима, ее можно отбросить, так как маловероятно, что она имеет какое-то теоретическое или практическое значение. Такая проверка описана ниже. В случае, когда число дискриминантных переменных р меньше числа классов, максимальное число функций д равно р. Прн этом уже не происходит преобразование из пространства с большей размерностью в пространство с меньшей размерностью.
Мы только делаем замену координат, удовлетворяющую некоторому критерию. ПОЛУЧЕНИЕ КОЭФФИЦИЕНТОВ КАНОНИЧЕСКОЙ ЯИСКРИМИНАНТНОЙ ФУНКЦИИ Рассмотрим основные принципы получения коэффициентов и, канонической дискриминантной функции. Полное представление математических аспектов этой проблемы не входит в нашу задачу. Оно приводится в нескольких монографиях по многомерной статистике, например в (Соо1еу апб 1 отпев, 1971). Начнем с того, что необходим некий статистический метод для измерения степени различий между объектами (наблюдениями).
Таблица групповых средних и стандартных отклонений недостаточна, так как не учитывает зависимости между переменными. Однако можно воспользоваться матрицей сумм квадратов и попарных произведений Т, являющейся квадратной симметричной матрицей'. Для пояснения происхождения матрицы Т введем следующие обозначения: д — число классов; и„— число наблюдений в й-м классе; и.— общее число наблюдений по всем классам; Хсэ — величина переменной 1 для и-го наблюдения в й-м классе; Хм.
— средняя величина переменной 1 в л-м классе; Х;..— среднее значение переменной 1 по всем классам (общее среднее). Тогда элементы матрицы 7 задаются соотношением (п= ~ ~ (Х„.-Х „)(Х„-Х;,). (2) ь=~ т=1 Таблица 2 Об!цая корреляционная матрица м!хво Ант!уооо Ант!квот сотаю авета!ст сотА5!Ан ст!ТА!т! ПЕЯТЯ!СТ С1!ТАЯАМ М!ХЕО Амт!71!Со Агчт! МЕНТ 1 0,43 0,787 — О, 732 0,634 О, 26 1 О, 034 — О, 435 0,470 0,626 1 -О, 677 0,493 0,3!62 1 0,638 -0,829 1 О, 776 Кан видим, несколько переменных сильно коррелнрованы, Другиии словами, значение наблюдения по одной переменной может быть предсказано по значению, соответствующему другой переменной. Если расположения классов действительно различаются (т. е.
их центроиды не совпадают), то степень разброса наблюдений внутри классов будет меньше обшего разброса. Для измерения 91 Выражения в скобках являются отклонениями значений переменных от общего среднего. Если 1 1, то сомножнтелн равны, и по. лучается средне-квадратичное отклонение. Таким образом, диагональные элементы представляют собой сумму квадратов отклонений от общего среднего.
Они показывают, нак ведут себя наблюдения по отдельной переменной. При 1Ф1 получаем сумму произведений отклонения по одной переменной иа отклонение по другой. В этом состоит один из способов измерения корреляций (ковариаций) между двумя переменными, тан как он показывает, насколько хорошо большое отклонение по одной переменной согласуется с большим отклонением по другой. Рассматривая целиком всю матрицу, мы имеем полную информацию о распределении точек по пространству, определяемому переменными. Если разделить каждый элемент Т на (и.— 1), получим ковариационную матрицу.
В дискриминантном анализе чаще используется непосредственно матрица Т, тем не менее в статистической литературе более распространена коварнационная матрица. Основываясь на наблюдениях, принадлежащих одному классу, можно вычислить ковариационные матрицы для него. Степень зависимости двух переменных можно выяснить, исследуя их корреляцию. Для этого воспользуемся коэффициентом корреляции, поскольку он нормирован н принимает значения от — 1 до +1. Можно легко преобразовать матрицу Т в матрицу коэффициентов корреляции, деля каждый элемент на квадратный корень произведения двух соответствующих диагональных элементов. (Те же результаты могут быть получены из ковариацноииой матрицы; см.
работу (Соо!еу апд 10)!пез, 1971.) В табл. 2 представлены коэффициенты корреляции по данным Бардес. разброса внутри классов служит матрица йг, которая отличается от Т только тем, что ее элементы определяются средними значениями переменных для отдельных классов, а не общими средними: Таблица 3 Внутригруппоааи коррелиционнаа матрица аит1тпоо Ант!иепт м~хвп ситюо цвзтист сотаыаи 1 0*234 О, 692 — 0,706 О, 364 0,469 С17ТА1Р КЕ8ТР!СТ С17ТА81А1Ч М1ХЕР А1ЧТ1Л7со А1ЧТ1ЫЕ17Т ! О, 562 — 0,547 О, 647 0,744 1 — О, 834 0,386 0,785 1 — 0,411 — 0,748 1 0,645 Когда центроиды различных классов совпадают, элементы матриц Те' и Т также будут равны (поскольку, тогда Хм.=Хь.).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
