Болч К._ Хуань К.Дж. - Многомерные статистические методы для экономики (1185342), страница 35
Текст из файла (страница 35)
Так как гипотезу о равенстве векторов средних мы уже отвергли в главе 3, тем самым мы подтвердили пригодность дискриминантной функции. Заметим в заключение, что статистика Т' из (3.23) и статистика О' Махаланобиса из (7.12) тесно связаны между собой. Действительно, Т' = 1п,пДп~ -1- аа)] В', так что Т' также можно рассматривать как некоторую меру расстояния. 2. Чтобы проверить, согласуется ли гипотетическая дискриминантная функция У'», =- с,Х»,» + с,Х;,» + ...
+ срХ»р», » = 1, 2, 1 =- 1, 2, ...„а», с дискриминантной функцией, вычисленной на основании имеющихся данных, в качестве первого шага следует вычислить обобщенное расстояние В„соответствующее гипотетической дискриминантной функции (которое имеет место, если верна нулевая гипотеза'), а именно где ЛХ=-- Х,— Х., и С'=-~с, с, ...
ср]. Затем мы сравниваем О,' с Х)', вычисленным по имеияднмся данным. Гипотетическая дискримннанто Заметна, что Во т— ато нечто иное, кан анноанаа коибнначно Вт на (7.12). См. также (3.26). ная функция отвергается как несовместимая на данном уровне значимости с дискрпминантной функцией, вычисленной по имеющимся данным, если Р =-- л, +ла — р — 1 т (Оа — щ > ~'а; р-1, л,+а~ — р — 1е Р†! 1 +ГлАР~~ где и = п,п,4(п, + и.) (а, + аз — 2).
3. Мы ужесделали вывод, что словесные оценки не помогаютпри дискриминации между успевающими и неуспевающими студентами. Наряду с повторным вычислением дискриминаптной функции с исключением некоторых переменных имеется и другой способ определения избыточных переменных, который состоит в сравнении коэффициентов с их асимптотичесй~ми (в больших выборках) стандартными опенками. Этот способ очень схож с методом проверки одномерных гипотез относительно коэффициентов регрессии. Этому подходу свойственна одна трудность, состоящая в том, что р согласно (7.1О) зависит от ненулевой постоянной с.
На практике часто сравнивают обобщенное расстояние В„', основанное на р переменпых, с обобщенным расстоянием О'+а, основанным на р+ д переменных. Обычно В'~. ~ 0~, и, чем меньше разность В~ ~.~— — 0~3, тем меньше вклад, обусловленный дополнительными д переменными. Таким образом, нулевая гипотеза о том„что д дополнительных переложенных не увеличивают мощности (различакицей способности) дискриминации функции, отвергается на заданном уровне значимости, если в~+и — р — д — ! гп Яр~.д — Ур) з й ю". а. п~~;пу — л — 4 — 1 а 1+ иОР~ где т определяется так же, как и ранее. Случай более чем двух групп.
Дискриминантный анализ можно обобщить на произвольное число групп. Например, может возникнуть необходимость в классификации объектов на три категории: аплохиеа, асрсдниеа и ахорошиеа или, в общем случае, на К категорий. Рассмотрение этой задачи выходит за рамки этой книги (см. 1771 и [61). 7,2. АНАЛИЗ ГЛАВНЫХ КОМПОНЕНТ Предположим, что две случайпые величины Х, и Х, нормально распределены с вектором средних и, =- !р„ р,1 и ковариацианиой матрицей Х, На рис. 7.2 показан некоторый эллипс постоянной плотности для этого распределения. Вспомним, что если Х, и Ха связаны чисто функциональной положительной зависимостью, 'го эллипс вырождается в прямую линию, часть которой может быть представлена прямой ! на рис.
7.2. Уравнение этой прямой можно записать как линейную комбинацию Х, и Х„например У = р,Х, + раХ3, и эта ~ Под У авторы подразумевают здесь некоторую лосвоялную ведичину.— йрлмеч, ред. Г =Р, Х, + Р,Х„-+... +Р Х, ~ =1,2, ..., (7.16) л л есть главная компонента с неизвсстными коэффициентами р1, р,, ..., ~„. Удобно выразить (7.16) в матричных обозначениях. Пусть Хя Ху1 Х, ... Хр, У, Х11 У', Х„ Тогда главную компоненту можно записать в виде (7.16а) линейная комбинация так же хорошо отображает распределению Х, и Х„как и сами исходные переменные Х, и Х,.
Возьмем невырожденпый случай и предположим, что две переменные коррелировапы положительно. Этому предполагаемому случаю и соответствует эллипс, показанный на рис. 7.2. Злюсь линейная комбинация, изображаемая прямой 1, дает лишь некоторую аппроксимацию распределения этих двух переменных, поскольку она захватывает большую часть совместной изменчивости Х, и Х . Очевидно, что по иере увеличении корреляции между двумя переменными эллипс 2 рассеяния все более приближается Р к прямой линии и степень приближения этой прямой к распределению данных двух переменных возрастает, В общем случае предположим, Л~ что у нас есть р случайных переменных Х' = 1Х, Х,...
Х,„!. В анализе главных компонент мы пытаемся составить р линейных ком- Ф~ бинаций этих переменных (называемых главными компонентами) таким образом, чтобы каждая ли- Рис. 7.2. Эллипс постоянной плотнейпая комбинация «охватывалаэ ности как можно большую часть вариации по Х ивтоже самое время была линейно не зависима от всех других главных компонент. Формализуем теперь эти представления, причем сделаем это применительно к выборке, а не к генеральной совокупности. Главная компонента У, представляет собой нскоторую липейнук~ комбинацию р переменных.
Таким образом, При заданном р выборочная дисперсия $ определяется следующим образом': айаг(Ъ) =р Яф, (7.17) где обозначает выборочную дисперсию. Первая задача анализа главных компонент заключается в нахождении главной компоненты Ъ', с максимальной дисперсией. Без введения соответствующих ограничений эта задача не имеет решения„так как если для фиксированного Р и произвольной постоянной с принять Фь А ф' =- ср, то, выбрав постоянную с сколь угодно большой, мы сможем сделать дисперсию также сколь угодно большой. Чтобы избежать подобной неопределенности, мы обычно нормируем вектор Р таким образом, чтобы Ф Р=Й+Й+ -.+ 0=1 Эта нормировка-сводится просто к требованию, чтобы вектор, определяющий веса линейной комбинации, имел единичную длину.
Тогда задача принимает вид максимизировать «)' ф при условии, что Р'11 = 1. Задача подобного рода уже была подробно рассмотрена в разделах 1.5 и 1.6, но мы повторим ее рещение еще раз. Пусть гр=ф 3~ — Хф Р— 1), где Х вЂ” множитель Лагранжа, Вектор частных производных -Ф= ыр — йр д1) после приравнивания его к нулю сводится к уравнению (З вЂ” М) Р=0. (7.19) Уравнение (7.19) представляет собой классический тип уравнения, рассмотренный в разделе 1.6, и оно имеет решения, отличные от нуля, только в там случае, если определитель матрицы (3 — Ь1) равен нулю 1т.
е. ($ — Х1) должна быть вырожденной). Определитель ~З вЂ” и~=о (7.20) представляет собой алгебраическое уравнение относительно А. Следовательно, для решения (7.20) необходимо найти р характеристических корней ковариационной матрицы 3.
Обозначим эти корни Х,:-в Х, ~ ~ ~...::. Ь, . Чтобы определить, какой из этих корней использовать для нахождения характеристического вектора, максимизирующего ~ Заметим„что айаг (т) = айаг (ХЩ = р" ~ аг (Х) ) = ф'Хф, где Ж вЂ” ковариациоииая матрица генеральной совокупности Х. Замена 3 иа В дает (7.17), где Б — выборочная ковариациониаи матрица дли Х, определяемая ив (2.32)„ г (~,) 0 й П Х,=(айаг(7)~ = О ... айаг (Ъ'„) нулевыми остальными злементамн. Итак„пусть т' будет матрица размером аХ р, содержащая р главных компонент.
Тогда выборочная коварнацнонная матрица т' согласно (7.17) равна 1~'Бф. Поскольку р представляет собой матрицу характернстняескнх векторов для В, то коварнацнонная матрнца ф "Вф должна быть днагональной. Следовательно, все коварнацнн равны нулю (что доказывает лннейную незавнснмость) н все днсперснн (злементы на главной днагоналн) равны характернстнческнм корням, ~ Авторы имеют в внду взанмную некоррелнрованность ~-й я ~-й главных компонент, что в нормальном случае равносильно ик схлиР$исРиичГскОЙ независн мостн.
— Примеч. ~Рид. 232 компонента просто определяет одну нз р осей р-мерного эллипсоида рассеяния. Некоторые дополнительные свойства. Так как анализ главных ком- понент основан на использовании характеристических корней и векто- ров ковариационной матрицы 8, то важное значение приобретают сле- дующие свойства.
Эти свойства уже обсуждались в разделе 1.6. 1. Поскольку выборочная ковариацнонная матрица 8 определена положительно, то все характеристические корни 8 положительны. 2. Сумма характеристических корней равна сумме элементов на главной диагонали 8. Таким образом, ~г8=Х Х;. (7.21) г -"1 Произведение характеристических корней равно определителю вы- борочной ковариацнонной матрицы. Таким образом, ~81= П~. (7.22) Свойства, описываемые (7.21) и (7.22), важны для интерпретации главных компонент. Ранее было показано, что ~-я главная компонента 7~ линейно-независима~ по отношению к у-й главной компоненте У Ф и что выборочная дисперсия У~ равна Х~. Таким образом, согласно (7.21) общая дисперсия р компонент (т. е. Х~ ~Х„-) равна следу выборочной ковариационной матрицы 1г (8) =чаг(Ъ',)+ чаг(7„) + ...
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
