Болч К._ Хуань К.Дж. - Многомерные статистические методы для экономики (1185342), страница 37
Текст из файла (страница 37)
Действительно, если р является нормированным характеристическим вектором матрицы, то им будет и — р. Таким образом, наша интерпретация основана не на самих знаках, а на комбинации этих знаков. Знаки коэффициентов второй компоненты таковы, чта дают нам основания назвать эту компоненту реальной. Можно ожидать, что увеличение реального спроса на кредит будет сВязано с уВеличением как денежной массы, так и процентных ставок при однавременнам~меныиении свободных резервов, Следовательно, знак переменной «свободные резервьев, противоположный знакам при других переменных, дает нам основания назвать эту компоненту реальной. Попытки интерпретировать главные компоненты как некие основополагаеощие скритые характеристики переменных очень опасны. Во-первых, среди компетентных лиц возможны значительные разногласия относительно того, что означает данная комбинация знаков.
ВО-ВТОРЫХ, ЭТОТ аНВЛИЗ ПРЕДПОЛаГаЕТ, ЧТО СУЩЕСТВУЮТ ОСПОВОПОЛВГающие характеристики данных и что они линейно-независимы. Оба эти предположения могут оказаться невыполненными „поскольку основополагающие характеристики могут Отсутствовать, а если такие характеристики и есть, то онн могут не оказаться независимыми. В-третьих, к анализу главных компонент часто прибегают как к способу «ловли рыбыв. Среди статистиков ходит грустная шутка, которая гласит: «Когда все другие методы подводят, попробуйте анализ главных компонент или его обобщение — фактарный анализв»в, Короче говоря, самое лучшее — это иметь в виду, что анализ главных компонент — это не более чем определение осей эллипсоида рассеяния. Он может быть методом обнаружения факторов, скрытых в данных, а можети не быть им.
Проверка гипотез. Как было показано, анализ главных компонент эквивалентен анализу выборочной ковариационной матрицы 3 или корреляционной матрицы Й. Коэффициенты главных компонент представляют собой характеристическпе векторы 8 или К„а важность компонент определяется характеристическими корнями. Таким образом, проверки гипотез, касающихся главных компонент, — это, по существу„проверки гипотез, касающихся характеристических корней и векторов.
Выясним вид гипотез, которые мы хотим проверить. Предположим, что все характеристические корни матрицы 3 или Й равны„т. е. Относительная важность компоненты, измерясмая отношением Хе/ХХе или ХРр, одинакова для всех компонент, а также одинаковы дисперсии компонент. Предположим далее, что р характеристических корней ковариае~ионной матрицы Х (корреляционной матрицы р генеральной совокупности) равны Х»:-~ Х, ~ ... ~ ~ХТ,Я ~ ~Х2 ~~ ...
~ ~Ар). Как уже отмечалось, В двумерном случае при А» Х, эллипс постоянной '~ Сталь жв заслуживает осуждения и ирнменвние ноеввговой регрессии в качество «риболовной снвстн~. 238 Если мы получаем главные компоненты из корреляционной матрицы й, проверка независимости принимает вид; Н92л;=Аз=...=-лр, Н,: не все корни равны, Отношение правдоподобия становится ~ ~Р $ 1~ ]|Й м)/2 так как 1г К = р. Следовательно, для больших выборок мы имеем приближенно ~' = — (и — ! ) 1п ~ Й ~ с — р (р — 1) степенями свободы. Однако мы вполне имеем право задать следующий вопрос. Предположим, что первые К характеристических корней велики и, следовательно, первые К компонент 7„7,, ..., У~ объясняют значительную долю (например, 95 о~~) обобщенной дисперсии Х.
Мы хотим узнать, будут ли оставшиеся корни существенно различаться между собой? Если нет, то использовоние остальных д = р — К компонент становится ненужным. Таким образом, эти гипотезы имеют вид: НО..ХЯ,+, — — Х„-+, — ... =Х,; Н,: не все корни равны. Статистика, лежащая в основе критерия, также построена на отношении правдоподобия. Если проверяемая гипотеза верна, то объединенная дисперсия для Ук~ |, ..., 7~ будет равна Х = (Х|~.~| + ... + + 3,„)/д. Следовательно, отношение правдоподобия равно: Р |и-|~~~ (7.26) Р ".~', Уч к=| Для больших выборок распределение статистики — 21п Е* приближается к распределению хи-квадрат: Р Ху Х'= — |л — Ц ~ 1ПХ~ — ~узап' "+' (7.27) !=К+1 1 с — 9 (6~+ 1) — 1 степенями свободы.
2 Аналогично, если мы извлекаем компоненты из корреляционной матрицы Й, то проверка независимости имеет вид: О,:~,„+,--~„„+,= ...=~„ Н1.-не все корни равны. Статистика, лежащая в основе критерия, совпадает с (7.27), за исключением того, что Х~ заменяется на Х~. Мы предупреждаем, что критерии проверки этих гипотез чувствительны к предположениям о нормальности.
Они особенно сомнительны„ когда дело касается исследования экономических временных рядов, так как независимость данных, составля»ащих временной ряд, можно предполагать крайне редко. 7.3. КАНОНИЧЕСКИЕ КОРРЕЛЯЦИИ Простая корреляция между двумя случайными величинами Х и»' определяется 1см. (2. 11)) как отношение р = соч ~У, Х)ф ~ аг 1Г) айаг(Х). В разделе 5.1 мы обобщили понятие простой корреляции и ввели множественную корреляцию: переменная Г в этом случае коррелирована с несколькими переменными Х.
Множественную корреляцию можно рассматривать также как простую корреляцию между переменной Г и переменной 1', где $' представляет собой линейную комбинацию нескольких переменных Х: Х = 1Х» Х, ... Х„1. Если мы определим Р; = р» Х»~+ ~ц Х„-+ ... -~- ~$р Хр~, » = 1, 2, ..., и, где Р— угловые коэффициенты уравнения множественной регрессии, которые оцениваются обычным методом наименьших квадратов, то множественный коэффициент корреляции будет задаваться простой корреляцией между $' н Г.
Читателю рекомендуется доказать это утверждение в качестве упражнения. Подобно тому, как множественная корреляция есть обобщение простой корреляции на случай, когда имеется несколько переменных Х, так и каноническая корреляция есть обобщение простой корреляции на случай, когда имеется несколько переменных Х и несколько переменных У'.
'Таким образом, каноническая корреляция — это корреляция между линейной комбинацией нескольких переменных Х и линейной комбинацией нескольких переменных г, обозначаемых через У = й» 7, ... У„]. Определим линейные комбинации д переменных У и р переменных Х для генеральной совокупности как Х»'~»Х»+~~~Х++с~Хр (7.28) Ъ' =р У,+~. У +...+р У . Одна из задач, связанных с каноническими корреляциями, заключается в определении неизвестных коэффициентов а; и р» таким образом, чтобы корреляция между У'" и Х» была максимальной. Определим канонический коэффициент корреляции р, между двумя результирующими переменными: сов ~Х», У») (7.29) 3/чат (Х') айаг (У') Обозначим максимальный канонический коэффициент корреляции через рР' и назовем его первым каноническим коэффициентом корреляции между двумя множесгвами переменных.
Соответствующие линейные комбинации Х', и У; назовем пережми каноническими переменными. Вторая каноническая корреляция будет определяться такой линейной комбинацией Х," и 7;, что среди всех линейных ком6инаций, не коррелнрованных с Х; и 1;, эти вторые канонические переменные дадут второй по величине канонический коэффициент корреляции р~®~. Третья каноническая корреляпия будет определяться такой линейной 'комбинацией Х; и 7,', что среди всех линейных комбинаций„не коррелированных с двумя первыми каноническими переменными, эти третьи канонические переменные дадут третий по величине канонический коэффициент корреляции.
Каждое последующее множество канонических переменных определяется аналогичным образом, и если О ..'р, то мы получим д канонических корреляций и о множссгв канонических переменных. Формалнзуем теперь этн понятия, предполагая, без потери общности, что д ~~ р. Допустим, что реременные Х и 1' распределены как У,, (р„Х„) н Ф, (Ра, Ж а) соответственно. ПУсть также Х11,' Ж,~ Ф Хы,' Х,, Здесь Х„имеет порядок р и является ковариацнонной матрицей переменнои Х, а Х,, имеет порядок д и является ковариационной матрнцей переменной 1'.
Матрица 212 размером равд представляет собой коварнационную матрицу Х и 7, а Մ— результат транспонировання Х1,. Записав более развернуто, мы получим ~ХХ 1 1 В о. ХХ ! ! 1 О, 1 Ж Хр О' ХУ Охх. ° ~Р 1 а Р 1 ХУ ~ УУ ' УУ 3 Р 1 1 1 1 д ! 1 0" ИУ у ... О Х у, ~ У ' У У, ох у 1 1 ОХ 1 1 Ф Для удобства запишем канонические переменныевматрнчных обозначениях. Пусть для генеральной совокупности Х» = Ха; 7» = "ф, (7,28а) где Х» и 7» — векторы канонических переменных, Х и У вЂ” матрицы исходных случайных переменных, а а и р представляют собой р-мер.
ный и О-мерный векторы коэффициентов соответ:твенно. Тогда с помощью (7.29), мы можем записать канонический коэффициент корреляции совокупности в виде соч (ха, уф) ~г~чаг (Ха)чаг (Щ) или Для того чтобы найти р, из (7.29а), необходимо максимизировать р, по а и р, Однако величина корреляции не изменится, а выкладки упростятся, если мы дополнительно потребуем, чтобы каждая из канонических переменных имела единичную дисперсию, Таким образом, мы требуем, чтобы айаг(х*) =- а' Х11а = 1; (7.30) айаг(7~) =р' Х,~ф=1. (7.31) При этих ограничениях р„= а'Х„~3, и, следовательно, нам нужно максимизировать только а'Х,ф при ограничениях (7.30) и (7.31).
Выполнив максимизацию, мы найдем, что необходимые условия максимума имеют вид": Х~,ф — ХХ~,а=О; (7,32) Ха~ а — ~Х~Р= О (7.33) где Х вЂ” множитель Лагранжа. Умножение (7.32) на Х дает Х,Д1 = --": УХ„а, а умножение (7,33) на Хор' дает ХЫХ„а = лр, откуда Х„Х2~'Х„а = УХ„а. Наконец, умножение обеих частей последнего выражения на Х11' и перестановка членов дает (Х11 1 Х12 Хз $ Х21 вв к) а 0 (7.34) После аналогичных преобразований мы сможем также записать:- (7.35) Уравнения (7.34) и (7.35) однородные, их решения можно получить, найдя характеристические корни н векторы. Однако, поскольку мы предположили, что д ~ р, уравнение (7.35) будет иметь меньшее число корней и векторов, чем уравнение (7.34), так как степень характеристического уравнения соответствующего (7.35), равна д, Следовательно, нам необходимо найти характеристические корни и векторы только уравнения (7.35). Заметив, что согласно (7.32) а 1 1 11 Ф (7.36) Х мы сможем после определения У и р найти а.
Прежде чем перейти к вычислениям, рассмотрим другие свойства уравнений (7.32) и (7.33). Во-первых, если мы умножим уравнение (7.32) на а' и уравнение (7.33) на ~ в то получим а Х,ф = Ха Х1,а и ~ Х„а = Лф Х~ф. Используя введенные ограничения (а'Х„а = Р'Х,ф = 1), мы можем записать: а' Х -и Р = ф' Х„а = Х. (7.37) Однако согласно (7.29а) величина а'Х,ф представляет собой канони~ес~ий коэффициент корреляции при условиях (7.30) и (7.31). Следовательно, квадратный корень из наибольшааа характеристического корня уравнения (7.34) или (7,35) будет равен максимальному (первому) каноническому коэффиииенту коррелкпни.
Следует обратить и Необдодвкме выкладке в достуввок форме врвводвтсе в ~6). внимание, что характеристические корни, например (7.35), представлены значениями 3Р (а не К). Воспользовавшись (7.35) для нахождения У и Р и затем (7.36) для нахождения а, мы можем сформулировать следующее гредполажение. Пусть Ц:: Ц ....:~ Ц вЂ” характеристические корни уравнения (7.35). Пусть также ~„ф, ..., ф„— характеристичсские векторы„соответствующие этим корням. Наконец, пусть а,, а,, ..., а~ — характеристические векторы, которые можно вычислить из (7.36) для произвольна заданных р; и Х;.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
