Фукунага - Введение в статистическую теорию распознования образов (1033985), страница 9
Текст из файла (страница 9)
Пусть Х1, ..., Х (пг ( и) — выборочные объекты. Тогда выборочная автокорреляционная матрица т Я„х„= (1,'и) ~~ Х;Х'; = (1/т)(И"И"'),х 1 — 1 где И~„х,„— матрица порядка пХт, т. е. И" = [Х1 Х2...Х,.~.х . (2.171) Вместо использования матрицы Янх„порядка пХгг, определяемой по уравнению (2.170), вычислим собственные значения и собственные векторы матрицы (И"И"),„х порядка тХт следующим образом: (1/И) (И И ) тнхтФтхтн = ФтнхнЛтяхтл.
Умножив левую и правую части уравнения (2.172) на матрицу И', получим, что (1/и) (И И") нхн (И Ф) ихт = (И'Ф) нхтАихтн. (2.17,'3) Таким образом, матрицы (И"Ф)„х и Л,.х представляют собой и собственных векторов и собственных значений матрицы К = (1/т) (И"Ир') ых„. Другие гг — и собственных значений равны нул1о, а соответствующие собственные векторы. Ве определены. П реимущество этого вычислительного процесса закл1очается в том, что для вычисления и собственных значений и собственных векторов используется только матрица порядка и )( и.
Однако, собственные векторы (И"Ф) „х,„представляют собой орто- П ри м е р 2.20. 1Согда имеется только т объектов в п-мерном векторном пространстве, т ( п, выборочная автокорреляционная матрица Я вычисляется следующим образом: "гтт Я = (1/т) ~ Х,.Х'1. 1=1 тонтльные, но не ортоноиировенные векторы.
Для того етобьт получить ортонормированные собственные векторы К, нам нужно разделить каждый вектор-столбец матрицы (И Ф)„х на величину (тЛ;) "2, т. е. У; = И'Ф,/(тЛ,) '", пли Унхттт — — (И'ФЛ '") ых.,/т'", (2.174) так как из выражения (2.172) следует, что 1,Рт1,Р Л вЂ” 1г2фтИгттИгтф ь1 — 112И вЂ” г'1 — 112фтФ г~ ~-1г'2 ~ — 112 ~ ~ — 1г2 (2.175) Л1+ Л2+ + Л = — Л1+Л2+...
+ Лб, / (( и. (2.176) Это означает, что практически ранг матриц Я или Х равен гс, даже если математически ранг тех же матриц все же равен гг. Поэтому весьма неэффективно использовать матрицы порядка и)(п для нахождения /с собственных значений и собственных векторов, даже если объем выборки больше, чем п. Ьроме того, здесь возникают определенные вычислительные трудности, связанные с обработкой почти вырожденных матриц большого размера. Например, рассмотрим вычисление матриц Я ', Х ' или ~5~, тт ~Х~. Определитель ~5~ (илп ~Х~) равенД Л;, но гг — к собст- 1 — 1 венных значений Л; очснь близки к нулю. Пусть и = 1000, й = = 10, Л1+ Л2+... + Л1ооо = 1, причем сумма первых десяти слагаемых равна Л1+Л2+... +Л1о — — 0,9.
Тогда в предположении, что Л11 — — Л12 =... —— Л1оро, определитель 15~ (ичи ~Х~) равен 1» 1двв ]Ц Л; Х Ц Л; =- П Л; Х (0,1/991) ", т'=-11 т. е. очень малой величине. Однако в рассматриваемом случае может быть использован метод предыдущего примера. Далее мы исследуем взаимосвязь между точностью оценок собственных векторов и объемом выборки. Эта взаимосвязь оказывается полезной для составления матрицы И" (2.171). 2.4.5.
Обращение матриц. Дпагоналпзацпю матрпц особенно полезно проводить при вычислении обратной матрицы. П р и м е р 2.21. Во многих задачах распознавания образов размерность пространства гг может быть очень большой, например, порядка 1000. Однако только несколько собственных значений, например 10, являются преобладающими, т. е. (2.184) или ЛХт~ — 1М 1 — М'Я вЂ” 'ЛХ' (2.185). (2.
186) Если обозначить т 4,.т~ = — ~~ — Ф,.Ф';, 1 ( 2.'187) то т т Я~* = ~~ ~ — 'Ф,Ф,'Ф;Ф," ; 1;=1 У, Ф,.Ф', = 1 — 1 (2.188) -1+ ~, О 1-1- Л, (1+ Л) л, 1— 1+Л, 1 =- 1 —, +, Л. (2.182) 4 (2.189) о 1 ГЛ. 2, СЛУЧАЙНЫЕ ВЕКТОРЫ И ИХ СВОПСТВА Пример 2.22. Из соотношения (2.54) следует, что функция расстояния может быть представлена в следующем виде: Д'- (Х, Л1, Х> =. (л — ЛХ>' Х ' (Х вЂ” ЛХ> = (1 — Р>'Л ' Р— Р> = = ~ (у, — 1,.)'-~)., (2.177) 1=1 Если имеется два распределения, то могут быть получены две функции расстояния с помощью процедуры одновременной т4нагоналнзации д1(Х, ЛХ„Х,) = (1 — Рд) 1 '(У вЂ” Р4) = ~, (у; — д„>', (2 178) 1=1 и д~(Х, ЛХ„Х,) = (У вЂ” Р,)'Л '(1' — Р,)= ~~~, (у,. — А,.)2А..
(2.179) 4 — 1 Пример 2.23. Покажем, каким образом матрица, обратная к автокорреляцнонной матрице, может быть выражена через ковариационну1о матрицу и вектор математического ожидания. Из выражения (2.30) имеем Я '=(Х+МЛ1) '=(1+Х 'ЛХЛХ ) 1Х ' (2180) т Используя для диагонализацин матрицы Х 'ММ ортонормированное преобразование, получим, что Ф Х 'ЛХЛХ'Ф = Л и Ф'1Ф = 1, (2.181) где Л определсно выраткениямн (2.166) и (2.167). Поэтому Рассматривая совместно выражения (2.180), (2.181) и (2.182)', получим Л ' = [Ф (1+ Л) Ф'~ 1Х ' = Ф (1+ Л) 1Ф'Х вЂ” 1= 1+3., / 1, 1+А, 4 2 4 соественные знАчения и сОБЕТВенные ВектОРы 5$ Если мы хотим выразить М Я 'ЛХ через ЛХ Х 'М, то можно воспользоваться соотношением ЛХ 8 — 1ЛХ ЛХ ~ — 1ЛХ 1+ МтХ вЂ” 1М' П р и м е р 2.24. Рассмотрим один из методов вычисления МатрИцЫ, ПСЕВдООбратНОй К ВЫрОждЕННОй МатрлцЕ.
ПуСтЬ 1,т— вырожденная матрица ранга г; тогда ~ можно выразить через собственные числа и собственные векторы следуюшим образом: г 1? = ФЛФ' =,~' А;Ф,Ф';. 1=1 Поэтому ~* — матрица, обратная к матрице (3 в подпространст- ве, образованном г собственными вскторамн. Матрица ~* удов- летворяет услови1о П р и м е р 2.25.
Уравнение (2.189) подсказывает общий путь для определения матрицы, обратной к вырожденной матрице [11енроуз, 19551. Обобщенной обратной матрицей по отношению к вырожденной матрице Л размера тХп и ранга г является матрица Л+ размера пХт, удовлетворяющая условиям УИ4Л = Л, (2.190) О+ От (2.191) ГП. 2. СПУЧЛЙНЫЕ ВЕКТОРЫ И ИХ СВОЙСТВЛ % 2.й. сОБстВенные знлчения и соьстВенные ВектоРы Векторы-столбцы Л< матрицы г< являются сооственными векторами матрицы (йп+) размера т Х т, пз которых г линейно независимы и име|от собственные значения, равные 1.
Остальные л| — г сооственных значений матрицы (ЬЛ~) равны нулю. Матрица (Ййт) обладает свойствами матрицы проекционного преобразования и часто используется В задачах линейного регрессионного анализа [Дейч, 1%5~. |1астпый вид матрицы г<т применяется наиболее часто. Пусть  — матрица размера тХг, столбцы которой являются линейно независимыми столбцами матрицы й.
Тогда матрицу й можно и редставить следующим образ<<ч: Втхи = Внхгсгхв. (2.192) Так как В' — певырождепная матрица размера гХг, то матри- цу С можно вычистить с помощью соот11ои!ен1|я (2.193)' с=(в'в)- вл. Из выражения (2.193) видно, что матрица С имеет ранг г, поэтому матрица СС' будет ||евыро<кдепной матрицей размера .гХг. Псевдообратная мг<три«п г<. определяется выражение ч л* = с'(сс') ' (в'в) 'в'. (2.194) Монтно показать, что матрица г<* удовлетворяет условию (2.190)' и является поэтому обобщенной обратной матрицей. Такая матрица Л~ является единственной [Пеироуз, И551. Заметим, что псевдообратная матрица наиболее часто используется в качестве обобщенной ооратпой матрицы. (2.195) через Ф< и л< с точностью до первого порядка малости. Это можно осуществить путем сохранения ли|пь членов первого порядка 2.4.6, Теория возмущений.
Выразим собственные векторы и собственные значения возмущенной матрицы через собственные векторы и собственные значения невозмущенпой матрицы с точностью до первого порядка малости. Пусть ~о — действительная, симметрическая матрица разчера пХн, а Л~Э вЂ” действительная, симметрическая матрица возмущении.
Пусть далее Ф< и л<, 1= 1, ..., и,— соответственно собственные векторы и собственные значения матрицы ()<1. Допустим, что собственные значения л< — разные. Выразим собственные векторы и собственные значения матрицы (1 малости в следующем уравнении: (91+ М) (Ф<+ ЛФ;) = (Ь+ ЛХ<) (Ф<+ ЛФ<), (2.196) где 91Ф < Л<Ф <. (2.197) Окончательное уравнение имеет вид 0,ЛФ<+ Л0Ф< ~ К<ЛФ<+ Л4Ф<. (2.198) т Для вычисления значения Лл< доумножим (2.198) на Ф<, т т т и так как ФЯО = г.<Ф| и Ф;Ф| = о<|, то получим, что ЛХ; м Ф';Л(3Ф<. (2. И9) Можно представить ЛФ< в виде линейной комбинации векто- ров Ф, следу|ощим образом: ЛФ,- = '~', Ь,-;Ф|, 1'=1 где б,; = Ф',ЛФ, (2.201) Если доумножить (2.И8) на Ф';, то мо|кно получить, что для 4 -т- ! откуда следует, что Ф'<ЛФ,- =- 6,1= О.
(2.204) Заметим, что Ф'~~ОФ| = Х< и Ф<(~ОФ| =0 для | Ф у. Окончательно результат имеет следу|ощий вид: Х<+ ЛХ,. = Ф';~Ф,. (2. 205) (2.206) Стандартные данные. В этой книге во всех примерах использованы слоду|ощие данные [Мэрил, Грин 19631, которые будем называть стандартными данными. бо м (Ф';Л~Ф,.) / (Х< — 1,) (1+ У) . (2.202) Для определения величин б«введем для векторов Ф<+ЛФ< условие нормировки с точностью до первого порядка малости, т. е. потребуем, чтобы ((Ф + ЛФ.((' = 1 = ((Ф,.(('- + 2Ф<ЛФ, = 1+ 2Ф';ЛФ<, (2.203) 54 ЗАДАЧИ М1 = [7825 М2 [о.
((10 Мз — — [6.6 ! О М, == [6,$20 6.750 5,715 5.,060 6,285 5 835 8 525 6.615 7,065 5.705 4,150 6.225 6.960 5.980 3,975 9.020 14,685 5,850 4,365 6,340 4,675 7,865 6.750 10.640 6,260 4,435] ' 3,9101 ', 4,175] ", 4,440] ', 1.034 1,336 2.094 2.09( 035 ! — 0,293 0,098 0,301 0.664 — 0,219 0.259 0,556 7,138 1,192 2,726 1,116 2.269 1,367 0,146 5,727 1.,280 2,941 1,281 1,967 0.141 0.276 0,6 (8 0.~201 0,933 1 949 1,577 — 0.308 2,107 2,197 1.229 ЗАДАЧИ 6,606 4,792 2,993 2,799 2,943 2.648 1.915 1.,106 1,727 0 970 4 244 4.636 г 408 4.417 5,074 2.406 1,798 0.790 2.798 1,824 0,639 3.224 2,111 0,903 5,287 3 006 1 326 3,574 2 329 4,008 0 785 0,644 1А31 1.897 2.471 240> 4,507 1,638 1.983 2,434 2,153 3,596 1,482 246! 2,500 1.695 2.436 2,834 4,704 — 0.557 — 0,591 — 0,665 — 0.629 19,000 — 2,443 — 3,71! — 2.621 — 2.913 0,896 5,856 — 0.710 — 0,493 0,248 (> ч76 8,622 1,357 20,800 1.738 2,47 ! — 0.254 а) Е(Е(х>(х2 °,, х„)) = Е(х>), б) Е (к>кз,(хз) = Е (к2 Е (х>/кь хз)/хз).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
