Фукунага - Введение в статистическую теорию распознования образов (1033985), страница 8
Текст из файла (страница 8)
Если собственные векторы матрицы (? нормировать в соответствии с первым уравнением (2.128), то матрицы' )?1 и (?2 будут иметь одинаковые собственные векторы и собственные значения., упорядоченнь(е следуюи(им образом: ~" 1 ) ~"2 ) . ) 1('и длл (?11 (2.137) ~(2) ~ ~(2) ~(2) (2.138) Д ок аз а тельство. Приведем матрицы (? и (?1 одновременно к диагональному виду, т. е. ЛГ?.4 = 7 .4О,.4т = ~~(1) (2.139)' где ~,) — 1~,) Ат — АтЛ(1) (2.140) Тогда матрица (?2 также будет диагональной, так как из выражений (2.136) и (2.139) следует, что .4~ 4' = (1/а2) [1 — а(Л' "1 = Л'2' (2.141) или А';2 = (1/а,)(1 — а,Х(1 ). (2.142) Следовательно, матрицы )г)1 и (?2 имеют Одинаковые собственные векторы, нормированные относительно (? в соответствии с первым уравнением (2.12о), и если А1 ) Х;, то Х; ( Х;, что о 'э (1) (1) (2) (2) следует из (2.142).
П р и м е р 2.14. Пусть Я является смесью автокорреляционных матриц двух распределений с автокорреляционными матрицами 51 и 52. В таком случае Я = Е (ХХ') = Р ((о)) Е (ХХ'/Го) ) + Р ((о2) Е (ХХ'/(о2) = = Р((о)) Я1+ Р((о2) 52. (2.143) Используя вышеприведенную теорему, можно матрицы 51 и Ю2, имеющие одинаковые собственные векторы, привести к диагональному виду. Так как при этом собственные значения мат- 45 44 (2. 144) ~~ А;. ь--1 (2.150) Дока зател ьств о. Для В „„имеем 1Г ~ ~пХпайаааХп1 = ~г~К х-А.х,.1, (2.151) (2.145) (2.146) Ф'(А(~А') Ф = Л, (А'Ф)'~(А'Ф) = Л.
'гак как ьаь и (2. 152) 1=-1 ь =1 з- 1ь.=1 ГЛ, 2, СЛУЧАЙ11ЫЕа ВЕКТОРЫ И ИХ СВОЙСТВА рицы Я2 упорядочиваются в обратном порядке по отношению к собственным значениям матрицы Яь, то собственный вектор, соответствующий наибольшему собственному значенпьо для первого распределения, иаиеет наиаиеньшее собственное значение для второго распределения и наоборот ~Фукунага, Кунтц, 1970В1. Это свойство оказывается полезным при классификации двух распределений и будет использовано в последующих главах.
$ 2.4. Свойства собственных значений и собственных векторов В этом параграфе приводится обзор различных свойств собственных значений и собственных векторов, упрощающий рассмотрение этих вопросов в следуьощих главах. В основном будут обсуждаться сиаиметрические ковариационные и автокорреляционные матрицы.
Поэтому, если специально не огово1ьено, то предполагаем, что матрицы являьотся симметрическнчи с дейстВителы1ыми собственными значениями и собственными векторами. 2.4.1. Ортонормированные преобразования. Теорема. Матрица собственных значений Л инвариантна относительно любого ортонормированного линейного преобразования. Д о к а з а т е л ь с т в о. Пусть А — матрица ортонормироваиного преобразования, удовлетворяющая условиьо А'А = 1 нли А'= А С помощью этого преобразования матрица 1., превращается в матрицу АЧА' [см. (2.84)1. Если Л и Ф вЂ” соответственно матрицы собственных значений и собственных векторов матрицы Л(~А', то Таким образом, матрицы Л и А'Ф должны быть матрицами собствецных значений и собственных векторов матрицы (Э, причем матрица А'Ф удовлетворяет условию ортонормнрованности (А Ф) (АаФ) = Ф ААаФ = Ф Ф = К Р 147) 2.4.2.
Положительная определенность. Теорема. Если все собственные значения матрицы () положительны, то () является положительно определенной матрицей. Д о к а з а т е л ь с тьв о. Рассмотрим квадратичную форму У = Хт(~Х, (2А48) $2.4. СОБСТВЕННЬ1Е ЗНАЧЕНИЯ И СОБСТВЕННЫЕ ВЕКТОРЫ ь Вез ограничения общности можно записать вектор Х как ФУ, где Ф вЂ” льобая оргонормированпая матрица. В частности, пусть Ф является матрнцей собственных векторов матрицы ф В таком случае У = (11ьУ)'~ (ФУ) = У'Ф'~ФУ = У'ЛУ = .5', Х;у1, (2,149) 1=1 где А; — собственные значения матрицы (~.
Если все эти собственные значения являются положительными числами, то квадратичная форма У будет принимать положительные значения, если только У не является пулевым вектором. Но из соотношения между векторами У и Х следует, что квадратичная форма сР ,должна быть положительной также и для всех ненулевых векторов Х. Поэтому ~ — положительно определенная матрица. Пример 2.15.
Пусть () — диагональная иатрпца, полученная из коварпационной или автокорреляционнои матрицы в результате соответствуньщего ортонормпрованного преобразования. Гогда собственные значения А; являьотся дисперсиями, или вторыми моментами выоорки. Поэтому все Аь должны быть положительными числами, а ковариационная и автокорреляционная матрицы — положптсльно опре;1елснными матрицами. 2.4.3.
След матрицы. Теорема. След матрицы (~ равен сумме всех ее собственных значений. и инвариантен относительно любого ортонормированного преобразования, т. е. прямоугольных матриц А.х и где ао и Ь,; — компоненты матриц Апх и Вп,х„. Используя ра- аВЕНСтВО (2.151), ПОЛУЧИМ ~ Х, = ~г Л = 1г (Ф'(Мь) = ~г ((?аФФ') = 1г (3.
(2.153) Как было доказано выше, собственные значения инвариантны относительно любого ортонормированного преобразования. 46 гл, 2, случлпные вектОРы и их своььствл Поэтому льобая функция От собственных значений также будет. инвариантной. П р и м е р 2.16. Если Ь? — ковариационная или автокорреляционная матрица, то из вышеприведенной теоремы следует, что сумма дисперсий нли вторых моментов отдельных переменных 2! Е 1х11 будет инвариантна относительно любого Ортонормированного преобразования.
Теорема. След матрицы 1? равен сульме всех ее собственных значений А;, ь = 1, ..., п, и инварипнтен относительно любого ортонормированного преобразования, т. е. ре 1г1? =1гЛ == ~~' Х;. 1=- ! Доказательство. Используя равенство ь?Ф = ФЛ, получим 1?п'Ф = 1?мп 'Ф'~ = 1?ен 2ФЛ2 = = Ф Ъ . '(2.155) Поэтому 1г 1?"' =- 1г Л'" = ~ Х; .
1=! (2.156) м Е !Х ) = (1/п) ~~ А; =(1/ьг)1г 1? (2.157Х В частностп, име!от место следующие соотношения: И Е1Ц =. (1/и) !г ь? =- (1/и) ~ Ч„, 1=! пх — — (1/п) $г 1?' — ((1/п) 1г () )' = ее Е1 ре 2 = (1/п) ~,~~ д,", — (1/п') ~ д„ =13=! (2.158)ь (2.150): П р и м е р 2.18. Уравнение (2.154) можно применить для нахождения наибольшего собственного значения матрицы, поскольку АЙ+12+ ". + ~,", =- ~Г пр т.>1, (2.16О) Пример 2.17. Пусть и собственных значений Аь, ..., А„являются выборкой, извлеченной из генеральной совокупности случайной величины Х. Тогда можно вычислить все моменты распределения случайной величины Х с помощью Выражения. е! 2,4, СОВСТВЕННЫЕ ЗНАЧЕНИЯ И СОВСТВЕННЫЕ ВЕКТОРЫ 47 2.4.4.
Определитель и ранг матрицы. Теорема. Ьепределиеело лверицое ц~ равен проивведеееиео леев ,се собственнььх значений и ипвприантен относительно любого ортонорльььровпььного преобразования, т. е. (2.161) Д о к а з а т е л ь с т в о. Так как определитель произведения матриц равен произведениьо опре;!елптелей матриц, то !Л! = !Ф 110~ 1Ф 1 = ~д~ )Ф ~ ~ Ф ~ = ~д~. (2.162) 0 = Ф ЛФ' =,~~ А,.Ф,.Ф';, (2.163) тде Ф; — линейно независимые, нормированные, взаимно ортотональные векторы.
Поэтому, если имеется п — г собственных значений, равных нульо, то можно определить ь? с помощью г линейно независимых векторов, которые и определяют ранг матрицы, равный г. Пронллюстрируем эту теорему на следу!ощих трех примерах. П р и м е р 2.19. Получим соотношение между определителями ковариацнонной и автокорреляцпонной матриц. Из (2.30) сле- дует ~8~ = ~а~+ ЛХЛХ ~ = ~Х~ ~Х ~ г-!ЛХЛХ ~ (2 164) Пусть р.ь, ..., А„— сооственные значения матрицы ~р-!ЛХЛХ'. 'Так как Х 'ЛХЛХ' — несимметрическая матрица, то сооственныо значения А, могут быть комплексными числами. Собственныо пэначенпя матрицы Х+ Х 'ЛХЛХ' будут равны (1+ Х.;).
Поэтому рв ~Я = 1Х~Ц(1+ ~,). 1 — 1 (2.165) С другой стороны, ранг матрицы Х 'ЛХЛХ' равен единице. Поэтому собственные значения Аь должны удовлетворять следу!охцим условиям: Теорема. Храиг льатрицы 1? рпвен числу ее ненулевых собст.венных значений. Д о к а з а т е л ь с т в О. Матрицу ь? можно представить выра- жением =А„=О, где А! — наибольшее собственное значение. Например, если выбрать и = 16, то нужно четыре раза перемножить матрицы„ т. е. Ь?-р- Ь?2-р- ь?'-р- 1?8-р- 1?16, и для нахождения наибольшегО собственного значения определить след матрицы 1?16. ',~ Х, = Х, = $гУ.
'ММ'=ЛХ'Е. М. 1=1 '(2.166) (2. 167) ГЛ. 2. СЛУЧАЙНЫЕ ВЕКТОРЫ И ИХ СВОЙСТВА $ 2.4. СОБСТВЕННЫЕ ЗПАл1ЕННЯ И СОЬСТВЕННЫЕ ВЕ1СТОРЫ 49 Таким образом, ~Я~ = ~Х~ (1+ Я'Х 1М) (2.168) Другими словами, автокорреляционная матрица Я является функцией и или меньшего числа линейно независимых векторов. Поэтому ранг матрицы Я будет не более и. Тот же вывод можно сделать и для ковариационных матриц. Эта задача, называемая задачей при малых объемах выборки, часто встречается при распознавании образов, в частности, когда размерность пространства п очень велика. Для этого типа задач вместо вычисления собственных значений и собственных векторов матрицы порядка тХп представляется более эффективной следующая процедура [Маклафлин, Равив, 1968~.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
