Фукунага - Введение в статистическую теорию распознования образов (1033985), страница 7
Текст из файла (страница 7)
(2 92) Найдем вектор Х, макспмпзирующий сР(Я, О, ~) при у л вии выполнения равенства Е'Е = 1. Этот вектор получается из решения уравнения (д/д~) (~'~-'~ — Р(~'~ — 1) ) = 2Х-)Š— 2рЯ = О, (2 93)' где р — множитель Лагранжа, а через д/дЕ обозначена совокупность и частных производных [д/дг1 д/дг2... д/д2 1', 11 резуль тате получим Х-'Е= 11Е, или ХЕ = ХЕ, ~ = 1/11 '(2.94)' гав=1 (2.100) (2.101) (2.95) Для того чтобы существовал ненулевой вектор Я, значения А.
должны удовлетворять следу1ощему уравнению: ~Х вЂ” ХХ1 = О, (2.96~ где 1 — единичная матрица. Это уравнение называ1от характеристическим уравнением матрицы Х. Любое значение А удовлетворяющее этому уравнению, называют собственным значением, а соответствующий данному А вектор Е называгот собственным вектором. Когда матрица Х вЂ” невырожденная симметрическая матрица размера пХ п, существует п действительных собственных значений Хн ..., р).„и п собственных векторов Ф), Ф2. ° * ° > ее Собственные векторы, соответству1ощие двум разным собственным значениям, явля1отся ортогональными. Это можно доказать следующим образом. Для Хь Ф; и Хь Ф) (7),1 ч~'= А.;) имеем ХФ» = Х»Ф;, ХФ; = Х,фь (2.97) Умножая первое уравнение на Ф„, второе — на Ф; и вычитая из первого уравнения второе, получим (Х1 — Х;) Ф';Ф; =- Ф,'ХФ; — Ф,'ХФ~ =- О, (2.98) так как Х вЂ” симметрическая матрица.
Поскольку Х1 М Х,, то Ф,'Ф; = О. (2.99) Таким образом, уравнения (2.94), (2.95) и (2.99) можно переписать в следующем виде: ХФ= ФА, фтф =У ф 2 3. ПРЕОБРАЗОВАНИЕ СЛУЧАЙНЫХ ВЕКТОРОВ ГЛ. 2. СЛУЧАЙНЫЕ ВЕКТОРЫ И ИХ СВОЙСТВА 38 Ф = [Ф1 Ф2...Ф.]. (2.102) Рассмотрим диагональную матрицу, элементы которой равны собственным значениям: л=-[ (2.103) Выражения для Ф и Л будем называть соответственно матрицей собственных векторов и матрицей собственных значений.
Рассмотрим в качестве матрицы преобразования А в (2.82) собственный вектор Ф': Ъ' = Ф'Х. (2.104)' Тогда из (2.84) следует, что ф т~~~~ Ф (2.10."1) Здесь использованы следующие соотношения: (фт) т — ф ф-1 — ф' (2.100) (2.107) (последнее соотношение следует из уравнения (2.101)). Апалигг зируя уравненпе (2.105), мож- Ф но сделать следующие важг ные выводы: 1) Можно найти линейное ~г преобразование координат такое, что в новой системе ко- Ф ординат коварпаппонная матрица будет иметь диагональный вид. Это означает, что таким образом в общем случае можно получить некоррелированные случайные величины, 'гт а в случае нормальных распределений — независимые случайные величины. 2) Матрица такого линейного преобразования представляет собой транспонированную матрицу собственных векторов матрицы Х.
Так как собственные векторы есть векторы, максимизирующие Ю(Е, О, Х), то фактически в качестве новых координатных осей выбирают главные компоненты распределения. Двумерный пример подобного преобразования приведен на рис, 2.4. Рис. 2.4. Собственные значения и собственные векторы распределения. где Ф вЂ” матрица порядка п Х п, состоящая из п собственных векторов 3) Собственные значения являются дисперсиями преобразованного распределения.
4) Рассмотренное преобразование называют ортонормированным преобразованием, поскольку оно удовлетворяет уравнению (2.101). При этом преобразовании сохраняется евклидово расстояние, так как [[У[[' = У'У = Хтфф'Х ХтХ = [[Х[[' (2Л08) 2.3.4. Декоррелирующее преобразование. После применения ортонормированного преобразования (2.104) можно воспользоваться еще одним преобразованием Л " для того, чтобы привести ковариационную матрицу К к единичной матрице 1: (2 100) К = Л-"Ф'2.ФЛ-" = ~-"ЛЛ-" = 1 (2Л10) Преобразование Л 'Ф' называтот декоррелируюи1им преобразованием.
Цель этого преобразова- Гг ия Л состоит в изменении масштаба главных компонент пропорционально значениям 1/Ю;. Па рис. 2.5 изображен соответствующий двумерный пример. П р и м е р 2.11. Декоррелирующее преобразование не является ортопормированным преобразованием, поскольку '(Л;1/2Фт) ' (Л вЂ” 1/2Фт)— 1'ис. 2.5.
Декоррелирующее преобра- зование. = ФЛ 'Ф' Ф 1. (2 111). Поэтому в результате декоррелпрующего преобразования евклидово расстояние не сохраняется: [[Л~ = 1" 1' = Х'ФЛ 'Ф'Х ~ь [[Х[[2 (2 112) П р и м е р .12. 1товарнационная матрица, полученная в результате декоррелирующего преобразования, инвариантна относительно любого ортонормпровапного преобразования так как Ф Чт1Ч" = Ч'Ч' = 1..
(2Л13) Это свойство будет в дальнейшем использовано для одновремен ой диагонализации двух матриц. Пример 2.13. В экспериментах по распознаванию образов часто необходимо генерировать объекты, имеющие нормальное распределение сзаданными вектором математического ожидания 41 40 Ут Ъ' = О "'Ф'Х, (2.115) значений и (2.116) (2.117) (2А18) (2. 123) АХ,А' = 1 и А~' Ат = Л Х,А' = А'Л.
(2.124) (2А 20)'~ (2.126) Гл, 2, случАЙные ВектОРы и их сВОЙстВА и ковариационной матрицей. Обычно случайные величины-признаки коррелированы, и это создает определенные трудности при генерировании объектов. Однако генерирование нормально распределенных объектов с единичной ковариационной матрицей Г является более простой задачей, так как случайные величины в этом случае независимы и одинаково распределены с единичной дисперсией. Поэтому предлагается вначале генерировать такие объекты, а затем осуществлять преобразование векторов У в Х с помощью уравнения Х =(Л '*Ф') 1У = ФЛ"Ъ' где Ф и Л вЂ” соответственно матрицы собственных векторов и собственных значений данной ковариационной матрицы.
2.3.5. Одновременная диагонализация двух матриц. С помощью линейного преобразования можно одновременно привести к диагональному виду две симметрические матрицы Х1 и Х2. Это преобразование состоит в следующем: 1) На первом шаге применим к Х декоррелирующее преоб- разование где О и Ф вЂ” соответственно матрицы собственных собственных значений матрицы К, поскольку Х,Ф=ФО и Ф'Ф=Г, Затем Х1 и Х2 преобразуем к виду О "'Ф'Х1ФО "' = Г, О-' Ф Х2ФО-' =К. ц оощем случае матрица К не является диагональной. 2) На втором шаге применим ортонормированное преобразование для диагонализации матрицы К, т. е.
Чг т~7 (2.119) где Чг и Л вЂ” соответственно матрицы собственных векторов и собственных значений матрицы К, поскольку КЧ~=Ч~Л и Ч~ Ч~=Г. Из выражения (2.113) следует, что определенная в (2.117) матрица 1 инвариантна при этом преобразовании. Таким образом, Чг ту Чг Чг т Чг (2.121) ЧгтКЧг = Л (2.122) Тем самым обе матрицы приведены к диагональному виду. $2.3. ИРеОБРАЗОВАние случАЙных ВектОРОВ Нз рис.
2.6 изображен двумерный пример одновременной диагонализации двух матриц. Применение первого и второго шага дает общую матрицу преобразования Ч"О "О'. 'Однако матрицы Чг"О "Ф' и Л можно вычислить непосредственно по Х, и Х2 без применения описанного выше двухшагового процесса. Это осуществляется следующим образом. аг Рис. 2.6. Одновременная диагонализация матриц.
Теорема. Две симанетрические матрицы можно привести к диагональному виду где Л и А' — соответственно матрицы собственных значений и собственных векторов матрицы 2'~ „., и кроме того, — 1с Д о к а з а т е л ь с т в о. Так как Л вЂ” собственные значения матрицы К, определенной выражением (2.120), то ~к — АХ~ = О, (2А25) Заменяя матрицы К и Х выражениями (2.117) и (2.118), получим ~О 'Ф'! ~Х2 — ЛХ1~ ~ФО-"~ = О. ГЛ. 2. СЛУЧАЙНЫЕ ВЕКТОРЫ И ИХ СВОЙСТВА 43 ф 2,3. Г1РЕОБРАЗОВАНИЕ СЛУт1АЙНЫХ ВЕКТОРОВ Так как матрица преобразования 0 '*Ф' невырождена, то 10 "Ф' ~ Ф 0 и ~ ФО "~ Ф О.
Поэтому имеем ~ Х, — ХХ, ~ = О, или ~ Х1 'Х, — Х1 ~ = О. (2.127) Таким образом, А; явля)отея собственными значениями матрицы Х~ 'Х2. Подставляя выражение (2.118) в (2.120), получим выражение для собственных векторов О-'зФ ФО-"Ч = Ч Л (2.128) или Х~ФО '*Ч' = (О '*Ф') 'Ч" Л. ' (2.129)' На основании соотношения (2.117) выражение (О "Ф') ' можно заменить на Х)ФО *, тогда ~2(ФО "Ч') = ~1(ФО ' 1')Л, (2.130) или ~ — 1~ ~)утΠ— 1/2 1 т)т (ЧттΠ— 1/2 1 т)тЛ (2.131) 1=-1,2,..., и, (2.132) (2.
133) так, чтобы 2) Изменить масштаб собственных век горов 7; выполнялись условия а'Х.';Х,Л, = 1, или а =- 1/(Л,'Х,Л.)'~~. (2.134) выражении В результате 1-я компонента матр)щы (Ч"'0 'Ф')' в (2.131) будет раппа ()утΠ— 1/2Г1)т)т у /(у т~ ~ ) 1/2 (2 135) Следует отметить, что в задачах распознавания образов одновременная диагонализацня двух матриц является весьма эффективным методом, так как во многих случаях рассматриваетСя Таким образом, матрицу преобразования Ч"'О '*Ф' можно вычислить как матрицу собственных векторов матрицы Х~ 'Е,.
Здесь следует сделать одно замечание. Как правило, матрица собственных векторов автоматически удовлетворяет условию ортонормированности (2.101). Однако при одновременной диагонализацип матриц нормировка должна быть выполнена так, чтобы вместо уравнения (2.101) удовлетворить первому уравнению в (2.123). Это можно осуществить изменением масштаба каждого сооственного вектора, решив следующие задачи.
1) Найти ортонормированные собственные векторы матрицы Х вЂ” 1Х задача с двумя распределениями. Кроме того, существует мноисество модификаций рассмотренного выше метода. Выбор конкретной модификации зависит от интересующих свойств, вида матриц и т. д. В этом параграфе мы рассмотрим одну модификацию, которая будет использована в последующих главах. Моди фика ция. Теорема. Пусть матрица (? состоит из линейной комбинации двух симметрических матриц (?1 и (?2 (? = а)(?1+ а2(?2, (2.136) еде предполагается, что а) и а2 — положительные числа.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
