Фукунага - Введение в статистическую теорию распознования образов (1033985), страница 43
Текст из файла (страница 43)
СЛУЧАЙ ОДНОГО РАСПРЕДЕЛЕНН11 интеграл (8.78) можпо аппроксимировать выражением +ОО ~~'Р1, (~) = У (Йгоо) ехР (1йгоо~) — ~ т ~ " йо = Поэтому с точностью до разности между (8.78) и (8.79) можно считать 5 8.4. Оценивание собственных значений и собственных векторов Из сказанного выше видно, что выбор признаков с помощью линейных преобразований требует значительного количества вычислений для определения собственных значений и собственных векторов. С теоретической точки зрения задачу можно считать решенной.
Однако для того чтобы применить описанные выше методы для обработки данных, необходимо ответить на ряд вопросов, некоторые из которых мы сейчас рассмотрим [Фукунага, 1970б~. 1. Число выборочных точек, необходимое для описания слу ч а й н о г о п р о це с с а. В негтоторыт практических задачах распознавания образов число переменных и довольно жестко фиксировано, и его нельзя изменить. Однако в некоторых других задачах, в частности, в задачах анализа кривых число выборочных точек, в которых замеряется кривая, подлежит определению.
Более того, в задачах анализа кривых и. приходится выбирать довольно больгпм, скажем, порядка сотен„ а машннное время быстро растет с увеличением и. Следовательно, должны быть разработаны методы, позволя1ощпе выопрать минимально возможное число точек, сохраняя прп этом достаточную точность представления случайного процесса. 2. Число объектов, необходимое для обеспеч е н и я т о ч н о с т и о ц е н о к. Мы всегда должны знать, как много требуется объектов для обеспечения точности оценок собственных значений и собственных векторов.
3. Доминирующие собственные значения и с об стве ни ы е не кт о р ы. Во многих случаях оказывается, что число доминирующих собственных значений мало, хотя исходная размерность и очень велика. Поэтому было бы хорошо иметь процедуры для вычисления только доминирующих собственных значений и соответствующих им собственных векторов, чтобы не иметь дело с матрицей размерности и Х и. ф 8.4. ОценпВАние сонстпене1ых знАчении 8.4.1.
Определение размерности. В этом разделе мы рассмотрим процедуру для определения числа выборочных точек и, представляющих случайный процесс х(г) в дискретные моменты времени. Начнем с простого примера. Пусть х(~) наблюдается при четырех значениях 8, т. е. 8г, Г4, Цо и 1з, как показано сплошными вертикальными линиями на рис. 8.4, а.
Тогда корреляционная 8.4. Реализация случайного процесса (а) и собственные значения Б (6). матрица Я имеет четыре собственных значения, показанных сплошными лннпями на рис. 8.4, б. Удвоим число наблюдений, добавив наблюдения в моменты времени Ен Мз, Ез и Е7. Теперь Я нмеет восемь собствепных значений, как показано пунктиром на рис. 8.4, б. Признаки, соответствующие первым четырем собственным значениям,— зто, по существу, те же самые признаки, которые были получены в случае четырех наблюдений. Осталь.ные четыре признака появились в результате удвоения числа т1аблгодений. Если собственные зпачения, соответствующие новым признакам, х1алы, то ошибка, совершаемая за счет выбрасывания :этих признаков, также будет малой.
Если новые признаки несущественны, то признаки, полученные при четырех наблюдениях, .адекватно представлягот случайный процесс х(1). Пусть в общем случае мы имеем 2п наблюдений. Тогда размерность корреляционной матрицы 52" равна 2п )( 2п. Если сумма некоторых и из 2п собственных значений матрицы 52" мала по сравнению с суммой всех 2п собственных значений, можно считать, что для представления случайного процесса достаточно и точек. Однако вычисление собственных значений требует значительного времени. Для получения более простого критерия выбора и используем результаты теории возмущений из гл.
2. Пусть элементы 2ивгерного вектора признаков Х2" упорядочены такпм образом, 253 что И ( 2п) х (11) х (1з) Х2и (8.81) ( 2и — 1) с Е ~уп (уп)ту Е ~~~п ( п)ту (Ап)т) Е ~~п (Л и)т) Я 2п — Е ( Х2и (Х2 и) т )— Б11 У1'2 упТ уи 12 22 (8.82~ ь Х ( ( 21' 21) ) ( 21 — 1' 21 — 1)) 1=1 п п 'У11 ~'1'1 и и 12 11 ~) = Яо + дЯ2". (8.83) Теперь, если вектор фп [ф'~~ фп Ф,'"= [ Ф" — Ф" 1 Поэтому ,7„= —, 1 — ехр 62и Ф2пт язпф2п о о 611 С12 ~пТ ~и 12 22 (8. 86) где 61'1 — — — Ф" т (Я"„-~- Я1' 612 —— —.Фит (Я"„— Я "12 ~ (8.87) 51' — Я."2) Ф" (8.88) ГЛ. 8.
СЛУЧАИ ОДНОГО РАСПРКДЕЛКНИЯ Тогда матрицу 52" можно представить в виде При больших и матрицы 511, 512 и ~22 почти равны. Запишем 52" в виде является собственным вектором матрицы 51'1, то является собственным вектором матрицы ~о ° Так как матри д~2п при больших и мала, то в соответствии с (2.205) собствено ° к как матрица ные значения матрицы Р" приближенно равны диагональным элементам матрицы $ 8.4. ОцениВАник сОБственных знАчкнии 6 ' Фит (Я"„— у12 — Я12 + Ь'22) Ф". Определим критерий 1„следу1ощим образом: У„= (С г 622) / ~г (6"„+ 6~2) Тогда 1 приближенно равно отношению суммы и наименьших собственных значений матрицы 52" к сумме всех 2и собственных значений.
Если У„ (( 1, то и наблюдений достаточно, и предположение о малости ДЯ2" обосновано. Используя выражения (8.87), (8.89) и ортогональность собственных векторов 141", можно переписать критерий У следующим образом: ~п = $г(511 — 512 — (512)'+ 522)/[21г (511+ 522)1. (8.91) С учетом (8.81) и (8.82) можно выразить У„через значения корреляционной функции Л(4, т) случайного процесса х(г): и Х ( (21' 21) (21' 21 1) ( "1 1~ 21)+ ( 21 1' 21 — 1)) 1 1=1 п Частный случай: стационарный процесс Для стационарного процесса Л (~2ь Г21) — Л (~21-1~ Г21 — 1) = Л (О) (1 Л(Г2'-1 ~21) Л(12;, г21-1) = Л(121 121 — 1) = Л ~ — Т( у — Л (О) Л вЂ” Т(и Л (0).
Пример 8.4. Вычислим крптерпй У. по формуле '(8.93) для Л(т) = ехр( — [т~) и Т = 1. В этом случае Если 2и = 6, то У„= 0,04; зто означает, что трп собственных значения матрицы Я очень малы по сравнению с остальными тремя. Таким образом, вряд лп можно рассчитывать, что дальнейшее увеличение и даст нам дополнительную информацию о случайном процессе х(Г). 255 (8. 95) Если Т ~ То, то / = Т/(4пТО). (8.96) Поэтому (8.101 у ',(8 102) ',(8.103) Е ();)мак (8.104) (8.105) (8.98) где 3~1 М ФЯФ11 г = 1, ..., и. (8.99) ГЛ 8 СЛУЧЛИ ОДНОГО РЛСПРЕДЕЧЕН11Я П р и м е р 8.5. Л (т) имеет треугольную форму: Л (т) = Л (О) (1 — ) т ) /Т ) () т ( ( Т ) () )) Т,).
Результат, полученный в этом примере, полезен в тех случаях, когда можно предполагать наличие стационарности, но корреляциопная функция Л(т) неизвестна. Мы предполагаем, что Л(т) имеет треугольную форму, и используем минимальную по величине оценку Т. 8.4.2. Оценивание собственных значений и собственных век"горов. После того как число наблюдений и выбрано, следующая задача заключается в оценке собственных значений Х1 и собственных векторов Ф;, у = 1, ..., и, корреляцпонной матрицы О'.
Для этого вычислим выборочную корреляционную матрицу: лг 8 = (1/Х),~~ Х1Х'; (8.97) 1=1 и затем — собственные значения Хг и собственные векторы Ф„ / = 1, ..., и, матрицы Я. Важно заметить, что Х1 и Ф; — это оценки Х1 и Ф, и что они являются случайными величинами и векторами, зависящими от выборки Хь..., Х~. В этом разделе мы выведем приближенные формулы для математических ожиданий и дисперсий этих оценок. Пользуясь этими формулами, можно определить значение У, при котором оценки являются достаточно точными. Статистики собственных векторов и собственных значений матрицы случайных величин нзучалпсь в [Уилкинсон, 1965; Андерсон, 19631. Общий метод решения задачи заключается в том, чтобы вычислить распределение 41, а по нему найти распределения собственных векторов и собственных значений. Однако, так как Я = Я для достаточно больших Ж, можно выразить Ф; и Х; с помощью приближенных формул (2.205) и (2.206): и Ф1 =- Ф; + .~~ [Ф;ЯФ,./()„,.
),.)1 ф, 2=1 у~1 ф 8.4. ОЦЕНИВЛНИЕ СОБСТВЕННЫХ ЗНЛЧЕНПП Рассмотрим вначале математическое ожидание этой оценки. Так как Я = Е (ХХ'), то математическое ожидание матрицы Й, определяемой по (8.97), имеет вид Е (Я) = (1/Ю) '~,' Е (ХХ') == Я. (8.100~ 1 — 1 Е (Ф';ЯФ,) = Ф';Е (8) Ф, = Ф',Яф, =- Х;61,г. Из (8.98) и (8.99) следует, что Е(Ф,-) м Ф< Таким образом, видно, что оценки приближенно являются не- смещенными. Дисперсии оценок Х; и Ф; имеют вид Ъ"аг Я = Е (() — л ) ) = Е (Р) — )„8= Е ((Ф|ЯФ )2) — ~.з, айаг [Ф;1 = Е (()Ф,.
— Ф,. () ) ~.~~ Е ((ФЯФ,.)8)/р„. ~„1)2 Математические ожидания (8.104) и (8.105) можно подсчитать с помощью производящих функций выборок, как показано в приложении 8.1. Норма.гьный (еау ссовский) процесс. .В частном случае, когда Х, подчиняются нормальному распределению с вектором математического ожидания М и корреляционной матрицей Б, выражения (8.104) и (8.105) принимаюг вид (с учетом П8.1.10 приложения 8.1) Ъ"аг [Х;] =- (2/Л1) (); — А), (8.106) и Ъ'аг (Ф,.1 =- (1/Х) ~', (л,л; — 2а';И~)/(л; — ),)', (8.107) 1 — 1 а'; = Ф',Л1, г =- 1, 2„..., и. (8.108) Как видно из уравнений (8.106) п (8.107), дпсперспн являются произведением 1/Ж и некоторых коэффициентов, не зависящих 257 необходимое для оценки только доминирующих собственных векторов, намного меньше, чем число точек, необходимое для оценки всех собственных векторов.
Вариация наибольшего коэффициента ошибки. Предположим, что мы должны оценить все собственные векторы с заданной точностью. Тогда, если размерность равна п, то 1 „.,= (8.109) (8.1'1 О) й,1 й Г 4 е ею Чиеле на5люйний 4 Е Р 1У Ю л Чииле наблкЯиний Рис. 8.5. Коэффициенты оптибсси дли Р = О, 1 [Фукунага, 197051. Рис. 8.6. Величина иаксимальпого коэффициента опгибки (Фукунага, 197061. = шах(ус, ..., у.) является ограничивающим фактором.
Следовательно, изменение т „в зависимости от п показывает, как должен расти размер выборки при увеличении п для обеспечения заданной точности. На рис. 8.6 показано изменение (,„ от п при разных значениях р. Видно, что у „растет приблизительно как и' 9 К. Фукунага ГЛ, 8. СЛУЧАЙ ОДНОГО РАСНРЕДЕЛГНИЯ от Ж Эти коэффициенты определяются корреляционной матрицей Я и математическим ожиданием М. Для верхних границ Уаг[Ц и Уаг[Ф;1 монспо получнть гораздо более простые формулы, исключив члены д~ в уравнениях (8.106) и (8.107): Ъ"аг[Х;~ ((2/Х) г'1 или Ъ"аг [г;1/г; ( 2/У, н и 1Ф1 ~+с Эти равенства выполняются, когда математические ожидания известны и равны нулю.
Уравнение (8.109) дает границу величины Уаг Я/ЭЯ, зависящую только от г1'. Уравнение (8.110) дает границу величины Уаг[Ф;1', зависящую от ЛТ и отношений собственных значений матрицы Я. Таким образом, можно выбрать Ж для оценки собственных значений с желаемой точностью, а затем определить Л~, которые дает точные оценки собственных векторов. П р и и е р 8.6. Рассмотрим численный пример. Пусть х(1), 1е= [О, Т~1 — стационарный нормальный случайный процесс с корреляционной функцией Л(т) =Е(х(г)х(1 — т)) = ехр( — а~т~). (8.111)' Если х(г) набл|одается в моменты времени г = 1Т~п, 1 =1, ...
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
