Фукунага - Введение в статистическую теорию распознования образов (1033985), страница 42
Текст из файла (страница 42)
Когда входы не являсотся независимыми для аппроксимации плотности вероятности р(Х), в (8.45) можно использовать разложение Бахадура, рассмотренное в гл. 6. Очевидно, в этом случае выражение для /г становится значительно более сложным. 8.2.3. Общие замечания, относящиеся к выбору признаков в случае одного распределения. В предшествующем рассмотрения мы имели дело только с ортогональными линейными преобразованиями.
Это было необходимо для того, чтобы сохранить структуру распределения. Легко показать, что при данном распределении можно увеличить одно из собственных значений по сравнению с остальными в произвольное число раз одним лишь изменением масштабов. Но если не существует каких-либо физических соображений для обоснования таких искажений, то такого рода действия — суть лишь математические преобразования сами по себе, а получаемые результаты будут крайне сомнительнымп. Рассмотрим также характер использовавшихся нами критериев.
Как критерий среднеквадратичной ошибки, так и критерий разброса представляют собой математические ожидания некоторых квадратичных функций переменных. По этой причине все наши признаки были функциями статистик второго порядка. Статистики второго порядка могут быть представлены только ковариационной и корреляционной матрицами. Собственныо значения этих матриц инвариантны относительно линейных ортогональных преобразований. В литературе по статистике этот способ представления данных обычно называ1от методолг главных компонент. С другой стороны, когда выбор признаков направлен на класеификаци1о двух или большего числа распределений, допускается и более общий класс преобразований. Это мо1кно делать, так как разделимость классов, например, вероятность ошибки байесовского классификатора, пнвариаптна Относительно любых невырожденных преобразований. Эти преобразования сохранясот структуру распределений в той степени, в какой она существенна для классификации.
В этом параграфе мы пришли к выводу, что оптимальными базисными векторами разложения Карунена — Лоева являются собственные векторы ковариационой матрицы данного распределения. Заметим, однако, что если в качестве базисных векторов разложения выбрать собственные векторы корреляционной матрицы, то все приведенные выше рассуждения остаются справедливыми. Собственное значение корреляционной матрицы равно среднеквадратичной ошибке, вызванной исключением пз разложения соответствующего собственного вектора.
5 8.3. Разлох;ение Карунена — Лоева для случайных процессов ОО ~(~) = ~ у,р,(~), О< ~< т, 1 — 1 (8.50) ГДЕ баЗИСНЫЕ фуНКции Срс(г) яВЛя1ОтСя дЕтЕрМИНИрОВаННЫМИ функциями времени, а коэффициенты у,— случайными величинами. Чтобы образовать полную систему функций, требуется бесконечное число базисных функций срс(г). Поэтому суммирование производится до ОО. Условие ортопормированности базисных функций ср;(1) имеет вид ~у, фу; сои = бу, о (8.51) где ср, (Е) и ср;(Е) — комплексно-сопряженные функции. Если ср;(Е) — действительная.функция, тоср; (г) = ср; (г). Ооратная операция .вычисления коэффпцпентов ус по х(г) имеет вид (8.52) Математическое ожидание, корреляционная и ковариационная функции случайного процесса х (г) определяются следующим образом: т(~) = Е (х(~)), (8.53) Л(Е, т) = Е (х(й)х*(т)), (8.54) С(Е, т) = Е~(х(Е) — т(~)) (х(т) — т(т))*~.
(8.55) Для простоты предположим, что т(Е) = О, О ~ У < Т. Если базисные функции ср;(Е) являются собственными функциями В(Е, т), они должны удовлетворять следующему интегральному 8.3.1. Случайные процессы и их разложение. Так как разложение Карунена — Лоева первоначально было развито для представления случайных процессов, в этом параграфе мы применим полученные выше результаты к задаче представления случайных процессов, а также рассмотрим дополнительно некоторые характерные свойства разложения, специфические для случайных процессов.
Случайный процесс х(~), определенный во временной области (О, Т), может быть представлен линейной комбинацией базисных функций 2Ж ГЛ. 8. СЛУЧАЙ ОДНОГО РАСПРЕДЕЛЕНИЯ 246 % 8.3. РЛЗЛОЖЕНПЕ КАРУНЕНЛ вЂ” ЛОЕВА уравнению: Т .1 т) (~ т) Ю; (т) Шт =- ).д; (~)у. о ~ = 1, 2, ...„(856) где у),( — собственные значения корреляционной функции Л(~, т).
Эти уравнения являются точно такими же, как уравнения для случайных векторов. Предположим, что мы взяли и значений рассматриваемых функций в дискретные моменты времени и представили их в виде векторов следующим образом: Х = [х(~1) х(~г) ... х(~„) )', Ф; = [(р((~1) (р (~г) (р)(~ ) 1' (8.57) (8.58) где каждое выборочное значение х(~;) случайного процесса х(() является случайной величиной.
В таком случае, например, вы- ражения (8.51) и (8.56) можно переписать следующим образом у) (р((~~) (р; (~),) = Ф';Ф; = б,. 1 и п ~~ Л (~„~,) р,. (1,) = )),,р,. (~() 1, 1 — 1, 2, ..., и. (8.60) Для определения собственных значений и собственных векторов уравнение (8.60) можно переписать в матричной форме: ЯФ(=Х,Ф), ~=1, 2, ..., и, (8.61) где Л (1„11) ' '' ~(у" 'у)) Е (х ((1) ху (1,)) ... Е(х (11) ху (( )) (~„~1) ... Й (у„т 1,) Е(х ((„)ху(1()) . Е(х (( ) х:у (( )) (8.62) Так как матрица Я имеет размерность и )( и, мы получим не бесконечное число, а только и собственных значений и собственных векторов.
Чтобы минимизировать среднеквадратичную ошибку в непрерывном случае, можно следовать процедуре, аналогичной процедуре для дискретного случая. Для ортонормированных базис- т(ых функций (р)(() получим т т уп х (ц — ~, у,.~у,. (О х (т) — ~ у х,. (т) м ) о 1 — 1 1==1 = Е[ ~ Е)у,.у,"). (8.6З) 1 — уп )-1 )) г уж(о)) 1 ул;(о) )Й1 о о (8.64) тт о о Поэтому, если ср;(Е) — это собственные функции корреляционной функции Л((, т), то т Е (у, у; ) = ( )., т(, (т) х, (ц Ш~ = ), (8.65) о Следовательно, (8.66) 82 (=уп+1 Вспоминая предположение о том, что Е (х(()) = 0 и, следовательно, Е (у)) = О, мы видим, что этот результат совпадает с аналогичным результатом для дискретного варианта разложения Карунена — Лоева.
Трудность использования разложения Карунена — Лоева для непрерывного случая состоит в том, что для получения собственных значений и собственных векторов мы должны решить интегральное уравнение (8.56). За исключением очень частных случаев, решение этого интегрального уравнения не удается получить в явном виде.
Поэтому для того, чтобы получить решение численными методами, мы должны вернуться к дискретному варианту, т. е. взять выборочные значения, вычислить корреляционную матрицу и найти собственные значения и собственные векторы. 8.3.2. Стационарный процесс. Во многих случаях на случайные процессы накладывается условие стационарности. Случайный процесс называют стационарным в узком смысле, если для Значение Е (у(у; ) можно вычислить с помощью (8.52) следу(ощим образом: тт Е (у у*) = ~ ) Е (х (т) х' (т) ) ~'; (т) ~у, (т) ат)т .= 249 ГЛ.
8. СЛУЧАЙ ОДНОГО РАСПРЕДЕЛЕНИЯ 248 5 8.3. РАзлохген11е кАРуненА — лоевА любого е случайные величины х (~) и х (Е+ е) имеют одинаковые статист~к~. Однак~, так как зто условие слиш['ом 111есткоет введем более слабое условие, которое может выполняться для более широкого класса случайных процессов. Случайный процесс называют стационарным в широком смысле, если выполняются следующие два условия: т(г) = т = сонями, Л (1, т) = Л (~ — т).
(8.67) (8.68) Если не оговорено противное, мы всюду далее будем использовать термин «стационарный» для обозначения стационарности в широком смысле. Кроме того, будем по-прежнему считать, что. = О. Так как мы здесь рассматриваем лишь весьма частну[о про лему, читателю, желающему глубже ознакомиться со случайными процессами, следует обратиться к общим курсам [[се теории случайных процессов.
Для стационарных процессов интегральное уравнение (8.56) принимает вид Т[2 В[с — т) р;[)б =)чд,[с), — т)2(с т[2, [б.[[р) -Т/2 где временной интервал [0 Т) заменен иа [ — Т12 Т/',)1 П, . Т вЂ” р. оо. Тогда уравнение (8.60) принимает вид +но В[С вЂ” т) р, [т) а[с = 1;р,[С), — ао(С<-т ао. [б (О) Так как интеграл (8.70) является интегралом свертки от Л(~) и срг(~), преобразование Фурье этого уравнения имеет ви д Р(го) Ф;()го) = Х[Ф[()го), (8.7 [) где У(го) и Ф,()го) — преобразования Фурье Л(~) и ~р, (~).
В частности, У(в) — преобразование Фурье корреляционной функции случайного процесса — известно как снектральна.", функция случайного процесса х(8). Для того чтобы было выполнено условие (8.7[), Ф,(у'оэ) должна иметь вид Ф[(ио) = б(го — го[). (8.72) Этому соответствует во временной области ~р[(г) = ехр(!го/). (8.7З) Тогда (8.7[) принимает вид .'7(го ) = Х,. (8.74) Следовательно, если случайный процесс стационарен, то на бес- о ечнон вреиенное интервале собатвеннеее фунибии Ивлнютси 11и11ми спект альной нкции. Если временной интервал ограничен значениями [' — Т/2, Т/2], приведенный выше результат перестает быть верным, однако его мон'но рассматривать как приближенно справедливый при достаточно больших Т. Когда Т конечно, нп11тпяя частота определяется следу)ощим образом: ~, = 1)Т или ьо — — 2гт)Т.
(8.75) С бс.венные значения и собственные функции будут Равны со- ответственно' (8.76) (г) ~ ЕХР (г сете)[)с) т е' Полагая ехр(~йго[)~) в качестве собственных функций для случая конечного Т и вырагкая Л(~ — т) с помощью обратного преоб- разования Фурье ))[[ — т) = — [ у [аа) ехр [[ее [С вЂ” т)) Ын и 1 приведем уравнение (8.69) к виду -)-ОО т[2 е е„[с) = — 1 у [аа) ( ехр [[<а[с — т)[ехр [[беает) а[тыаа = — аи — т[2 1 (8[[) ([(гроь — а)) [21 Т1'( = — ~,У (о) ехР ()Ы) т ~ [(~ — ю) 121 т )" (8.77) (8.78) Функцию в фигурных скобках называют выборочной функцией ~а / ~~а .~ Я-У)ы~ (л-+~~в~ гг) Рис. 8.3.
Спектральная функция (а) и выборочная функция (б) с ограниченным размахом. Она показана на рис. 8.3 вместе со спектральной функцией. Предполагая, что .'7(го) ехр (!го8) не сильно изменяется между соседними выборочными точками в, 251 У(У о)ехр(Уг Д. (8.79) Э.„= Я(Агоо). (8.80), .1Г У4ХУ 7Ю Нпл~~а аИспнаннын ~начв~ий "166 ~46~а ~7 ~н Рнс. ГЛ. О.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
