Фукунага - Введение в статистическую теорию распознования образов (1033985), страница 45
Текст из файла (страница 45)
Найдите приближенно собственные значения, используя спектральную функцию. 8.6. Ковариационная функция стационарного процесса х(1) в интервале 1 — Т/2, +Т/2' равна ехр( — а~/ — т~). Пусть р = ехр( — аЬТ), где ЬТ вЂ” интервал между соседними наблюдениями. Найдите соответствующую ковариационную матрицу и вычислите (М1 — Ме)'Х '(М~ — Ме). 8.7. На рисунке показана блок-схема процесса линейной фильтрации, где г(Ц вЂ” исходный сигнал, х(1) — наблюдаемый сигнал, равный сумме г(1) и шума п(1), з(1) — оценка г(1).
Импульсная характеристика Ь(1, т) оптимального линейного фальтра находится путем минимизации относитель- но Ь(1, т) следующего выражения: Найдите оптимальную импульсную характеристику Ь(1, т), используя векторно-матричное представление. 8.8. Стационарный процесс является нормально распределенным в интервале 1 — Т/2, +Т/2' с ковариационной функцией ехр( — а~1 — т~). Найди. те верхнюю границу и'[Ф;1. 8.9. Автокорреляционная функция пуассоновского процесса равна Л/+ + Ае/т (т ) 1) и Хт+ Ит (1-е т).
Полагая О < 1, т е Т, найдите интервал между соседними наблюдениями или число выборочных точек, гарантирующее, что при удвоении числа точек сумма новых собственных значений составит менее чем е % от суммы всех собственных значений. 8.10. Можно вычислить корреляционную матрицу усеченных коэффициентов ряда Фурье стационарного случайного процесса. Докажите, что собственные значения этой матрицы приблизительно равны собственным значениям корреляционной функции процесса. (У к а з а н и е: вычисление коэффициентов Фурье — это ортогональное преобразование в функциональном пространстве.) 267 Глава 9 (9Л) с(о;, о,. '71) = ~ с(о;, о,: у„). 1=1 (9.2) ВЫБОР ПРИЗНАКОВ И ЛИНЕЙНОЕ ПРЕОБРАЗОВАНИЕ ПРОСТРАНСТВА В СЛУЧАЕ МНОГИХ РАСПРЕДЕЛЕНИЙ При наличии двух или большего числа классов цель выбора признаков состоит в выборе таких признаков, которые являются наиболее эффективными с точки зрения разделимости классов.
Разделимость классов не зависит от системы координат, и этим критерии разделимости отличаются от критериев для одного распределения. Далее, разделимость классов зависит не только от распределений объектов в классах, по также от используемого классификатора. Например, оптимальный набор признаков для линейного классификатора может не быть оптимальным для других классификаторов при тех же распределениях. Для того чтобы избежать этого дополнительного усложнения, будем искать оптимальный набор признаков для байесовского классификатора; это позволит минимизировать ошибку классификации. Тогда разделимость классов будет эквивалентна вероятности ошибки байесовского классификатора, который является наилучшим среди возможных классификаторов.
Следовательно, с теоретической точки зрения вероятность ошибки является наилучшим критерием эффективности признаков. Кроме того, на практике одним из наиболее распространенных критериев является вероятность ошибки, полученная экспериментально; а именпо, интуитивно выбрав набор признаков, строят байесовский классификатор и экспериментально подсчитывают число ошибок классификаций. Эта процедура является гибкой, не зависит от вида рйспределения и теоретически позволяет найти оптимальное решение.
Кроме того, с точки зрения машинного времени она может успешно конкурировать с процедурами минимизации многих других критериев, которые задаются явными математическими выражениями, но оказываются сложными для минимизации. Главный недостаток критерия вероятности ошибки заключается в жом, что, за исключением очень небольшого числа частных з 9.1. ОБЩИЕ СВО11СТБА РАЗДЕЛИМОСТИ КЛАССОВ случаев, для пего не существует явного математического выражения, и поэтому здесь трудно надеяться на получение крупных теоретических результатов. В гл. 3 было показано, что даже для нормальных распределений вычисление вероятности ошибки требует численного интегрирования (за исключением случая равных коварпацпонпых матриц).
В этой главе будет рассмотрено несколько критериев, задаваемых в явном виде. Вид критерия выбирается из каких-либо физических соображений. Однако читатель должен помнить, что всякий раз, когда предлагается некоторый критерий, качество этого критерия следует рассматривать по отношению и вероятности ошибки. Если крптерпй непосредственно пе связан с вероятностью ошибки, то рассматривается не сама эта вероятность, а ее верхняя и нижняя границы.
~ 9.1. Общие свойства разделимости классов Критерий разделимости двух классов будем записывать в виде с(оь о„у1,..., у~) = с(о;, о,: У~), где 7 случайных ведая'п1н уи ..., у~ используются в качестве признаков. Кроме того, предположим, что лучшей разделимости классов соответствует болыпее значение критерия. Желательно было бы также потребовать, чтобы критерии удовлетворяли следующим условиям: 1. Монотонная связь с вероятностьто ошибки, Это условие обычно трудно выполнить. 2.
Монотонная связь с верхней п нижней границами вероятности ошибки. Качество критерия можно при этом оценить в соответствпп с тем, как близко эти границы находятся к вероятности ошибки. 3. Инвариантпость относительно взаимно однозначных отображений: вероятность ошибки байесовского классификатора инварианта относительно любого преобразования, сохраняющего взаимно однозначное соответствие *). 4. Аддптпвность по оттюшению к независимым признакам: если у~ взаимно независимы, то ') Поэтому любой критерий, который изменяется при невыроькденном преобразовании, имеет серьезный недостаток: он работает правильно только в данной системе координат (или в некотором семействе систем координат, относительно которого он инвариантен). 269 ГЛ.
9. СЛУЧАЙ МНОГИХ РАСПРЕДЕЛЕНИЙ 9 9.2 дискРиминАнтныЙ АнАлиз 5. Метрические свойства: 1) с(а», а». У») ) О при ~ ~>1, ',(9.3) 2)' с(а», а»: 2») = О, ,'(9.4) 3)' с(а;, а,: У») = с(а;, а»: У»), '(9.5) 4) с(а», а,:У») ~ с(а», а,: х"»+!)'. '(9.6) Следует отметить, что все эти условия являются не обязательными, а желательными. Например, критерий вероятности ошибки не удовлетворяет условию (9.2).
5 9.2. Дискриминантный анализ 9.2.1. Матрицы рассеяния и критерий разделимости. В диск- риминантном анализе критерии разделимости классов формули- руются с использованием матриц рассеяния внутри классов и матриц рассеяния между классами. Матрица рассеяния внутри классов показывает разброс объек- тов относительно векторов математических ожиданий классов: 2 2 Я = ~ Р(а,.) Е)(Х вЂ” ЛХ») (Х вЂ” ЛХ»)'/а;) ~ Р(а,) Х,. (9.7) 4=1 4=1 Матрица рассеяния между классами может быть определена несколькими способами. Например, 2- Яы = Х Р (а») (ЛХ» — Л1 ) (ЛХ' — ЛХ ) (9.8) 4=! с»ь2 = (М! — М2) (М! — М2), Яьз =Е ((Х'" — Х'") (Х"' — Х'")') = = Е (Х»!'Х»!") + Е(Х'"Х'2') — 2 Е (Х'!»Х'2") = = Х! +12 + (М! — М2) (М! — М2)» (9АО) где Хоз — объекты, принадлежащие г-му классу, г = 1, 2, а Х'" и Х'2' предполагаются независимыми. Вектор Мв представляет собой математическое ожидание смеси распределений и опреде- ляется следующим образом: (9.9) Мо — — Е(Х) =Р(а,)М,+Р(а,)М, (9А1) Матрица рассеяния смеси имеет вид Я = Е ((Х вЂ” Мв) (Х вЂ” Мв)') = Ь' +Яь!.
(9А2)' Все эти матрицы рассеяния строятся таким образом, чтобы они были инвариантными относительно сдвига системы координат, В ртом параграфе в основном используются матрицы Я„и Яь!, но перейти от этих матриц к другим не представляет труда, Для того чтобы получить критерий разделимости классов, мы должны связать с этими матрицами некоторое число. Это число должно увеличиваться при увеличении рассеяния между классами или при уменьшении рассеяния внутри классов. Для этогО имеется несколько возможных способов, но наиболее часто используются следующие критерии: ,'(9 13) (9, 14) (9А5) (9.16) 13 — $г Я! г».
(»г Я2 с)» 14 — $Г Я!/$ГЯ2, Относительно этих критериев можно сделать следующие замечания: 1. Обычно в качестве Я! используются матрицы Яь», а в качестве Я2 — матрицы Я„или Я + ьь. Однако в критерии »2 в ка- ЧЕСтВЕ Я! И 52 ИСПОЛЬЗУЮТСЯ СООтВЕтСтВЕННО МатРИЦЫ Я +Яь» И Л„>, потому что ~5ь!) = О и ~Яь2~ = О. 2.
Критерий 12 часто формулируют в виде )Я»~/~Я2) ~Фридман, 1967]. Здесь он берется в логарифмической форме для того, чтобы получить свойство аддитивности для независимых признаков. 3. Смысл критерия »з заключается в максимизации $гЯ~ при 1г 52 —— с. Следовательно, р — множитель Лагранжа, а с — константа. 4. Критерии 1! и 12 инвариантны относительно любого невы- рожденного линейного преобразования, в то время как критерии 12 и »4 зависят от системы координат.
(9.17) Матрицы рассеяния в пространстве У, соответствующие матрицам Л! и Я2 в пространстве Х, имеют вид Я! —— АЯ»А' и Я2,. = АЯ2А'. '(9.18) Пусть А„ ф,-, 4 = 1, 2, ..., и, и р,, Ч'ь 1 = 1, 2, ..., т, — соответственно собственные значения и собственные векторы матриц э .'Я, и Я2 'Я„„. Хотя матрица Я2 Я1 несимметрична, ее собственные значения и собственные векторы вычисляются с помощью одновременной диагонализации Я! и Я2. 'АЯгА'= Л и АЯ2А'=1 (см.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
