Фукунага - Введение в статистическую теорию распознования образов (1033985), страница 4
Текст из файла (страница 4)
д. Они очень субъективны, но если критерий выбран, определены и характеристики получающихся классов. Рассматриваются также поисковые алгоритмы, позволяющие таким образом распределить объекты по классам, чтобы выбранный критерий принял экстремальное значение. Чтобы помочь читателю лучше понять излагаемый материал, в конце каждой главы приводятся задачи. Кроме того, даются задания на составление программ. Опыт показывает, что эти задания повышают интерес у студентов.
Однако они больше ориентированы на тех исследователей в области распознавания образов, которые хотели бы разработать систему базовых программ и использовать ее в качестве инструмента для своих исследований. Необходимость существенных модификаций этих программ определяется специфическими оообег1иостями имеющихся в распоряжении данных. ФР фыр 'Щюм Рию Лхп- д д Р (Х)/дх,...
дх . (2.6) х2 ( Х2, ..., х„ ( х„), (2.2) Р(х)~ х2т ...~ хп) = Рг(х) - х)~ (2.5) Р(+оо, +оо, ..., +оо) = 1. Глава о СЛУЧАЙНЫЕ ВЕКТОРЫ И ИХ СВОЙСТВА В последующих главах часто будут использоваться свойства случайных векторов и приемы линейной алгебры. Обзор необходимых по этим разделам сведений содержится в данной главе. Читатель, знакомый с теорией вероятностей, математической статистикой и линейной алгеброй, может эту главу пропустить. 5 2 1. Случайные векторы и их распределение 2.1.1.
Функция распределения и плотность вероятности. Как Отмечалось в главе 1, входом системы распознавания образов является случайный вектор Х = ['х) х2 ... х„]', '(2Л ) где т — знак транспонирования. Случайные векторы можно полностью охарактеризовать функцией распределения вероятностей, которая определяется следующим образом: Определение. Совместная функция распределения вероятностей вектора Х определяется выражением где Рг(Л) — вероятность события Л. Для удобства выражение (2.2) часто будет записываться в виде Р(Х) = Рг(Х ( Х).
(2.3) Совместная функция распределения вероятностей является монотонной, неубывающей функцией по каждому из аргументов. Кроме того, из определения следует, что Р( — оо, — оо, ..., — оо) =0 (2.4) '8 2л. ГлучАЙные ВектОРы и ихРАспРеделение 19 П р и м е р 2.1. Положим, что двумя случайными величинами х) и х2 являются высота- и вес студентов колледжей США.
Тогда Р (5,5 футов, 160 фунтов) есть отношение числа студентов, для которых высота и вес меньше или равны соответственно 5,5 футам и 160 фунтам, к общему числу студентов (см. рис. 2.1). рис. 2Л. с1~ун)щня раснределения вероятностей и нлотность веронтносттт. число студентов в данной области, общее число студентов б) Р( 5 1 ) "и"ло ст' ентов в данно12 области общее число студентов Определение. Совместная плотность вероятности вектора Х определяется Рг(х, < х,(х, + Лх„..., х < х (х + Лх (~) 11гн и п и п Лх,ЛХ2... Лх Это определение представляет собой прямое обобщение одномерного случая, где р(х) = 11гп Рг(х < х( х+ Лх)/Лх— лх-+О = 1пп [Рг (х ( х + Лх) — Рг (х ( х) [/Лх = л. о = 1ип [Р (х + Лх) — Р (х)[/Лх АР (х)/с8х.
(2.7) л о Обратно, функцшо распределения вероятностей можно выразить через плотность вероятности следующим образом: х х, ХП Р(Х) ) р(Х)йХ ) ... ) р(Х)вх,дх,...вх, (2.8) 21 20 р (Х) = '~', р (Х/(о,) Р((о,). (2. 13) Р(Х/(о) = Рг(Х ~ Х/(о), (2.9) (2.10) р (Х) = „~ р(Х/о),) Р(о),). 1=1 (2. 12) (2.17) Гл. 2.
случАиные вектоРы и их свойствА Х гке ~ ( ) бХ вЂ” сокращенное обоакачаиие и-краткого интеграла. Для вычисления вероятности совместная плотность вероятности р(Х) должна быть умножена на объем Лх)Лх2... Лх„(или ЛХ) (см. рис. 2.1 и связанный с ним пример 2.1). 2.1.2. Условные плотности вероятности. В задачах распознавания образов наиболее часто встречаются два вида условных плотностей вероятности. Они различаются типами событий, от которых зависит случайный вектор. Условная плотность вероятности при фиксированном случайном событии.
Определение. Условная фу~кггия распределения вероятностей вектора Х при фиксированном событии (о определяется следующим образом: Где Рг(А/В) — условная вероятность события А, определенная в предположении, что произошло событие В. Эта вероятность равна Рг(А/В) = Рг(А.В)/Рг(В), Где А  — совместное событие А и В. Определение. Условная плотность вероятности вектора Х при фиксированном событии (о определяется следующим образом: р(Х/(о) = д"Р(Х/(о)/дх)дх2 ...
дх„. (2.11) Теорема. Предположим, что достоверное событие ьР состоит из тп независимых событий (о), (о2, ..., (о,„. Тогда безусловная плотность вероятности вектора Х имеет вид Здесь Р(вн) используется вместо Рг((о). Докязательство теоремы рекомендуется выполнить самому читателю в качестве упражнения. П р и м е р 2.2. Пусть о)~ — событие, состоящее в том, что объект принадлежит г-классу, г = 1, 2, ..., т. Пусть, далее, случайный вектор Х представляет собой множество из и измерений этого объекта.
Условная плотность вероятности Р(Х/(о,) играет существенную роль в теории статистической проверки гипотез. 5 2.1. СллУЧАЙНЫЕ ВЕКТОРЫ И ИХ РАСПРЕДЕЛЕНИЕ Если известна априорная вероятность каждого класса Р(о);), то В настоящей книге р (Х) иногда будет называться смесью плотностей вероятности. На рис. 2.2 показан пример р(Х). Условная плотность вероятности при фиксированной случайной величине. Определение.
Условная плотность вероятности вектора Х при фиксированном значении У случайного вектора Ъ определяется выра'кением р (Х/У) = 1)ш р (Х/У < У ( У + ЛУ). (2.14) м' о Ясно, что (2.14) является частным случаем условной плотности вероятности, определенной выше. Здесь событие (о заменено Рис. 2.2. Смесь плотностей вероятности. а) р(хйо ); б) р(х) = Р(и,)р(х~бб,) + Р(и,))а(х,<бт) б) Р(х)б,,) событием (У ( У ( У+ ЛУ), а ЛУ-»-О. Легко показать, что р(Х/У) можно выразить в более удобном виде р(Х/У) = р(Х, У)/р(У), '(2,15) Где р(Х, У) — совместная плотность вероятности всех компонент векторов Х и 1', которая, кроме того, может быть записана как р(Х, У) = р(х), х2, ..., х„, у), у2, ..., у„).
'(2.16) Выражение р(У) представляет собой маргинальную плотность вероятности вектора У и получается интегрированием совместной плотности вероятности П р и м е р 2.3. Если в качестве исходной информации для оценки распределения вектора Х имеются лишь предварительные 23 22 р (Х~-) р(~ ~х) р(х) р()') (2.19) р (Х/о,.) р (в,. /х) р (х) р(,) (2. 20) и = Е (Х) = ( Хр (Х) ДХ, Я (2. 24) ГдЕ ОблаотьЮ торов Х. Значение формуле (о~+ о2 )г/2 Фиа ехр (2л) 1/2оо 2 —,1 (т ' ) ~ (2.
25) (2. 22) ГЛ. 2. СЛУЧАЙНЫЕ ВЕКТОРЫ И ИХ СВОЙСТВА наблюдения Х), ..., Х„, то условная плотность вероятности век- тора Х определяется выражением р(Х/Х„Х„..., Х.) (2.18) Так как каждое наблюдение Х, имеет и компонент, то в (216) й Л/Хп. Теорема. Условные плотности вероятности р(Х/.г') и р(1'/Х) связпны между собой следующим образом: Это теорема Байеса, которая легко доказывается, если в выражении (2.15) поменять местами Х и У.
Теорема Байеса играет. важную роль в теории оценивания. Замена У событием гв; дает следующее обобщение этой теоремы: Это соотношение является основным в теории проверки гипотез. Пример 2.4. 11оложим, что х и пь — две случайные величины, а условная плотность вероятности х при фиксированном т есть р (х/т) = (2п) ~~~о ехр — — (х — т)'/о' . (2.21) 2 Далее положим, что маргинальное распределение случайной величины пь является нормальным с математическим ожиданием 2 то и дисперсиеи о .
Условную плотность вероятности случайной величины пь при фиксированном х можно вычислить с помощью теоремы Байеса следующим образом: р (х/т) р (т) р (х/т) р (т) р (х) + ) р (х/т) р (т)<Ьп от ехр — — ((х — т)2/оз-( (т т )а/ 2 ) +СО й Ф (2~) о о~п ехр 2 ((х — т)г/о~ (- (гп — т )2/ 2 $2.1. СЛУЧАЙНЫЕ ВЕКТОРЫ И Их РАСНРЕЛЕЛЕНИЕ Часто условную плотность вероятности р(т/х) называют апостериорной плотностью вероятности случайной величины ш. Эту плотность используют для оценивания величины п1 по наблюдениям х.
Плотности вероятности, зависящие от неслучайных ппрпметров. Иног а можно выразить в явной форме зависимость плотное оятности случайного вектора Х от неслучайного вектора па аметров (). Обозначим такую зависимость через р( / ). ектор О является неслучайным вектором, однако его значение может быть неизвестно. П ма р 2.5. Пусть х — нормально распределенная случайримэр ная величина с математическим ожиданием т.
Тогда моя но записать плотность вероятности х в виде ( /, ) = (2гг) ~~2о ~ ехр — — (х = т)'/о2 . (2.2З) отпости вероятности играет важную роль в задаче Этот тип плотности в оценивания неслучайных параметров. 2.1.3. Параметры распределения. Случайный вектор Х полностью х характеризуется его функцией распределения вероятнотифнк нине плотностью вероятности. Однако часто эти фу ц ы ажения могут быть легко определены или их математические выра оказываются слишком сложными для использования на практике. Поэтому иногда предпочтительнее воспользоваться менее полными, но проще вычисляемыми характеристиками случайного вектора.
Вектор математического ожидания. Одной из наиболее важных числовых характеристик случайного вектора ктора Х является вектор математического ожидания или среднее значение случайного вектора Х. Определение. Вектор математического ожидания случпйного вектора Х определяется выражением интегрирования У является все простра~нство ма~- г-й компоненты т; вектора М можно вычислить по т, — ( х;Р (Х) ~)Х = ( ~.р (х.) )д. Я ОО 24 Где Е (х,х,)...Е(хдх„) 1 Е (х„х,)...Е(х„х„) ) Я=Е[ХХ'1 = (2.31) М = Е (Х!У) = ) Хр (Х!У) НХ.
(2.27) о'" 1) г; = о. о 11 11 (2.32) Тогда 1 [х) — пг,...х„— т„~ х,— т, (2.33) Х = ГгдГ, Х = Е ((Х вЂ” М)(Х вЂ” и)'1 =- Е ГДЕ х — т П П (2.34) 1 г.д [г,,[(1. г.~ 1 (2.35) (2. 28) 2 2 Оп1 ° ° ° Ор)п ГЛ. 2. СЛУЧАИЕ1ЫЕ ВЕКТОРЫ И ИХ СВОИСТВА где р(х;) — маргинальная плотность вероятности г-й компоненты вектора Х: р (х;) =.
1 ... ) р (Х) Нх,... йх(,йх;~,, Нх„. (2.26) х1 — 1 Таким образом, каждая компонента вектора М действительно вычисляется как математическое ожидание отдельной переменной по маргинальной одномерной плотности вероятности. Определение. Условный вектор математического олсиданиг случайного вектора Х при фиксированном значении д' равен Это определение получается из (2.24), если р (Х) заменить на условную плотность р (Х/У) . Дисперсия. Другим важным набором числовых характеристик распределения является множество элементов ковариационной матрицы,- характеризующих дисперсию распределения. Определение.
Ковариационная матрица определяется выраже- нием (х, — т,)(х, — гп,)... (х, — т,)(х„— т„) (х„— т„)(х, — пг,)... (х„— т„)(х„— ))г„) Е ((х, — т,)(х, — т,)) .. Е ((х, — т,)(х„— пг„)) Е ((х„— пг„)(хд — т ))... Е ((х„— т„)(х„— т„)) 2 О11 ° ° ° О1п 2 Элементами оц этой матрицы являются числа о2; = Е((х1 — т1)(х) — т)))„г, 7 = 1, 2,..., п. (2.29) Диагональными элементами ковариационной матрицы являются ф 2.1.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
