Фукунага - Введение в статистическую теорию распознования образов (1033985), страница 6
Текст из файла (страница 6)
ехр~ 2 ) ехр (/ох) дх =. (2л) 1/го 1 - 2о2 — ехр — — + /от) ехр~ 2 Х (2л)1!2)2 2о Х (Х вЂ” (т+ /О)О2)) СгХ = Таким образом, характеристическая функция с((ь2), так гке как нормальное распределение, представляет собой экспоненциальное выражение, но с дисперсией, равной обратному значению дисперсии нормального распределения р(х). Этот вывод легко объясним, поскольку характеристическая функция г((о) является частотной характеристикой плотности распределения вероятностей р(х). Когда плотность вероятности р(х) сконцентрирована в малой области, характеристическая функция г((ь2) имеет СВОЙСТВА РАСПРЕДЕЛЕНИЙ 32 Тогда имеем и (2.66) Е (Х, ) = (МХ) ~ Е (У!) = М 1= — 1 «(и« = «« — —, и'хи+ «и'м). 2 (2.
64) (2.72) при г"у' -+. оо, ~ (х.) ~ (л) 1 (2.65) Х„= (1Л) .'~' ~,. ГЛ. 2. СЛУЧАЙНЫЕ ВЕКТОРЫ И ИХ СВОЙСТВА более высокочастотные компоненты, «размазана» в большеи области и наоборот. Характеристическую функцию случайного вектора (2.53) можно получить путем обобщения выражения (2.63). Здесь выражение этой характеристической функции приводится без доказательства: (5) Линейные преобразования.
При любом невырожденном линейном преобразовании функция расстояния (2.54) сохраняет квадратичную форму и полоткительную определенность. Поэтому в результате невырожденного линейного преобразования нормальное распределение остается нормальным, но с другими параметрами. Кроме того, всегда возможно определить множество невырожденных линейных преобразований, которые приводят новую ковариационную матри у к диагональному виду. Диагональная ковариационная матриц ри а соОтветствует некоррелированным переменным и в случае нормального распределения — независимым переменным. оэтох у иц 1 в рассматриваемом случае всегда можно определить множество таких осей, что в новой системе координат случайные величины будут независимыми.
Эти вопросы будут детально рассмотрены в следующем параграфе. (6) Физггческое обоснование. Предположени жение о том что случайные величины имеют пор- 7 мальное распреде. спределение часто оправдывается для многих реальных данных, так ка как истинные распределения достаточно хорошо аппроксимиР мируются нормальными. Это, в частности, верно для процессов, где сл ч . е случайные величины являготся суммами многих независимых пер еременных. Этот случай будет рассмотрен в следующем параграч е в фе в связи с центральной предельной теоремой.
бежание бессмысленных выводов, в дальнейшем Однако, во из ежа нормальность случа лучайных величин не будет предполагаться без достаточных обоснований. 2.2.3. Стохастическая сходимость. Последовательность случайных векторов «)1 (Х ) может сходиться к пределу Х, который также является ется случайным вектором. Например, предположим, что последователь ельность (л'.) состоит из независимых, одинаково распределенных сл ч " случайных векторов с вектором математического ожидания М и ковариационной матрицей Х. Суммируя последовательность (У«), найдем, что ЕНՄ— М)( у — = с; Х вЂ” М) ) = (1 гХ.2) ~~' Е ) (Ъ'! — М) (Уг — М) ) = г.г гт .
(2.67) Таким о а бразом в некотором смысле пос, д сле овательность (Х4 ° М. сходится к векто математического ожидания Определение. Если событие )гт Х, =-Х (2.68) !«г- оо г ния этого 11меет ВВ1)оятность, 1)аВну10 единице то для ооозначения 1 ИСПОЧ1)~ Ют Ззпись 2Я) Рг(Х, — Х) = 1 при г"у' — ~-~ последовптельность Хн сходите р якпеделуХс н говорят, что и г,ероятностью 1 Определение. Если Е())Մ— Х))2) — «-0 при У вЂ” «- оо, 2.70) гедел Х в то говорят, что после довательность Х„ сходится к п1 У еднеквпдрати ч ном см ы еле.
сре н Оп еделение. Если для всех е)0 2.71) рг()!Хк Х)) ) е) — «-0 при гз' — '- оо« го говорят, что к сх Х ходится к ггреде1у Х по вероятности Определение. Если то говорят, что после довптельность расггределении величин Х„ ся к асп еделению величины Х. сходится к р р ипа является центральная П е ом сходимости последнего типа я рим тео ема которая состоит в следующ ем.
предельная т р . Е величина Х,; имеет Центральная пред е ельная теорема. сли в г = 1 ..., гу') распределены д 2.65 ггричем величины «г = 1, пково илгегот конечную ковариацггонну р ггу жггданггя ЛХ то распределение выраггсения (Х вЂ” Лт стремится к нормпльному распре елению с ве — т математического олси ания, равным . матриггеи Х гу'.
К олге того последовптельность н схо ится 1 по вероятности 'а). а) Теорема приводится без доказательства. 2 К, Фукунага $2.2. ПРеОБРАЗОВАН11е случАЙных вектОРОВ Выбираем прямоугольную область дх1их2 в исходной системе .координат Х. Тогда можно найти соответствующу1о область дО 1'ис. 2.3. Двумерный якоонан. в= — дх' д да. д д — = — а~х„е = — дх,~ д =- —. дх . х ух~ дх~ (2.77) (2.73) (2.78) пли П можно вычислить из 'тъ геометрических сооп- ражепнй ~!~л2 А1 дД дх~ дх ~ 1 2 '1ак как вероятности соответству1ощих площадей должны ы одинаковыми в обеих системах координат, то р(уп у2)а~0 = р(у~, у2) ~1~г7х1йх2 = р(х1, х2)г1х~йх2, (2.80) (2.75) 21лп Р(у~ У2) = р(х~, х2)/~1~.
(2.81)' образом якобпзп — это 1 оэ ьлн ффицие11Т, определяющий изменепне масштаба в результате данног б .динат. го прео разования коор- д», д,», дх~ дх в (2.76) д» д» лп вв дх ' ' дх 2.3.2. Линейное преобразование. Когда преобразование яв ется линейным, то (2.73) можно заменить следующим выражением: У=АХ, (2.82) Где А — матрица порядка пХп. В этом случае определитель является якобианом линейного преобразования. Вектор ма- ,~А 2ф Гл. 2. случАЙные ВектОРы и их сВОЙстВА При суммировании независимых случайных векторов плотность распределения вероятностей р (Х,-) равна свертке от Ур (у,) . Поэтому центральная предельная теорема является лишь свойством свертки, содержащей большое число поло1кительных функций Центральная предельная теорема обосновывает применение нормального распределения во многих приложениях, так кйк часто наблюдениями являются суммы большого числа непаблюдаемых случайных векторов.
Критерий Коши. Предположим, что последовательность Х„в некотором смысло стремится к пределу У. Обычно величина случайного вектора Х заранее неизвестна. В этом случае для установления факта сходимости можно в формулах (2.69) — (2.72) заменить У. на Х +„, где й может быть любым положительным числом. ч 2.3.
Преобразование случайных векторов 2.3А. Якобиан. Пусть случайный вектор Ъ' является функцией другого случайного вектора Х: У' = К (Х) = Ь,(х~, х2, ..., х„), 1= 1, 2, ..., П. (2.74)' Кроме того, предположим, что существует взаимно однозначное соответствие между случайными векторами Х и 1'. Тог;1а плотности распределения вероятностей этих случайных векторов связаны соотношением СЛ1 Р $С ~У)1 р1(у) ~~~ ~у~ Где ~1~ — абсолютное значение якобпана Якобиан (2.76) необходимо преооразовать, так как область ду1...ду„в системе координат У соответствует области ~1~дх1 ...
Их„в системе координат Х. П ример 2.9. Физический смысл якобиана можно легко понять, рассмотрев двумерный случай (рис. 2.3). координа'г 1 пол1 зуясь д» е1У = — "' Их дх дД'2 ИУ2 = дх следующими формулами: + — Их дд, дх. ГЛ. 2. СЛУЧАЙНЫЕ ВЕКТОРЫ И ИХ СВОЙСТВА $2.3. НРНОБРАЗОВАние случАйных ВектоРОВ 37 тематического ожидания и ковариационная матрица случайного вектора Ъ' соответственно равны й =Е (У) = АЕ (Х) = АМ, (2.83) К = Е ((Ъ' — й) (У вЂ” й)') = Е [(А (Х вЂ” ЛХ) ) (А (Х вЂ” М) )'~ = = АЕ (Х вЂ” М)')А' = АХА'.
(2.84) При выводе (2.84) используется следу1ощее соотношение, известное в матричной алгебре: (лВ) =Вл (2.85) С учетом формулы (2.84) и правила вычисленич определителей К = АХА' — ~- ~К! = ~А~ ~Х! ~А'~ = 1Х~ ~Л ~2 (2.89) плотность распределения вероятностей р(1х) примет впд р(У) = ~2е) "")Х) " *р~ — — 8'~), )», Х)~. <2.88) Таким образом, случайный вектор х' имеет нормальное распределение с векгором математического ожидания хр' и ковариационной матрицей К. 2.3.3. Ортонормированное преобразование.
Преобразуем систему координат так, чтобы вектор математического ожидания (в (2.85) матрицы могут и не быть квадратными). 11одобное соотношение имеет место и для обратных матриц." (АВ) ' =В 'А (2.86) 11ри этом требуется существование обратных магриц (АВ) А 'иВ'. 11р и м е р 2.10. Функци1о расстояния (2.54) случайного вектора У, имеющего нормальное распределение, можно вычислить следующим образом: ~2(1, й, К) = (1 — й) К-1 (1 — й) = = (А (Х вЂ” М) ) '(АХА') ' (А (Х вЂ” М) ) = = (Х вЂ” М)'Х '(Х вЂ” М) = сР(Х, М, Х). (2.87) Заметим, что функция с82(Х, М, Х) не только сохраняет квадратичиу1о форму в результате линейного преобразования, но и вообще инвариантна по отношению к любому линейному преобразованию.
Таким образом, из (2.75) и (2.53) следует, что плотность вероятности случайного вектора У имеет вид р (У) =- (2е) е~) 2) "~ ехр ( — —, Ае (Х, Ае, 2)))) А ), (2 88» случайного вектора Х был бы равен нул1о, т. е. положи Х=Х вЂ” М. Тогда квадратичная форма (2.54) в новой системе нат примет вид (2.91)' коорди- с12(~, О, ~) = ~'~-1Л.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
