Фукунага - Введение в статистическую теорию распознования образов (1033985), страница 5
Текст из файла (страница 5)
СЛУЧАЙНЫЕ ВЕКТОРЫ И ИХ РАСПРЕДЕЛЕНИЕ 25 дисперсии отдельных случайных величин, а недиагональными элементами — ковариации пары случайных величин х; и х;. Следует отметить, что ковариационная матрица является симметричной. Это свойство позволяет в дальнейшем применять результаты пз теории симметрических матриц. Соотношение (2.28) часто преобразу)от к следующему виду: — Е (ХХ') Е(Х)М' — МЕ (Х') + ММ' = Я ММ', (2.30) Вычисление (2.30) производится непосредственно. Выражение 5 (2.31) называют автокорреляционной матрицей или, иногда, ,))гатрицей разброса вектора Х.
Уравнение (2.30) выражает связь между ковариационной матрицей и автокорреляционной матрицей и показывает, что онп по существу содержат одинаковое количестд)о информации. Иногда удобно нормировать ковариационную матрицу, преоб1зазуя ее элементы в коэффициенты корреляции по формуле: ' '1 О Од,, О ". о. Таким образом, матрицу Х можно представить комбинацией двух матриц: диагональной матрицы дисперсий и матрицы коэффициентов корреляции. Будем называть д(( корреляционной матрицей. Так как дисперсии зависят от масштаба системы координат, то корреляционная матрица содержит существенную информацию о взаимосвязях между случайными величинами.
2В 27 $2.2. СВОЙСТВА РАСПРЕДЕЛЕНИЙ 2»<» =:»' Е(~~Х, — ЛХ,.Р)+ ;» (х, — лх,.) »=1 (2.42) (х» — м,),' (х,— и,)' (2.43) $ 2.2. Свойства распределений (2', х, Е( = ~' Е ()) Х,. ~~'), (2.40) » 1 (2.45) И )Х~~' = Х'Х =,'»', х~. »=-1 (2.41) ГЛ. 2. СЛУЧАЙНЫЕ ВЕКТОРЫ И ИХ СВОЙСТВА 2.1.4. Некоррелированные, ортогональные, независимые случайные векторы. Определение. Два случайных вектора Х» и Х; называют некоррелированными, если Е )Х;Х,) = Е )Х1) Е(ХД,, '(2.36) о ртогональн ыми, если Е ) Х; Х, ) = О, (2.37) независимыми, если р (Х„Х,) = р (Х<) р (Х,) . (2.38) Имеется несколько существенных связей между этими тремя условиями.
(1) Независимость является более общим условием, чем некоррелированность. Первое означает выполнение равенства (2.38) для каждого Х; и Хя в то время как второе представляет собой только интегральное свойство плотности вероятности р(Х;, Х,). Если случайные векторы Х; и Х, независимы, то они некоррелированы, так как Е)Х,'Х<) — ~ ~ Х;Х р <Х„А<) е<Х,е<Х<— Я.У Х';р(Х») с~Х» Х;р(Х1) с~Х, = Е)Х',) Е(Х ). (2.3»)) Обратное неверно. (2) Если математическое ожидание вектора Х; или вектора Х, равно нулю, то «некоррелированные» случайные векторы эквивалентны «ортогональным». (3) Если все векторы Х» взаимно ортогональны, то 2»<» Ю»<» = Х е 6) х; Г) + »',:» е ) х';х ) = »=1 »-1;=1 где )) )) — длина, или норма вектора. Если не оговорено особо, то будем использовать норму, определяемую выражением Для ~ =,)<'=! все математические ожидания Е )Х»Х~) равны нулю, что видно из условия ортогональности (2.37).
(4) Если все векторы Х» взаимно некоррелированы, то + ~~', ~~ Е )(Х» — М») (Х) — М )) = '»', Е (~~ Х» — ЛХ» ~)'). » — 1) — 1 »=1 »Ф3 (5) Если все векторы Х» взаимно независимы, то 1)) »<»»<» е)(х, лх,)(х,. м,.)') ~,'» ~ е(х» — зх») е(х,' — м;)=- 1=1 » 1»=1 ))) М ;» е <(х» — лх,.)(х, — лх,)') =,'» х, 2.2.1. Характеристические функции. Определение. Характеристическая функция случайной величины х определяется выражением +хо и<ее) = Е»ехр <)их)) = ~ р<х) ехр <)их) е<х.
<2,44) Из формулы (2.44) следует, что с точностью до знака величины»В функция»р(о) представляет собой преобразование Фурье от плотности вероятности р(х). Таким образом, использование характеристической функции при изучении распределений соответствует частотному анализу временных функций. Обратное преобразование Фурье (и в этом случае†с точностью до знака величины»В) превращает характеристическую функцию 1~) (»»1) в плотность вероятности р (х) следующим образом: +их р(х) = — )»р(»В) ехр( — 1»зх) йз. 1 Определение.
Характеристическая функция случайного вектора Х определяется выражением »р(й) = Е)ехр (~й'Х)) = ~ р(Х) ехр (ф'Х) ИХ, (2.46) 29 ГЛ. 2. СЛУЧЛЙ11ЫВ ВВКТОРЫ И ИХ СВОЙСТВЛ ф 2.2. СВОЙСТВА РЛСПРВДВЛВНИЙ где ~Р„[и) =. Е[ехр[[иу)) =- 1 р [р) е„р [ „) ер 2 р [Х) ехр [[ихр[, [х,)] е[х,...е[х, = — РΠ— ир П +'"' П П 1 р [х,) ехр [[ир, [х,.)[ е[х,. =- и ие,[,р [и), 1=1 1=1 (2.
49)) В данном случае характеристическая функция представляет собой произведение характеристических функций отдельных слагаемых д;(х[). так как функция грх,(„,) (О1) является одномерным преобразованием Фурье, то она, как правило, может быть вычислена. После того как с помощью (2.49) вычислена характеристп ческая функция гр(а), обратным преобразованием Фурье (2.45) можно определить искомую плотность вероятности. П ример 2.7. Рассмотрим частный случай примера 2.6, когда у определяется выражением П У=- ~~ Х[ Тогда из (2.49) следует, что 'х'У (®) П 'Р'х1(®) 1=1 (2.,)1) Если вспомнить, что ггх, (ОР) с точностью до знака а является преобразованием Фурье от плотности вероятности р(х[), то про— изведение гах, (еО) соответствует взяти1о операции свертки от плотностей вероятности р(х;)е Пример 2.8.
После того как с помощью (2.46)' найдена характеристическая функция, моменты плотности вероятности мож- ~ = ~01[ 1О2... 1О„]'. (2.47) Таким образом, (2.46) соответствует и-мерному преобразованию Фурье. Характеристическая функция представляет собой очень удобное средство для некоторых приложений. Рассмотрим примеры Пример 2.6.
Предположим, что все х; взаимно независимы Необходимо получить плотность вероятности величины П у = ~ д[(х,). (2.48) ' 1 — 1 Характеристическу1о функцию величины у можно вычислить следующим образом: но вычислить следующим образом: "П1 ре, х = Е[к['хе'... х„[ = их+" +"и рхх ()„+)„+...+),„) [~ ( ) д) д[О" ... д[,)~п п (2.52) О),=О,...,Е)п=О 2.2.2. Нормальные распределения.
Выражение для плотности вероятности р (Х) нормального распределения имеет вид Х[Х, М, Х) = [2х) "г~[2 [ Р ехР ~ — — е[е [Х, М, Х)), [2.23) где 1у'(Х, М, Х) — сокращенная запись нормального распределения с вектором математического ожидания М и ковариационной матрицей Х. В формуле (2.53) через ср2(Х, М, Х) обозначено сР(Х, ЛХ, Х) = (Х вЂ” М)'Х (Х вЂ” ЛХ) = Ъг(Х '(Х вЂ” ЛХ)(Х вЂ” М)') П П вЂ” '~,' ~ 611(х; — т;) (х; — т;), (2.
54) 1 — 1 2=1 где '(2.55) йв — элементы матрицы Х-[. (1) Параметры, определяющие нормпльное рпспределение. Для того чтобы однозначно задать нормальное распределение, достаточно знать вектор математического ожидания М и ковариа ионную матрицу Х. Все моменты нормального распределер цион ния можно вычислить как функции этих параметров.
(2)' Независимость некоррелированных случайных величин. Если случайные величины х;,1,=.1, ..., и, взаимнонекоррелированы, то они также и независимы. Из '(2.29) и (2.36) следует, В (2.54) 1г(А) обозначает след матрицы А, который равен сумме диагональных элементов матрицы А. Из (2.53) и (2.54) следует, что нормальные распределения представляют собой простые экспоненциальные функции от функции расстояния (2. ), 2.54) которая в то ая является положительно определенной квадратичной функцией случайных величин х;, 1 = 1, ..., п. Коэффициент (2л)-"'~~Х~ "2 выбирается исходя пз условия нормировки ~ р [х) ех = [. (2.
56) У Нормальные распределения широко используются, так как обладают многими важными свойствами. Рассмотрим некоторые из них. 80 ~ 2.2. СВОЙСТВА РАСПРЕДЕЛЕНИЙ ГДЕ ! (2.61) 1/о211 (2л)1/2о22 -,',,' ехр 2л!2:! о (2.58) 1/о2„ — (о22 (х, — т,) + 2 2 2 ! 2. ! 2 о 22 — Х 2(2.! — (х, — т,) 1 2 2о22 —, ехр О22 )1/2 ! ~ )1/2 2 2 Х (х,— т,), (х2 — т2) о22 (2.62у (2.59) ге) О2 2 = ехр 2 — — + /ьгт . (2.63) 2 — — Х 2! 2.! о,т (2л)1/2 ! ~ !1/2 ехр ~ ( ~ — )' 2о11 (2л) / о 2 Х (х, — т,)— о1р (хг — т,) о21 1 (2л)1/2, (хг — и. )2 2о11 2 (2.60) ГЛ.
2. СЛУЧАЙНЫЕ ВЕКТОРЫ И ИХ СВОЙСТВА что если случайные величины х;, г = 1, ..., и, некоррелированы, то о;; — Е((х, — тг))Е((х/ — т )) = 0 при р / (2 57) В силу этого матрица Х принимает вид диагональной матрицы Поэтому из (2.53) и (2.54) следует, что ее — 1/2 ее р(х) =(2а) "о П ае; ехр 1=-1 огг — 1/2 — 1 (х. — и.)2) (2а) аа ехр — 2 ', ' ~ П р(х).
1=1 Таким образом, условие независимости случайных величин (2.38) выполняется. (3) Нормальные маргинальные и условные плотности вероятности. Маргинальные и условные плотности вероятности нормального распределения являются нормальными. Покажем ато только для двумерного случая. 8 общем случае доказательство проводится аналогичным образом, однако здесь оно не приводится вви у его сложности. я ввиду Для маргинальной плотности вероятности имеем: +оо р (х,) ) р (х„хе) ахе = +оо 1 (2(ае 2 Р ~ — е)2((а22(Х вЂ” т1) + + а1~ (х, — т,)' — 2аео (хд — т,) (х, — и,))~ е)хе = ~ Х ! = о 11О22 ех12 2 4 Для условной плотности вероятности имеем: Р (хг/Х2) = Р (х1, Х2)/Р(х2) .+ О11 (х, — т,)' — 2о12 (х, — тг) (х2 — т2) ) + Уравнение (2.62) представляет собой нормальное распреде- 2 ление со средним значением тг+ о12 (х2 — т2)/о22 и диспер- СИЕЙ ~ хх 1 /ех22, (4) Характеристические функции нормального распределения Ха актеристическую функцито одномерной случайной вели- Р чины, имеющей нормальное распределение р(х), можно вычислить следующим образом: +оо 4р(ег) = ) .
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
