Свойства многомерного нормального распределения
4.5. Свойства многомерного нормального распределения
Определение многомерного нормального распределения
Пусть вектор z имеет стандартное многомерное нормальное распределение Nn(0, In), а матрица А размеров пхт и вектор y размеров пх1 состоят из некоторых чисел. При замене матрицы S1/2 на А в выводе выражения (4.4.2) видно, что функцией, производящей моменты распределения вектора у=Аz+y, является ехр(tTy+tTSt/2), где S=ААT. Распределения векторов одинаковы, если они имеют одну и ту же функцию, производящую моменты их распределений. Следовательно по этой функции распределение вектора у зависит только от A через матрицу ААT. Заметим также, что E(у)=АE(z)+y=y и С(y)=AС(z)AT=ААT. Эти доводы обосновывают введение нового определения многомерного нормального распределения.
Определение 4.2. Случайный вектор у размеров пх1, имеющий вектор средних y и дисперсионную матрицу S, имеет многомерное нормальное распределение, если он имеет такое же распределение, как вектор Аz+y, где матрица А размеров пхт удовлетворяет равенству ААT=S и вектор z~Nn(0, Iт). Обозначение у~Аz+y показывает, что векторы у и Аz+y имеют одинаковое распределение.
Докажем, что если матрица S положительно определенная, то новое определение эквивалентно старому определению 4.1. Как показано выражениями (4.3.7), распределение инвариантно к виду матрицы А до тех пор пока ААT=S. Если матрица S имеет полный ранг (или, что то же самое, положительно определенная), то существует невырожденная матрица А такая, что S=ААT. Если по определению 4.1 вектор у имеет многомерное нормальное распределение, то по теореме 4.4.1 вектор z=А–1(y–y) имеет распределение Nn(0, Iт), так что y имеет многомерное нормальное распределение в смысле определения 4.2. И наоборот, если y по определению 4.2 имеет многомерное нормальное распределение, то функция, производящая моменты его распределения, дается формулой (4.4.2). Но она также и функция, производящая моменты распределения случайного вектора, имеющего функцию плотности (4.2.7), так что, ввиду единственности производящей моменты функции, распределение вектора у также имеет функцию (4.2.7) плотности вероятности.
Если матрица S имеет ранг т<п, то распределение вектора у не может быть выражено через функцию плотности вероятности. В обоих случаях, независимо от того, является ли S положительно или неотрицательно определенной, выше было показано, что для вектора у функцией, производящей моменты его распределения, является
Му(t)=ехр(tTy+tTSt/2). (4.5.1)
Как и ранее, в случае невырожденной матрицы S пишем y~Nт(y, S). Когда матрица S имеет ранг меньше полного, то иногда говорят, что вектор у имеет сингулярное или вырожденное распределение. Далее не будет делаться допущения, что S положительно определенная, если это явно не указано.
Пример 4.5.1. Пусть y~Nт(y, S) и положим yT= [y, –y]. Ковариационной матрицей распределения вектора y является
Рекомендуемые материалы
S=s2.
Положим z=(y–y)/s. Тогда
y= z+=az+y
и
S=aaT.
Таким образом, y имеет многомерное нормальное распределение.
□
Пример 4.5.2. Можно показать, что теорема 4.4.1 остается верной и для векторов случайных переменных, имеющих многомерные нормальные распределения по приведённому выше расширенному определению без ограничения на ранг матрицы А. Если y~Nп(y, S), то у~Аz+y. Следовательно, Cу~CАz+Cy=Вz+b и вектор Cу имеет многомерное нормальное распределение с Е(Cу)=b=Cy и С(Cу)=ВВT=CААTCT=CSCT.
□
Пример 4.5.3. В рамках расширенного определения, вектор некоторых числовых значений имеет многомерное нормальное распределение. (Возьмём матрицу О из нулей.) В частности, если 0с - нулевой вектор строка, то при этом определении скалярная постоянная имеет (одномерное) нормальное распределение, так что числовые величины можно рассматривать как нормально распределённые (с нулевой дисперсией).
□
В итоге описание многомерного нормального распределения формулируется следующей теоремой.
Теорема 4.5.1. Вектор у случайных переменных с ковариационной матрицей S и вектором средних y имеет нормальное распределение Nп(y, S), если и только если переменная аTу имеет одномерное нормальное распределение для любых числовых элементов вектора а.
Доказательство: Сначала предположим, что y~Nп(y, S). Тогда у~Аz+y, так что аTу~аTАz+аTy=(АTа)Tz+аTy. Переменная аTу имеет (одномерное) нормальное распределение в смысле определения 4.2.
Обратно, допустим, что tTу является одномерной нормальной случайной переменной для любых числовых элементов вектора t. Она имеет среднее значение tTy и дисперсию tTSt. Используя формулу (4.1.6) функции, производящей моменты нормального распределения одной переменной, находим
E[ехр{tl(tTу)}]=ехр[tl(tTy)+tl2(tTSt)/2].
Принимая tl=1, получаем, что функция, производящая моменты распределения вектора у, задается выражением (4.5.1) и, таким образом, y~Nп(y, S).
□
Распределения линейных функций нормального вектора
Рассмотрим распределения линейных функций векторов случайных переменных, распределённых по нормальному закону.
Теорема 4.5.2. Пусть вектор y случайных переменных размеров nх1 имеет нормальное распределение Nn(y, S), а - любой вектор числовых значений размеров nх1 и А - любая матрица числовых значений размеров kхn и ранга k≤n. Тогда,
- Переменная х=aTy имеет нормальное распределение N(aTy, aTSa).
- Вектор х=Ау имеет нормальное распределение Nk(Ay, ASAT).
Доказательство:
- Функция, производящая моменты распределения переменной х=aTy, задается в виде
Мх(t) =E[exp(tх)]=E[exp(taTy)]=E[exp{(ta)Ty}]
=E[exp{(ta)Ty+(ta)TS(ta)/2}] [в силу (4.5.1)]
=exp[(aTy)t+(aTSa)t2/2}. (4.5.2)
Из сравнения выражений (4.5.2) и (4.1.6) ясно, что переменная х=aTy является одномерной нормально распределённой со средним aTy и дисперсией aTSa.
- Функция, производящая моменты распределения вектора x=Ay, задается выражением
Мx(t)=E[exp(tTx)]=E[exp(tTAy)].
Так как E[exp(tTAy)]=E{exp[(ATt)Ty]}, то, используя (4.4.2) с вектором ATt вместо t, получаем
Мx(t)=exp[tT(Ay)+tT(ASAT)t/2]. (4.5.3)
По следствию 1 теоремы П.6.2, матрица ковариаций ASAT положительно определённая. Таким образом, в силу (4.4.2) и (4.5.3), вектор x=Ay случайных переменных размеров kx1 распределён в виде Nk(Ay, ASAT).
□
Следствие 1. Если b - любой вектор некоторых числовых значений размеров kх1, то вектор х=Ay+b имеет нормальное распределение Nk(Ay+b, ASAT).
Доказательство: Функция, производящая моменты распределения вектора x=Ay+b, задается выражением
Мx(t)=E[exp(tTx)]=E{exp[tT(Ay+b)]}=exp(tTb)E[exp(tTAy)]
=exp(tTb)exp[tT(Ay)+tT(ASAT)t/2] [в силу (4.5.3)]
=exp[tT(Ay+b)+tT(ASAT)t/2],
которая является функцией, производящей моменты нормального распределения вектора х с вектором средних Ay+b и ковариационной матрицей ASAT.
□
Распределения подвекторов нормального вектора
Подвекторы вектора случайных переменных, распределённых по нормальному закону, также распределены по нормальному закону. Это доказывается в следующей теореме.
Теорема 4.5.3. Если вектор у имеет нормальное распределение Nn(y, S), то любой его подвектор размеров rх1 имеет нормальное распределение соответственно c теми же средними, дисперсиями и ковариациями как в исходном нормальном распределении Nn(y, S).
Доказательство: Без ограничения общности, пусть вектор у разделён следующим образом yT=[y1T, y2T], где y1 - любой подвектор размеров rх1. Пусть соответствующим образом разделены вектор y и матрица S:
у=, y= и S=.
Обозначим разделённую матрицу А=[Ir, O], где Ir - единичная матрица размеров rхr и O - матрица нулей размеров rх(п–r). Тогда Ау=y1 и по пункту 2 теоремы 4.5.2 вектор y1 имеет нормальное распределение Nr(y1, S11).
□
Следствие 1. Если вектор y имеет нормальное распределение Nп(y, S), то любая переменная уi вектора у имеет нормальное распределение N(yi, sii).
□
Пример 4.5.4. (Безусловные распределения) Положим, что y~Nп(y, S) и векторы y, y и матрица S разделены, как показано в доказательстве теоремы 4.5.3. Тогда y1~Nр(y1, S11). Это видно из записи y1=Bу, где матрица B=[Iр, 0]. Тогда By=y1 и ВSВT=S11, поэтому результат следует из теоремы 4.4.1. Очевидно, что элементами подвектора y1 может быть любое подмножество элементов вектора y. Другими словами, безусловные распределения многомерного нормального вектора являются многомерными нормальными.
□
В примере 4.5.4 показано, что многомерное нормальное распределение имеет безусловные нормальные и, в частности, его одномерные безусловные распределения являются нормальными. Тем не менее, обратное утверждение неверно. Это видно из следующего примера. Рассмотрим функцию
f(y1, у2) =(2p)–1exp[–(y12+у22)/2]{1+y1y2exp[–(y12–y22)/2]},
являющуюся неотрицательной, так как 1+уexp(–y2)>0, и её интеграл равен 1, так как интеграл exp(–y2/2)dy=0. Таким образом, f(y1, у2) представляет собой функцию совместной плотности вероятности, но это не функция плотности вероятности двумерного нормального распределения. Тем не менее,
=exp(–y12/2)
+y1exp(–y12/2)
=exp(–y12/2),
так что безусловными распределениями являются N(0, 1). Пользуясь теоремой 4.5.1 для доказательства, что у имеет двумерное нормальное распределение, необходимо показать, что aTу имеет нормальное распределение для любых векторов а, а не только для векторов [1, 0] и [0, 1]. Известны многие другие примеры, такие как этот; смотрите, например, [Pierce, Dykstra (1969), Joshi (1970) и Kowalski (1970)].
Независимость подвекторов нормального вектора
В следующих двух теоремах будут использоваться обозначения из доказательства теоремы 4.5.3, где вектор у случайных переменных разделён на два подвектора у1 размеров рх1 и у2 размеров qх1 при соответствующем разделении вектора y и матрицы S.
В силу (3.2.13), если две случайные переменные у1 и у2 независимы, то s12=0. Обратное для этого, в общем, неверно. В более широком смысле, если два вектора у и х случайных переменных статистически независимы (то есть, каждая переменная вектора у не зависит от каждой переменной вектора х), то Syx=O (ковариации каждой переменной вектора у с каждой переменной вектора х равны 0). Обратное, в общем, тоже неверно, но для подвекторов у1 и у2 случайных переменных вектора у, распределённых совместно по нормальному закону с матрицей ковариаций S12=O, обратное утверждение тоже верно.
Теорема 4.5.4. Если вектор у= имеет распределение по нормальному закону Nр+q(y, S), то его подвекторы у1 и у2 статистически независимы, если S12=O.
Доказательство: Положим S12=O. Тогда дисперсионная матрица
S=
и показатель производящей моменты функции в выражении (4.4.2) принимает вид
tTm+tTSt/2=[t1T, t2T]+[t1T, t2T]/2
=t1Ty1+t2Ty2+t1TS11t1/2+t2TS22t2/2. (4.5.4)
Производящая моменты функция записывается так
Mv(t) =exp(t1Ty1+t1TS11t1/2)exp(t2Ty2+t2TS22t2/2),
что является произведением функций, производящих моменты распределений векторов у1 и у2. Следовательно, в силу (4.4.3), подвекторы у1 и у2 статистически независимы.
□
Следствие 1. Если вектор у распределён в виде Nп(y, S), то в нём любые две отдельные переменные уi и уj независимы, если их ковариация sij=0.
□
Условие независимости линейных функций случайного вектора приводится в следующем следствии.
Следствие 2. Если вектор у~Nп(y, S) и С(Ay, By)=ASBT=O, где A и В - матрицы некоторых числовых значений, то случайные векторы u=Ay и v=By независимы.
Доказательство: Рассмотрим
w==y.
Тогда, по теореме 4.4.1 вектор w случайных переменных имеет многомерное нормальное распределение с ковариационной матрицей
С(w)=С(y)[AT, BT]=.
Таким образом, по теореме 4.5.4 векторы u и v независимы, если и только если ASBT=О.
□
Пример 4.5.5. Пусть y~Nп(y, s2In) и 1n - вектор единиц. Тогда выборочное усреднённое =n–1не зависит от выборочной дисперсии s2= (п–1)–1. Чтобы в этом убедиться, пусть Епn=1n1nT - матрица единиц. Тогда =n–11nTy (=Ау) и
= (Iп–n–1Епn)y=By.
Найдём
ASBT=n–11nTs2In(Iп–n–1Епn)= s2n–11nTIn–s2n–1n–11nT1n1nT=s2n–11nT–s2n–11nT=0T,
поэтому по теореме 4.5.4 не зависит от и, следовательно, не зависит от s2.
□
Пример 4.5.6. Для примера применения теорем 4.5.2 - 4.5.4 положим, что у~N3(y, S), где
y= и S=.
Для переменной х=y1–2у2+у3=[1, –2, 1]у=aTy имеем aTy=3 и aTSa=19. Отсюда по пункту 1 теоремы 4.5.2 переменная х имеет распределение N(3, 19).
Линейные функции
x1=y1–у2+у3 и x2=–3y1+у2–2у3
можно записать совместно в виде
x===Ау.
Тогда по пункту 1 теоремы 3.6.2 и пункту 1 теоремы 3.6.4 получаем
Ay= и ASAT=,
а по пункту 2 теоремы 4.5.2 имеем x с распределением в виде N2.
Применяя теорему 4.5.3, получаем, что y1 имеет распределение N(3, 4), у3 имеет распределение N(2, 3), вектор имеет распределение N2 и вектор имеет распределение N2.
По теореме 4.5.4 заметим, что s12=0 и, следовательно, y1 и y2 независимы.
□
Условное распределение подвектора нормального вектора
Пусть у= - разделённый вектор случайных переменных размеров (q+р)х1 и случайные переменные подвектора у2 размеров рх1 имеют значения, представленные вектором у2. Положим, вектор у имеет распределение по нормальному закону Nq+р(y, S), а вектор средних y и ковариационная матрица S разделены соответственно в виде
y= и S=.
Тогда условное многомерное нормальное распределение вектора у1 дается в следующей теореме.
Теорема 4.5.5. Если матрица S22 положительно определённая, то распределение вектора у1, при данном у2=y2, является условным многомерным нормальным у1|(у2=y2)~N[E(у1|у2), С(у1|у2)] со следующими вектором средних и матрицей ковариаций
E(у1|у2)=y1+S12S22–1(у2–y2), (4.5.5)
С(у1|у2)=S11–S12S22–1S21. (4.5.6)
Доказательство: [Boik (2011) стр.140] Пусть В - матрица размеров qхp некоторых числовых значений. Рассмотрим ковариацию С(у1–Ву2, у2) двух векторов у1–Ву2 и у2. Она представляется в виде:
С(у1–Ву2, у2)=С{[Iq, –В]у, [Opq, Ip]у},
так как у=, у1–Ву2=[Iq, –В]у и у2=[Opq, Ip]у. По пункту 2 теоремы 3.6.4
С{[Iq, –В]у, [Opq, Ip]у}=[Iq, –В]
=S12–ВS22.
Допустим матрица S22 положительно определённая и выберем матрицу В такой, чтобы С(у1–Ву2, у2)=O. Отсюда получаем ВS22=S12 и В=S12S22–1.
По пункту 2 теоремы 4.5.2 совместное распределение представляемых произведением
векторов у1–Ву2=у1–S12S22–1у2 и у2, имеет вид
~N(y*, S*),
где
y*==
и
S*=
=.
По теореме 4.5.4 следует, что векторы у1–S12S22–1у2 и у2 статистически независимы. При независимости условное распределение вектора у1–S12S22–1у2, при у2=y2, имеет вид
у1–S12S22–1у2|(у2=y2)~N(y1–S12S22–1y2, S11–S12S22–1S21)
и условное распределение вектора у1–S12S22–1у2+S12S22–1у2=у1, при у2=y2, имеет вид
у1|(у2=y2) ~N(y1–S12S22–1y2+S12S22–1у2, S11–S12S22–1S21)
или
у1|(у2=y2) ~N[y1+S12S22–1(у2–y2), S11–S12S22–1S21].
□
Используя формулу (1.7.1), функция условной плотности вероятности вектора у1 при данном y2 следующая
f(у1|у2)=g(у)/h(у2), (4.5.7)
где g(у) - совместная функция плотности вероятности векторов у1 и у2, а h(у2) - функция плотности вероятности безусловного распределения вектора у2. Доказательство теоремы 4.5.5 может быть выполнено путем непосредственного вычисления отношения в правой части выражения (4.5.7) [Rencher, Schaalje (2008) стр. 95].
Поскольку в (4.5.5) E(у1|у2)=y1+S12S22–1(у2–y2) является линейной функцией у2, то любая пара разных переменных уi и уj в нормально распределённом векторе у проявляет линейную тенденцию E(уi|уj) =yi+(sij/ sjj)(уj–yj). Таким образом, ковариация sij связана с наклоном линии, представляющей тенденцию, и sij является полезной мерой взаимосвязи между двумя переменными, распределёнными по нормальному закону. В случае если переменные распределены по другому закону и проявляют тенденцию отличную от линейной, то sij может дать очень искаженное представление их взаимосвязи.
Матрица условных ковариаций С(у1|у2)=S11–S12S22–1S21 в выражении (4.5.6) не содержит вектор у2. С другой стороны, для некоторых распределений отличных от нормального С(у1|у2) является функцией у2.
Если есть только одна переменная у, включённая в вектор v, разделённый в виде vT=[у, x1, x2,..., xq] = [у, хT], то его вектор средних m и ковариационная матрица S имеют вид
m= и S=,
где y и sу2 среднее и дисперсия переменной у, sухТ= [sу1, sу2,..., sуq] содержит ковариации sуi=С(у, xi) и Sxx содержит дисперсии и ковариации переменных xi (i=1, 2, …, q). Условное распределение дается в следующем следствии к теореме 4.5.5.
Следствие 1. Если вектор vT= [у, x1, x2,..., xq] = [у, хT] имеет вектор средних
m= и матрицу ковариаций S=,
то условное распределение у|х нормальное с
E(у|х) =y+sухТSхx–1(х–x) (4.5.8)
и
D(у|х) =sу2–sухТSхx–1sух (4.5.9)
□
В (4.5.9) квадратичная форма sухТSхx–1sух≥0, так как Sхx–1 положительно определённая. Отсюда
D(у|х)≤D(у). (4.5.10)
Пример 4.5.7. Демонстрируя применение теоремы 4.5.5, пусть вектор v случайных переменных распределен в виде N4(m, S), где
m= и S=.
Если вектор v разделён в виде vТ= [y1, y2, x1, x2], то y=, x=, Syy=, Syх= и Sхх=. В силу (4.5.5), получаем
E(у|х) =y+SyxSхx–1(х–x)
=+
=+
=.
В силу (4.5.6), имеем
С(у|х) =Syу–SyxSхx–1Sху
=–
=–
=.
Таким образом, условное распределение у|х имеет вид
N2.
□
Пример 4.5.8. Для применения следствия 1 теоремы 4.5.5, пусть вектор v~N4(m, S), где m и S такие, как дано в примере 4.5.7. Если v разделяется так vТ= [у, x1, x2, x3], то m и S разделяются следующим образом:
m== и S==.
В силу (4.5.8), имеем
E(у|x1, x2, x3) =y+sухТSхx–1(х–x)
=2+[0, 3, 3]
=95/7–12x1/7+6x2/7+9x3/7.
В силу (4.5.9), получаем
D(у|x1, x2, x3) =sу2–sухТSхx–1sух
=9–[0, 3, 3]
=9–45/7=18/7.
Следовательно, условное распределение переменной у|x1, x2, x3 имеет вид N(95/7–12x1/7 +6x2/7+9x3/7, 18/7). Обратим внимание, что D(у|x1, x2, x3) =18/7 меньше чем D(у) =9, что подтверждает неравенство (4.5.10).
□
Упражнения
4.1. Покажите, что E(z) =0 и D(z) =1, когда z имеет стандартную нормальную функцию (4.1.1) плотности вероятности.
4.2. Покажите, что =E(у), где означает, что определяется при t=0.
4.3. Рассмотрим некоторую случайную переменную с функцией М(t) производящей моменты её распределения. Покажите, что оцениваемая при t=0 вторая производная от ln[М(t)] является дисперсией этой случайной переменной.
4.4. Полагая, что вектор у имеет распределение Np(y, s2I) и матрица M ортогональная, покажите, что вектор Mу распределён в виде Np(My, s2I).
4.5. Пусть A=[Ir, O], как определено в доказательстве теоремы 4.5.3. Покажите, что Ау=y1, Ay=y1 и ASAT=S11.
4.6. Докажите теорему 4.5.5 посредством прямой оценки выражения (4.5.7).
4.7. Положим, что у имеет распределение в виде N4(y, S), где
y=, S=.
Найдите следующее:
1. Совместное безусловное распределение y1 и y3
2. Безусловное распределение у2
3. Распределение x=y1+2y2–y3+3y4
4. Совместное распределение x1=y1+y2–y3–y4 и x2= –3y1+y2+2y3–2y4
5. f(y1, y2|y3, y4)
6. f(y1, y3|y2, y4)
7. r13
8. r13-24
9. f(y1|y2, y3, y4).
4.8. Пусть вектор у имеет распределение в виде N3(y, S), где y= и S=.
Найдите следующее:
1. Распределение x=4y1–6y2+y3
Вам также может быть полезна лекция "Черты эпического стиля в литературе XI-XIII вв".
2. Распределение x=
3. f(y2|y1, y3)
4. f(y1, y2|y3)
5. r12 и r12-3.
4.9. Если вектор у распределён в виде N3(y, S), где S=, то какие переменные в у являются независимыми? (cм. следствие 1 теоремы 4.5.2)
4.10. Если вектор у имеет распределение в виде N4(y, S), где S=, то какие переменные являются независимыми?