Линейные функции векторов случайных переменных

3.6. Линейные функции векторов случайных переменных

Часто используются линейные комбинации случайных переменных y₁, y₂,..., у_п вектора у. Пусть а^Т= [а₁, а₂,..., а_п] - вектор некоторых числовых значений. Тогда, как показано в главе 1, линейная комбинация переменных y₁, y₂,..., у_п с коэффициентами а₁, а₂,..., а_п может быть записана в виде

х=а₁y₁+a₂y₂+…+а_пу_п=a^Ty.                                       (3.6.1)

Рассмотрим средние, дисперсии и ковариации таких линейных комбинаций.

Математические ожидания линейных функций

Так как у - вектор случайных переменных, то линейная комбинация х=a^Ty является одной случайной переменной. Математическое ожидание или среднее переменной a^Ty дается в следующей теореме.

Теорема 3.6.1. Если а - вектор размеров пх1 некоторых числовых значений и у - вектор размеров пх1 случайных переменных, имеющий вектор средних y, то среднее переменной х=a^Ty

x=E(a^Ty)=a^TE(у)=a^Ty.                                             (3.6.2)

Доказательство: Используя выражения (3.6.1), (3.2.7) и (3.2.6), получаем

Рекомендуемые материалы

E(a^Ty)=E(а₁y₁+a₂y₂+…+а_пу_п)

=E(а₁y₁)+E(a₂y₂)+…+(а_пу_п)

=а₁E(y₁)+a₂E(y₂)+…+а_пE(у_п)

=[а₁, а₂,..., а_п]

=a^TE(y)

=a^Ty.

□

Положим, что имеются несколько линейных комбинаций переменных вектора у с постоянными коэффициентами:

x₁=а₁₁y₁+a₁₂y₂+…+а_1пу_п=a₁^Ty

x₂=а₂₁y₁+a₂₂y₂+…+а_2пу_п=a₂^Ty

...

x_k=а_k1y₁+a_k2y₂+…+а_kпу_п=a_k^Ty,

где a_i^T=[a_i1, a_i2,..., а_iп] и у^T=[y₁, y₂,..., у_п]. Эти k линейных функций можно записать в виде

х=Ay,                                                            (3.6.3)

где

х=,         A==.

Возможно иметь k >п, но, как правило, k≤п с линейно независимыми строками а_1с, а_2с, ..., а_kc матрицы А, так что она полного ранга. Так как у - вектор случайных переменных, то каждая переменная х_i=a_i^Ty является тоже случайной и х^T=[х₁, х₂, ..., х_k] является вектором случайных переменных. Ожидаемое среднее значение вектора х=Ay вместе с некоторыми обобщениями дается в следующей теореме.

Теорема 3.6.2. Положим, что у - вектор случайных переменных, X – матрица случайных переменных, а а и b - векторы и А и В - матрицы некоторых числовых значений. Тогда полагая, что матрицы и векторы в каждом произведении имеют соответствующие размеры, получаем следующие математические ожидания:

1. E(Ay)=АЕ(у).                                                                       (3.6.4)
2. E(a^TXb)=a^TE(X)b.                                                   (3.6.5)
3. E(AXB)=АЕ(Х)B.                                                   (3.6.6)

Доказательство: Эти результаты следуют из теоремы 3.6.1.

1. Если представить матрицу А в виде её строк, то

Ау=у=

Отсюда по теореме 3.6.1 Е(а_icy)=а_icЕ(y) и ожидаемое значение E(Ay)=АЕ(у).

1. Запишем матрицу Х в виде её столбцов Х=[х₁, х₂, ..., х_п]. Так как Xb - вектор случайных переменных, то по теореме 3.6.1 имеем

E(a^TXb)=a^TE(Xb)

=a^TE(b₁х₁+b₂х₂+...+b_пх_п)

=a^T[b₁E(х₁)+b₂E(х₂)+...+b_пE(х_п)]

=a^T[E(х₁)+E(х₂)+...+E(х_п)]b

=a^TE(X)b.

3. Представляя матрицу А в виде её строк, а матрицу Х в виде её столбцов, получаем E(AXB)=E[X[b₁, b₂, ..., b_п]

=E=

=E[X][b₁, b₂, ..., b_п]=АЕ(Х)B.

□

Следствие 1. Если А – матрица размеров kхп и b - вектор размеров kх1 некоторых числовых значений, а у - вектор размеров пх1 случайных переменных, то

E(Ay+b)=АЕ(у)+b.                                      (3.6.7)

Доказательство: В силу (3.3.2), имеем E(Ay+b)=E(Ay)+E(b)=AE(y)+b. Покажите, что по определению математического ожидания, если b - вектор некоторых числовых значений, то E(b)=b.

□

Дисперсии и ковариации линейных функций

Дисперсия случайной переменной х=a^Ty приводится в следующей теореме.

Теорема 3.6.3. Если а - вектор размеров пх1 некоторых числовых значений и у - вектор размеров пх1 случайных переменных, имеющий матрицу S дисперсий и ковариаций, то дисперсия переменной х=a^Ty дается выражением

D(a^Ty)=a^TSa=s_х².                                                     (3.6.8)

Доказательство: В силу (3.2.2) и теоремы 3.6.1, получаем

D(a^Ty)=E(a^Ty+a^Ty)²=E[a^T(y+y)]²

=E[a^T(y+y)a^T(y+y)]

=E[a^T(y+y)(y+y)^Ta]    [так как a^T(y+y)=(y+y)^Ta]

=a^TE[(y+y)(y+y)^T]a    [по пункту 2 теоремы 3.6.2]

=a^TSa    .                       [так как S=E[(y+y)(y+y)^T]]

□

Покажем использование выражения (3.6.8) при п=3:

D(a^Ty) =D(а₁y₁+a₂y₂+a₃y₃)=a^TSa=[а₁, а₂, а₃]

=а₁²s₁²+а₂²s₂²+а₃²s₃²+2а₁а₂s₁₂+2а₁а₃s₁₃+2а₂а₃s₂₃.

Таким образом, дисперсия D(a^Ty) =a^TSa включает все дисперсии и ковариации между переменными y₁, y₂ и y₃.

Ковариация двух линейных комбинаций приведена в следующем следствии теоремы 3.6.3.

Следствие 1. Если а и b - векторы размеров пх1 некоторых числовых значений, то

С(a^Tу, b^Tу)=a^TSb.                                                    (3.6.9)

Доказательство: В силу (3.2.9) и теоремы 3.6.1, получаем

С(a^Tу, b^Tу)=Е[(a^Ty–a^Ty)(b^Ty–b^Ty)^T]

=Е[a^T(y–y)(y–y)^Tb]

=a^TЕ[(y–y)(y–y)^T]b    [по пункту 2 теоремы 3.6.2]

=a^TSb.

□

Каждая переменная х_i вектора случайных переменных х^T= [х₁, х₂,..., х_k] в выражении х=Ay имеет дисперсию и каждая пара переменных х_i и х_j (i≠j) имеет ковариацию. Эти дисперсии и ковариации находятся в ковариационной матрице вектора х, которая вместе с ковариационной матрицей С(х, w), где w=By - другой набор линейных функций, дается в следующей теореме.

Теорема 3.6.4. Пусть векторы х=Ay и w=By, где матрицы A размеров kхп и В размеров тхп некоторых числовых значений, а у - вектор размеров пх1 случайных переменных, имеющий матрицу S дисперсий и ковариаций. Тогда

1. С(х)=С(Ay)=ASA^T,                                                 (3.6.10)
2. С(х, w)=С(Ay, By)=ASB^T.                                      (3.6.11)

Доказательство:

1. По пунктам 1 и 2 теоремы 3.6.2 получаем

С(Ay)=Е[(Ay–Ay)(Ay–Ay)^T]

=Е[A(y–y)(y–y)^TA^T]

=AЕ[(y–y)(y–y)^T]A^T

=ASA^T.

2. В силу (3.5.3) и по пункту 1 теоремы 3.6.2, получаем

С(Ay, By)=Е[(Ay–Ay)(Вy–Вy)^T]

=Е[A(y–y)(y–y)^TВ^T]

=AЕ[(y–y)(y–y)^T]В^T

=ASВ^T.

□

Как правило, k ≤п и матрица А имеет полный ранг, а в этом случае по следствию 1 теоремы П.6.2 матрица ASA^T положительно определённая, если матрица S положительно определённая. Если k >п, то по следствию 2 теоремы П.6.2 матрица ASA^T неотрицательно определённая. В этом случае по-прежнему ASA^T - матрица ковариаций, но она не может быть использована в числителе или знаменателе многомерной нормальной функции плотности вероятности, данной выражением (4.2.7) в следующей главе.

Обратим внимание, что С(х, w)=ASB^T является прямоугольной матрицей размеров kхm, содержащей ковариации каждой переменной х_i с каждой переменной w_j, то есть, элементами С(х, w) являются С(х_i, w_j), где i =1, 2,..., k, j =1, 2,..., m. Эти kхm ковариаций можно также найти по отдельности используя выражение (3.6.9).

Следствие 1. Если b - вектор размеров kх1 некоторых числовых значений, то ковариационная матрица вектора Ay+b

С(Ay+b)=ASA^T.                                                      (3.6.12)

Доказательство: В силу (3.3.4) и (3.6.7), имеем

С(Ay+b)=Е{[Ay+b–(Ay+b)][Ay+b–(Ay+b)]^T}

=Е[A(y–y)(y–y)^TA^T]

=AЕ[(y–y)(y–y)^T]A^T

=ASA^T.

□

Матрица вариаций и ковариаций линейных функций двух различных векторов случайных переменных даётся в следующей теореме.

Теорема 3.6.5. Пусть векторы случайных переменных у размеров пх1 и х размеров qх1 имеют ковариационную матрицу C(у, х) =S_yx, а матрицы A размеров kхр и B размеров hхq некоторых числовых значений. Тогда ковариационная матрица векторов Ay и Bx

С(Ay, Bx)=AS_yxB^T.                                       (3.6.13)

Доказательство: По пункту 2 теоремы 3.6.4 имеем

С(Ay, Bх)=Е[(Ay–Ay)(Вх–Вx)^T]

=Е[A(y–y)(x–x)^TВ^T]

=AЕ[(y–y)(x–x)^T]В^T

=AS_yxВ^T.

□

Для теоремы 3.6.5 имеются следующие частные случаи:

C(Aу, х)=AC(у, х) и C(у, Bх)=C(у, х)B^Т.

Упражнения

3.1. Покажите, что E(ау)=аЕ(у), как в (3.2.6).

3.2. Покажите, что D(ау)=a²s², как в (3.2.8).

3.3. Покажите, что С(y_i, y_j)=E(y_iy_j)–y_iy_j, как в (3.2.10).

3.4. Покажите, что если переменные y_i и y_j независимы, то E(y_iy_j)=E(y_i)Е(y_j), как в (3.2.12).

3.5. Покажите, что если переменные y_i и y_j независимы, то s_ij=0, как в (3.2.13).

3.6. Покажите, что Е(х+у)=Е(х)+Е(у), как в (3.3.2).

3.7. Покажите, что D(y)=E(yy^T)–yy^T, как в (3.3.8).

3.8. Покажите на примере применение формулы P_r=D_s^–1SD_s^–1 из (3.4.3) при р=3.

3.9. Используя выражение (3.3.5), покажите, что С(v)=С=, как в (3.5.2).

Вместе с этой лекцией читают "Часть 13".

3.10. Рассмотрим четыре вектора у, х, v и w случайных переменных размеров kx1 и четыре матрицы A, B, C и D размеров hxk некоторых численных значений. Найдите ковариационную матрицу С(Ay+Bx, Cv+Dw).

3.11. Пусть у^T= [y₁, y₂, y₃] - вектор случайных переменных с вектором средних y= и матрицей ковариаций S=.

1. Пусть x=2y₁–3y₂+y₃. Найдите E(x) и D(x).
2. Пусть x₁=y₁+y₂+y₃ и x₂=3y₁+y₂–2y₃. Найдите E(x) и C(x), где x^T=(x₁, x₂).

3.12. Пусть у - вектор случайных переменных с вектором средних y и матрицей ковариаций S, как дано в упражнении 3.11, и определим вектор w^T= [w₁, w₂, w₃] следующим образом:

w₁=2y₁–y₂+y₃

w₂=y₁+2y₂–3y₃

w₃=y₁+y₂+2y₃.

1. Найдите E(w) и C(w).
2. Найдите С(x, w), используя определённый в упражнении 3.11 вектор x.