Среднее, дисперсия, ковариация и корреляция
3.2. Среднее, дисперсия, ковариация и корреляция
Рассмотрим некоторые свойства одной и двух непрерывных случайных переменных. Начнём с одной случайной переменной (у). Будем различать в обозначениях случайную переменную (у) и её наблюдаемое значение у, получаемое из выборочного пространства. В главе 1 было введено понятие популяции или всей совокупности значений случайной переменной. Эквивалентным этому понятию является понятие выборочного пространства. Положим, рассматривается опыт, для которого все результаты его проведения известны. Тогда множество всех этих результатов называется выборочным пространством или пространством выборок, а один результат называется элементом выборки из этого пространства выборок [Graybill (1961) стр.27]. Выборочными пространствами могут быть одно-, двух- или п-мерное Евклидовы пространства.
Иногда для обозначения случайной переменной используют прописную букву и соответствующую строчную для обозначения её наблюдаемого значения, как, например, в выражении Pr(Y≤у). Эти обозначения удобны в случае одной случайной переменной, но приводят к затруднениям в данной книге, где заглавные буквы используются для обозначения матриц, а строчные - для обозначения векторов.
В статистическом моделировании важно введённое в главе 1 понятие случайной переменной. Случайная переменная является некоторой функцией и её значениями являются элементы выборки выборочного пространства. В статистическом моделировании используются непрерывные случайные переменные. Определение случайной переменной следующее.
Определение 3.2.1. Случайная переменная (у) называется непрерывной, если для неё существует функция fy(u) такая, что Fy(y)=
для любого реального значения у. Кумулятивная функция Fy(y) распределения непрерывной случайной переменной (у) является абсолютно непрерывной [Mood, Graybill, Boes (1974) стр.60]. Функция fy(u) является функцией плотности вероятности переменной (у).
Если f(y) - функция плотности вероятности непрерывной случайной переменной (у), то в силу (1.3.1), математическое ожидание или среднее случайной переменной (у) определяется в виде
E(у)=
=y. (3.2.1)
Это среднее совокупности или популяции значений переменной (у). Усреднённое выборки дано в главе 1 выражением (1.2.3) и находится с использованием случайной выборки из n наблюдаемых значений случайной переменной (у).
Дисперсия непрерывной случайной переменной (у), с учётом (1.4.1), определяется в виде
Рекомендуемые материалы
D(у)=E[(y–y)2]=
=s2. (3.2.2)
Это дисперсия совокупности или популяции всех значений переменной (у). Дисперсия выборки или выборочная дисперсия, получаемая на основе случайной выборки n наблюдаемых значений переменной (у), даётся выражением (1.4.3). Положительный квадратный корень из дисперсии D(у) называется стандартным отклонением
=
=s. (3.2.3)
В силу (3.2.1) и (3.2.2), дисперсию переменной (у) можно представить в виде
D(у)=E(y2–2уy+y2)=E(y2)–2E(у)y+y2
=E(y2)–y2, (3.2.4)
Ожидаемое значение любой функции случайной переменной (у), такой, например, как u(у), находится из выражения
Е[u(у)]=
. (3.2.5)
Так, если u(у)=у, то Е[u(у)]=E(у)=y, а если u(у)=(y–y)2, то Е[u(у)]=E[(y–y)2]=s2.
Для постоянной а и функций u(у) и v(у), в силу (3.2.5), следует, что
Е(ау)=аЕ(у), (3.2.6)
и
Е[u(у)+v(у)]=Е[u(у)]+Е[v(у)]. (3.2.7)
Если а – некоторое число, то, используя (3.2.6) и (3.2.2), можно получить, что
D(ау)=а2D(у)=а2s2. (3.2.8)
Из выражения (1.8.2) следует, что для любых двух случайных переменных у1 и у2 их ковариация определяется так
С(у1, у2)=E[(y1–y1)(y2–y2)]=s12, (3.2.9)
где y1=E(у1) и y2=E(у2). Подобно выражению (3.2.4), в силу (3.2.9), ковариацию переменных у1 и у2 можно представить в виде
С(у1, у2)=E(y1y2)–y1y2. (3.2.10)
Две случайные переменные у1 и у2 независимы, если их совместная функция плотности вероятности представляется произведением функций плотности вероятности их безусловных распределений
f(у1, у2)=f1(у1)f2(у2). (3.2.11)
Из этого определения получаем следующие свойства независимых переменных:
1. Если у1 и у2 независимы, то E(y1y2)=E(y1)E(y2). (3.2.12)
2. Если у1 и у2 независимы, то s12=С(у1, у2)=0. (3.2.13)
В силу (3.2.10), второе свойство следует из первого.
Определенная выражением (3.2.9) ковариация s12 зависит от единиц измерений переменных у1 и у2. Чтобы сделать ковариацию s12 безразмерной её, как в (1.8.3), делят на произведение стандартных отклонений переменных у1 и у2 и получают их коэффициент корреляции:
r12=С(у1, у2)/(s1s2)=s12/(s1s2). (3.2.14)
Ковариация и коэффициент корреляции являются мерами линейной зависимости переменных у1 и у2. В коэффициенте корреляции путём деления ковариации на произведение стандартных отклонений устраняется в этом смысле индивидуальная изменчивость каждой переменной. Поэтому коэффициент корреляции являются лучшей мерой линейной зависимости переменных у1 и у2, чем ковариация. И для любой пары случайных переменных независимость означает, что они не коррелированы, то есть, в силу (3.2.13), r12=0. Для нормального распределения обратное также верно, то есть, некоррелированные нормальные случайные переменные независимы.
В главе 1 также рассмотрено математическое ожидание (1.9.1) и дисперсия (1.9.2) линейной комбинации непрерывных случайных переменных. Показано, что среднее и дисперсия суммы или разности случайных переменных у1 и у2 могут выражаться через средние, дисперсии и ковариации этих переменных. Теперь рассмотрим первые два момента произведения двух непрерывных случайных переменных.
Теорема 3.2.1. Пусть для случайных переменных у1 и у2 существует дисперсия D(y1y2) их произведения, тогда математическое ожидание произведения у1 и у2
Е(y1y2)=y1y2+С(y1, y2) (3.2.15)
и его дисперсия
D(y1y2)=y22D(y1)+y12D(y2)+2y1y2С(y1, y2)–[С(y1, y2)]2+E[(y1–y1)2(y2–y2)2]
+2y2E[(y1–y1)2(y2–y2)]+2y1E[(y1–y1)(y2–y2)2]. (3.2.16)
Доказательство: Представим произведение случайных переменных в виде
y1y2=y1y2+(y1–y1)y2+(y2–y2)y1+(y1–y1)(y2–y2).
Для получения желаемых результатов в (3.2.15) и (3.2.16) с использованием этого представления произведения переменных найдём Е(y1y2) и Е[(y1y2)2].
□
Следствие. Если случайные переменные у1 и у2 независимы, то есть, С(y1, y2)=0, как в (3.2.13), то
Е(y1y2)=y1y2 (3.2.17)
и
D(y1y2)=y22D(y1)+y12D(y2)+D(y1)D(y2). (3.2.18)
Доказательство: Если случайные переменные у1 и у2 независимы, то в (3.2.16)
E[(y1–y1)2(y2–y2)2]=E[(y1–y1)2]E[(y2–y2)2]
=D(y1)D(y2),
Информация в лекции "Функции форматного ввода" поможет Вам.
а
E[(y1–y1)2(y2–y2)]=E[(y1–y1)2]E[(y2–y2)]=0
и
E[(y1–y1)(y2–y2)2]=0
□
Заметим, что математическое ожидание произведения двух случайных переменных может быть выражено через их средние и ковариацию, но дисперсия произведения требует использования моментов более высокого порядка.
