А.Н. Соболевский - Конкретная теория вероятностей

КОНКРЕТНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙА. Н. СОБОЛЕВСКИЙАннотация. Вариант курса, читавшийся в НМУ осенью 2010 г.1. Распределения вероятности на целых числахБудем исходить из интуитивного представления о случайном испытании, т. е. таком эксперименте по измерению некоторой величины, который можно повторять много раз при фиксированныхусловиях, получая при этом случайные, т. е. различные и непредсказуемые заранее результаты.Из-за непредсказуемости доступными для теоретического изучения остаются лишь множествозначений, которое может принимать результат такого эксперимента, и распределение вероятностипо этому множеству. Распределение вероятности можно понимать либо субъективно (как количественное выражение наших ожиданий относительно результата случайного эксперимента), либообъективно (как распределение относительных частот различных результатов в серии повторныхэкспериментов).Не вдаваясь в эти мета-вероятностные тонкости, наметим пока «рабочее» понятие случайнойвеличины как пары из (1) множества значений и (2) распределения вероятности по этому множеству.

С математической точки зрения распределение вероятности мыслится как мера, а следовательно множество значений случайной величины должно быть измеримым пространством.Поскольку в результате измерения обычно получается число, ограничимся пока наиболее простоустроенными подмножествами числовой прямой: счетными множествами в этой лекции и интервалами — в лекциях 2 и 3. На счетных множествах теория меры тривиальна, так что в этой лекцииникакие упоминания о теории меры вообще не потребуются.1.1.

Множеством значений целочисленной случайной величины по определениюбудем считать множество натуральных чисел с нулем N0 = {0, 1, 2, . . . }. Элементы этогомножества будем также называть исходами. Целочисленные случайные величины обозначаются прописными латинскими буквамиM, N, . . . , M 0 , M 00 , . .

. , N1 , N2 , . . .и т. п., а исходы — строчными буквами m, n, . . .1.2. Распределение вероятности случайной величины N есть совокупность чисел,обозначаемых pN (n) (или просто p(n), если из контекста ясно, о какой случайной величинеидет речь), занумерованных элементами множества N0 и подчиненных двум условиям:p(n) > 0 при всех n = 0, 1, 2, . . . ;Xp(n) = 1.n>0С использованием только что введенного «рабочего» определения случайной величины и егоаналога для непрерывных числовых интервалов (лекция 2) можно получить бо́льшую часть интересующих нас в этом курсе результатов. Однако для изучения случайных процессов необходимоболее сложное определение, которым обычно и пользуются в современной теории вероятностей.Мы увидим, как оно естественно возникнет в последних лекциях курса.Вариант от 24 октября 2010 г.11.3.

Число pN (n) интерпретируется как вероятность того, что случайная величина Nпримет значение n. В частности, если pN (n) = 0, то случайная величина N никогда непринимает значение n.Если pN (n0 ) = 1 для некоторого n0 , то pN (n) = 0 при n 6= n0 и случайная величина Nявляется детерминированной: N всегда принимает лишь значение n0 .1.4. Конечные или счетные множества различных значений случайной величины, т. е.несовместных исходов случайного эксперимента, называются событиями. Вероятностьсобытия A ⊂ N0 по определению равна сумме вероятностей составляющих его исходов.Записывается это так:XP(N ∈ A) =pN (n).n∈AЕсли событие A представлено счетным множеством, этот ряд сходится абсолютно в силуусловий п.

1.2.Обычно из контекста ясно, о какой случайной величине речь, и вместо P(N ∈ A) можно писать P(A). Иногда вместо обозначения множества A будем записывать определяющий его предикат,заменяя «немую» переменную на обозначение случайной величины: например, P(N четное).1.5. Пример. Если N представляет собой число очков, выпавших на игральной кости,то pN (0) = pN (7) = pN (8) = · · · = 0. Если, более того, эта кость симметрична, то pN (1) =pN (2) = · · · = pN (6) = 16 . Событие «на игральной кости выпало четное число очков N »состоит из исходов 2, 4, 6, каждый из которых может пониматься и как событие {N = 2},{N = 4}, {N = 6} (ср. с элементами и одноэлементными множествами в теории множеств).В сказанном до сих пор существенны два момента: что полная вероятность совокупности всехисходов, а значит и любого события, конечна (ее нормировка на единицу в п.

1.2 — не более, чеместественное и удобное соглашение) и что вероятность счетного множества исходов должна получаться как сумма бесконечного ряда, состоящего из вероятностей отдельных исходов. Приведемпример, в котором эти требования входят в противоречие друг с другом.1.6. Контрпример. В теории чисел вводят понятие плотности ρ(A) множества A целых чисел как предела limm,n→∞ |A ∩ {−m + 1, −m + 2, . .

. , n}|/(m + n) (если он существует,то обязательно заключен между 0 и 1). Это естественная формализация интуитивногопредставления о «равномерном распределении вероятности» на множестве целых чисел:например, плотность множества четных чисел равна 21 , плотность множества чисел, сравнимых с 5 или 7 по модулю 8, равна 14 и т. п.Плотность объединения двух (или любого конечного числа) непересекающихся множествравна сумме плотностей этих множеств. Однако при счетных объединениях плотности нескладываются: множество четных чисел, обладающее плотностью 12 , есть бесконечное объединение множеств {0}, {2}, {4}, . . .

, каждое из которых, как нетрудно сообразить, имеетнулевую плотность. Поэтому плотности не соответствуют никакому распределению вероятности в смысле данного выше определения.Можно поставить вопрос, как охарактеризовать «типичное» значение данной случайной величины N . Наиболее употребительно следующее определение, образованное по аналогии с физическимпонятием «центра тяжести».1.7. Математическое ожидание EN случайной величины N — это сумма рядаXEN =n pN (n),n>0а математическое ожидание функции f (N ) случайной величины N — сумма рядаXEf (N ) =f (n) p(n).n>0В этой лекции будем всегда предполагать, что такие ряды сходятся.1.8.

Математическое ожидание линейно: для любых функций f (·), g(·) и числа αE[f (N ) + g(N )] = Ef (N ) + Eg(N ),E(αN ) = α EN.Для обозначения математического ожидания, помимо EN (англ. Expectation, фр. Espérance)используются и другие обозначения: MN (англ. Mean, фр. Moyenne), а в физической литературеhN i и N . В данном курсе, однако, последнее обозначение используется в другом смысле (среднеевыборки, см. п. 4.3).1.9.

Традиционно рассматривают следующие характеристики случайной величины N :момент k-го порядка: EN k и центральный момент k-го порядка: E(N − EN )k .Если из контекста ясно, о какой случайной величине идет речь, будем писать EN k = µkи E(N − EN k ) = µ̊k .1.10. Центральный момент второго порядка называется дисперсией и обозначаетсяDN . Дисперсию удобно вычислять по формулеDN = E[N 2 − 2N EN + (EN )2 ] = EN 2 − (EN )2 .1.11.

При масштабном преобразовании случайной величины дисперсия ведет себя квадратично: D(αN ) = α2 DN .1.12. Дисперсия всегда неотрицательна и равна нулю только для детерминированнойвеличины. В частности, для распределения p(1) = p(2) = p(3) = p(4) = 41 неравенствоEN 2 − (EN )2 > 0 имеет следующее геометрическое представление:n2EN 2(EN )2ENnЭто — частный случай неравенства Иенсена для выпуклой функции f : Ef (N ) > f (EN ).Допустим, что несколько случайных величин надо рассмотреть одновременно. Тогда из нихможно образовать вектор, принимающий значения в прямом произведении множеств значенийотдельных случайных величин, и рассматривать исходы и события в этом множестве (которое впредположениях настоящей лекции по-прежнему является счетным).

Почти все соответствующиеопределения и свойства можно сформулировать уже в простейшей ситуации, когда имеется всегоодна пара случайных величин.1.13. Множеством значений пары целочисленных случайных величин M и N являетсяпрямое произведение их множеств значений N0 × N0 . Совместное распределение вероятности по этому множеству обозначается pM,N (m, n) или p(m, n), где (m, n) ∈ N0 × N0 .При этом предполагаются выполненными аналоги условий п. 1.2.1.14. Для совместного распределения pM,N определяются маргинальные распределения вероятности, задаваемые формуламиXXpM (m) =pM,N (m, n), pN (n) =pM,N (m, n).n>0m>0Легко проверить, что это — корректно определенные распределения вероятности, т.

е. чтоусловия п. 1.2 выполнены (ср. п. 1.4).Маргинальные распределения характеризуют одну из совместно рассматриваемых случайныхвеличин, если другая может принимать любые значения, и могут быть определены как вероятностисоответствующих событий {M = m} или {N = n}.PАналогично вероятность события M = N определяется как P(M = N ) = l>0 pM,N (l, l). Следующий рисунок иллюстрирует определения совместного распределения (белые кружки), маргинальных распределений (серые кружки) и событий {M = 3} и {M = N }.nM =3M =Nm1.15.

Условное распределение вероятности характеризует случайную величину Mпри фиксированном значении другой: если N = n, тоP( M = m | N = n ) =pM,N (m, n).pN (n)Конечно, такое определение имеет смысл только при P(N = n) > 0.Аналогично определяется условное распределение вероятности относительно события A,если P(A) > 0:P({M = m} ∩ A)P( M = m | A ) =.P(A)Легко проверить, что условное распределение вероятности в обоих вариантах удовлетворяеттребованиям п. 1.2.1.16.

Две случайные величины M , N независимы (обозначение M ⊥ N ), если условноераспределение одной величины остается одним и тем же (и совпадает с соответствующиммаргинальным), какое бы значение ни принимала другая:P( M = m | N = n ) = pM (m) для любого n.1.17. M ⊥ N тогда и только тогда, когда pM,N (m, n) = pM (m) pN (n).1.18. Несколько случайных величин M1 , . . . , Mk называются независимыми в совокупности, еслиpM1 ,...,Mk (m1 , . . .

, mk ) = pM1 (m1 ) · · · · · pMk (mk ).В последнем определении имеется тонкость, проиллюстрированная в упр. У1.3: независимость всовокупности набора из трех или большего числа случайных величин — это более сильное свойство,чем независимость каждой пары величин из этого набора.Заметим, что отношение независимости симметрично. Зависимость, т. е. отсутствие независимости — это также симметричное отношение, которое нельзя смешивать с более тонким (инесимметричным) понятием причинной связи между случайными величинами.1.19. Непосредственно из определений выводится аддитивность математического ожидания: E(M + N ) = EM + EN . Здесь последние два математических ожидания могут бытьвычислены как относительно совместного распределения M и N , так и относительно маргинальных распределений:XE(M + N ) =(m + n) pM,N (m, n) =m,n>0X=m pM,N (m, n) +m,n>0X=Xn pM,N (m, n) =[EM,N M + EM,N N ]m,n>0mm>0=XXpM,N (m, n) +n>0nn>0m pM (m) +m>0XXXpM,N (m, n) =m>0n pN (n)[EM M + EN N ].n>01.20.