Лекции по теории вероятностей (Б.И.Волков, 2006) (1120107), страница 8
Текст из файла (страница 8)
. . , ak )s2 = ||ξ − Aα||2 = ||ν||2 ,s21 = ||ξ − Πa ξ||2 = ||ξ − Πa (Aα + ν)||2 = ||(I − Πa )ν||2 ,s22 = ||Πa ξ − Aα||2 = ||Πa (ξ − Aα)||2 = ||Πa ν||2 .Далее, s2 = tr σ 2 I = nσ 2 , s21 = σ 2 tr(I − Πa ) = σ 2 (n − k).11Отсюда σ̂ 2 = n−ks21 = n−k||ξ − Πa ξ||2 несмещеная оценка σ2.Доверительные множества в нормальной регрессии.Доверительные множества аналог интервалов в интервальных оценках.Пусть ν ∼ N(0, σ 2 I). Тогда s22 = ||Πa ξ − Aα||2 = ||Πa ν||2 = σ 2 χ2k ,2s1 = ||ξ − Πa ξ||2 = ||(I − Πa )ν||2 = σ 2 χ2n−k и независимы, поэтомуFk,n−k =1 2χk k.1χ2n−k n−kПусть P {Fk,n−k 6 ε} = γF (ε), тогда с вероятностью γF (ε)||A(α − α̂)||2 = (A∗ A(α − α̂), (α − α̂)) 6 εk||(I − Πa )ξ||2 .n−k(32)Левая часть неравенства (32) представляет собой квадратичную форму относительно координат α с матрицей A∗ A > 0, поэтому (32) определяет в координатахαj эллипсоид с центром α̂ (доверительный эллипсоид Хотеллинга).Если нам нужно оценить одну координату αj , то вспомним, что ее дисперсияα −α̂равна σ 2 (aj , aj )− , поэтому √ 2j j − ∼ N(0, 1), аσ (aj ,aj )qαj − α̂j1||(I(aj , aj )− n−k− Πa)ξ||2= tn−k ,и если P {|tn−k | < ε} = γt (ε), то с вероятностью γt (ε) неравенствоr(aj , aj )− ||(I − Πa )ξ||2|αj − α̂j | 6 εn−kдает интервальную оценку αj .Наконец, статистика s21 дает возможность проверить адекватность моделиизмерения (обозначим ее [A, σ 2 ]).
Если модель верна, то, как показано ранее,38Конспект лекций по теории вероятностей 2006s21 = σ 2 χ2n−k и не зависит от измеряемого параметра (сигнала) α. Поэтому вероs2ятность P {χ2n−k < σ12 } характеризует адекватность модели данным измерениям.Задача редукции измерений.Л. 12Постановка задачи несмещенной редукции измерений.Для схемы измерений ξ = Af + ν, ν = 0, νν ∗ = σ 2 I ставится задачанесмещенной редукции:inf{ ||Rξ − f ||2 | R, RA = I} = inf{σ 2 tr RR∗ | R, RA = I} = h0 .Пусть A∗ A > 0 (rank A = k 6 n).Решаем уравнение RA = I: R = R0 +Y , где R0 = (A∗ A)−1 A∗ , а Y решениеуравнения Y A = 0 ⇔ Y Πa = 0 ⇔ Y = Z(I − Πa ), ∀Z.Т.о., общее решение R = (A∗ A)−1 A∗ + Z(I − Πa ).В этом случае tr RR∗ = tr(A∗ A)−1 + tr Z(I − Πa )Z ∗ и inf достигается наR = R0 = (A∗ A)−1 A∗ и равен h0 = σ 2 tr(A∗ A)−1 .
Очевидно, этот результатсовпадает с результатом, полученным в теореме Гаусса-Маркова.В этом случае Rξ = f + Rν, где Rν шум, суммарная энергия которогоравна h0 .Конспект лекций по теории вероятностей 200639СЛУЧАЙНЫЕ ПРОЦЕССЫ.Пусть задано верятностное пространство (Ω, F, P (·)) и некоторое множество T значений t (непрер. или дискр.). Случайной функцией называетсяξ(t) = ξ(ω, t), такая, что ∀t0 ∈ T ξ(t0 ) сл. величина. Если зафиксироватьt = t0 , то получим сечение сл.
функции (или процесса, если t интерпретироватькак время). Если зафиксировать ω = ω0 , то полученная ξ(ω0 , t) есть выборочная функция (реализация) сл. процесса. Распределение вероятностей в каждом сечении t можно задать функцией F (x, t) = P {ξ(t) < x}, но она не даетникакого представления о связи сл. величин, характеризующих разные сечения.Более полным является задание семейства функций совместного распределения F (x1 , t1 , .
. . , xn , tn ) для n сечений, n = 1, 2, . . . . Однако при этом должжнобыть выполнено условие согласованности, касающееся редукции (уменьшению) числа аргументов и их перестановок.При каком n функции совместного распределения достаточно для описанияпроцесса? Если рассматривать дискретные значения параметра t, то для схемы независмых испытаний n = 1, для марковских цепей n = 2. Обычно этим(n = 2) ограничиваются в случае непрерывного времени для так называемыхпроцессов с независимыми приращениями.Рассмотрим в качестве примера такие два процсса 2 порядка.Процесс Пуассона (одномерный случай).Определение. Сл.
функция η(t) 0 6 t < ∞, называется процессом Пуассонаили пуассоновским потоком событий, если1. для любых 0 6 t1 < · · · < tn сл. величины η(ti ) − η(ti−1 ), i = 1, 2, . . . , n,независимы в совокупности (процесс с независимыми приращениями),2. сл. величина η(t) − η(s), 0 6 s < t, имеет распределение Пуассона спараметром λ(t − s):(λ(t − s))k −λ(t−s)P {η(t) − η(s) = k} =e.k!3.
Если η(0) = 0, то говорят, что процесс начинается в нуле.k 6--t1t2 t3tВыборочная функция Пуассоновского процессаТеорема. Пусть η(t) процесс с независимыми приращениями и пусть выполняются условия (при t → 0):а) P {η(t) − η(0) = 1} = λt + o(λt),б) P {η(t) − η(0) > 1} = o(λt).Тогда η(t) процесс Пуассона.Доказательство.
В силу независимости приращений достаточно доказать,что выполняется пункт 2 в определении.Лекция 1340Конспект лекций по теории вероятностей 2006Разобьем интервал t = n∆ на n (одинаковых) подинтервалов Обозначимчерез ∆i , i = 1, 2, . . . , n, i-ый подынтервал. При (n > k) событие {η(t) = k}представим в виде A + B, где A событие, в котором в каждый подынтервалпопадает не более 1 точки, B событие, в котором по крайней мере в одинподынтервал попадает более одной точки. Тогда P (A) = Cnk pk (1 − p)n−k , где) −→ λt, то применяя теоремуp = λ∆ + o(λ∆). Поскольку pn = λn∆ + n o( λtnПуассона, получаемkP (A) −→ (λt)eλt .n→∞ k!XP (B) <i:P {η(∆i )>1}n→∞Аналогично,P {η(∆i ) > 1} < n oµλtn¶−→ 0.n→∞Задача.
Найти распределение сл. величины времени ожидания τ первогособытия в пуассоновском потоке событий.Из условия P {τ > t} = P {η(t) − η(0) = 0} = e−λt получаемFτ (t) = P {τ < t} = 1 − e−λt , t > 0.Плотность вероятности pτ (t) = λe−λt , t > 0.R∞Среднее время ожидания τ = tλe−λt dt = λ1 .0Заметим, что из свойств сл. процесса Пуассона следует, что время ожиданияне зависит от момента начала ожидания, а лишь от величины интервала ожидания.Радиоактивный распад. Вероятность распада для каждого атомаP {η(t) > 0} = P {τ < t} = 1 − e−λt .
При t = t0 , 1 − e−λt0 = 12 , половинавсего вещества распадается, так что e−λt0 = 21 , λt0 = ln 2, t0 = lnλ2 времяполураспада.Винеровский сл. процесс. Случайный процесс ξ(t) называется Винеровским, если1. для 0 = t0 6 t1 < t2 < · · · < tn ηi = ξ(ti ) − ξ(ti−1 ) независимы всовокупности,2. ξ(t) − ξ(s) ∼ N(0, t − s), 0 < s < t,3. ξ(0) = 0 (начинается в нуле).Таким образом, вектор η = (η1 , η2 , . .
. , ηn ) распределен с плотностьюnYi=1Если перейти к ξi =рицей A вида1 1A= 1 .. .11piP2π(t1 − ti−1 )½exp −x2i2(t1 − ti−1 )¾.ξk с помощью невырожденного преобразования с мат-k=1011...001...............000...1 1 ... 1,A−1=10 0−1 1 00 −1 1.... .... .00 0............000...... 1,Конспект лекций по теории вероятностей 200641то получим для вектора ξ плотностьpξ (x, t) =nYi=1(xi − xi−1 )2pexp −2(t1 − ti−1 )2π(t1 − ti−1 )½1¾.Пример.
Броуновское движение (одномерная задача).Пусть ξ(t) координата броуновской частицы на прямой, ξ(0) = 0.ξ(t + s) = [ξ(t + s) − ξ(s)] + [ξ(s) − ξ(0)],t, s > 0.Из однородности следует, что слагаемые в правой части независимы и поэтомуξ(t + s) = ξ(t) + ξ(s), откуда ξ(t) = σ 2 t, где σ 2 некоторая константа.Рассмотрим дискретный аналог случайное блуждание по одномерной сетnPке в дискретном времени: ξn =ξi , P {ξi = ±∆x} = 21 , t = n∆t.i=1PPξn =ξi = 0, ξn =ξi = n(∆x)2 , приравнивая σ 2 n∆t, получим,2(∆x)22что (∆x)=σ=const.Переходякпределупри∆x→0,∆t→0,= σ2,∆t∆tполучаемξ(t)ξnd√ −→ √ ∼ N(0, 1).σ t n→∞ σ tОтсюда ξ(t) ∼ N(0, σ 2 t) или ξ(t) − ξ(s) ∼ N(0, σ 2 (t − s)).В общем случае (если нет симметрии)ξ(t) − ξ(s) ∼ N(θ(t − s), σ 2 (t − s)), где θ коэффициент сноса.Характеризация винеровского процесса.Теорема.
Пусть сл. процесс удовлестворяет условиям:1) для любых непересекающихся промежутков приращения независимы;2) для любого промежутка вероятность зависит лишь от длины промежутка(однородность);3) для функции распределения приращения ξ(t0 +t)−ξ(t0 ), F (x, t) существует плотность p(x, t), имеющая непрерывные и ограниченные по x, −∞ < x < ∞,производные до 3-го порядка ∀t > 0;4) для малых ∆t малые приращения более вероятны, чем большие, а именноZ∞1lim∆t→0 ∆txp(x, ∆t)dx = A;(33)x2 p(x, ∆t)dx = B > 0;(34)−∞1lim∆t→0 ∆tZ∞−∞1lim∆t→0 ∆tZ∞|x|3 p(x, ∆t)dx = 0;−∞Тогда ξ(t) (обобщенный) винеровский процесс.(35)42Конспект лекций по теории вероятностей 2006Доказательство.
Рассмотрим два смежных промежутка (0, t) и (t, t + ∆t),а также его сумму (объединение). Пользуясь формулой для плотности суммынезависимых сл. величин, получаемp(x, t + ∆t) =Z∞(36)p(x − s, t)p(s, ∆t)ds.−∞Разлагая сомножитель p(x − s, t) в ряд Тейлора по степеням s, получимp(x − s, t) = p(x, t) −∂p(x, t)1 ∂ 2 p(x, t) 2 1 ∂ 3 p(x̃, t) 3s+s −s,∂x2 ∂x26 ∂x3подставляя это в (36), получаем∂p(x, t)p(x, t + ∆t) − p(x, t) = −∂xZ∞sp(s, ∆t)ds+−∞1 ∂ 2 p(x, t)+2 ∂x2Z∞1s2 p(s, ∆t)ds −6−∞Z∞ ·−∞¸∂ 3 p(x̃, t) 3s p(s, ∆t)ds.∂x3Разделим на ∆t и перейдем к пределу при ∆t → 0, учитывая свойства (33, 34,35):Z∞∂p(x, t)∂p(x, t) B ∂ 2 p(x, t),= −A+∂t∂x2 ∂x2p(x, t)dx = 1,p(x, t) > 0.−∞Подстановкой y = x − At, τ = Bt, p(x, t) = p̄(y, τ ) приводим к∂ p̄1 ∂ 2 p̄=,∂τ2 ∂y 2−∞ < y < ∞уравнению теплопроводности с решениемy21p̄(y, τ ) = √e− 2τ ,2πτZ∞p̄dy = 1.−∞В прежних переменных это выглядит так:p(x, t) = √(x−At)21e− 2Bt .2πBtЗадача.
Найти распределение τx времени первого достижения броуновской частицей точки x (x > 0).P {ξ(t) > x|τx < t} =P {ξ(t) > x}1=.2P {τx < t}43Конспект лекций по теории вероятностей 2006√ >Отсюда P {τx < t} = 2P { ξ(t)tx√}t=q R∞2πx√ty2e− 2 dy и pτx =2x − x2t√1 3/2et2π.Аналогично для ξt = max ξ(s) максимальной координаты броуновской06s6tчастицы имеем: P { max ξ(s) > x} = P {τx < t} и pξt (x) =06s6tx2√ 1 e− 2t2πt, x > 0.Интересно, что ∀x: P {τx < ∞} = 1 и ∀t: P { max ξ(s) > 0} = 1.06s6tТеория второго порядка (корреляционная теория). Далее будут встре- Лекция 14чаться комплексные случайные процессы ξ(t) = η(t) + iζ(t), где η(t) и ζ(t) действительные случайные процессы.Корреляционной функцией случайного процесса ξ(t) называется 22K(t, s) =(ξ(t) −ξ(t))(ξ(s) −ξ(s)).Примеры.
(1) Корреляционная функция винеровского случайного процесса,ξ(t) − ξ(s) ∼ N(0, t − s), s < t. При 0 < s < tξ(t)ξ(s) =[(ξ(t) − ξ(s)) + (ξ(s) − ξ(0))](ξ(s) − ξ(0)) =(ξ(s) − ξ(0)) 2 = s.При 0 < t < s аналогично получаем ξ(t)ξ(s) = t. Следовательно,ξ(t)ξ(s) = min(t, s).(2). Корреляционная функция пуассоновского процесса,(λt)k −λtP (ξ(t) = k) =e ,k!ξ(t) = λt.Для 0 < s < t:K(t, s) =(ξ(t) − λt)(ξ(s) − λs) =+(ξ(s) − λs)](ξ(s) − λs) =[(ξ(t) − ξ(s) − λ(t − s))+(ξ(s) − λs)2 = λs.Поэтому и в этом случае K(t, s) = λ min(t, s).В обоих примерах использована независимость приращений.Определение. Случайный процесс ξ(t) называется непрерывным в среднемквадратичном в точке t, если|ξ(t + h) − ξ(t)|2 → 0 при h → 0,или, иначе говоря, еслиξ(t) = l.i.m.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
