Лекции по теории вероятностей (Б.И.Волков, 2006) (1134037), страница 8
Текст из файла (страница 8)
Требование несмещенности дает:Ã n!nkkXXXXα̂j =bijais αs =bij ais αs = αj , j = 1, . . . , k.i=1s=1s=1(27)i=1Отсюда (bj , as ) = δjs , j, s = 1, 2, . . . , k.nnPPbij ξi = σ 2b2ij = σ 2 ||bj ||2 .3. Вычислим дисперсию α̂j =i=1i=1Требование минимальности дисперсии приводит к следующей задаче наусловный экстремум:36Конспект лекций по теории вероятностей 2006Для каждого j = 1, 2, . .
. , k найти min ||bj ||2 при условиях (bj , as ) = δjs ,s = 1, 2, . . . , k. Воспользуемся методом множителей Лагранжа 19 : введем функцию ЛагранжаkX2λjs (bj , as )(28)Ψ = ||bj || − 2s=1и, дифференцируя по bij , получаем bj =kPλjs as . Используем условие несме-s=1щенности: (bj , ap ) =окончательно20kPs=1λjs (as , ap ) = δjp . откуда λjs = (aj , as )− = ((A∗ A)− )js иα̂j =kX(aj , as )− (as , ξ),s=1или в векторно-матричной формеα̂ = (A∗ A)−1 A∗ ξ.(29)Найдем матрицу ковариаций α̂. Посколькуα̂ − α = (A∗ A)−1 A∗ ξ − α = (A∗ A)−1 A∗ (Aα + ν) − α == (A∗ A)−1 A∗ Aα + (A∗ A)−1 A∗ ν − α = (A∗ A)−1 A∗ ν,то(α̂ − α)(α̂ − α)∗ =(A∗ A)−1 A∗ νν ∗ A(A∗ A)−1 = σ 2 (A∗ A)−1 .(30)Рассмотрим метод наименьших квадратов.
Пусть α̃ выбираются изусловия21knXXaij αj )2 ∼ min .(ξi −αjj=1i=1Дифференцируя по αs , получим2nXi=1(ξi −kXj=1aij α̃j )ais = 0 ⇒kn XXaij ais α̃j =i=1 j=1nXais ξi ,s = 1, 2, . . . , k. (31)i=1Отсюда получаемα̃ = (A∗ A)−1 A∗ ξ,т.е. ту же оценку,что и α̂.Таким образом, справедлива Теорема Гаусса-Маркова:19Для нахождения минимума ϕ(x) при условиях gi (x) = 0, i = 1, 2, . . .
, m, нужно, чтобы градиент grad ϕ(x) был ортогонален всем поверхностям gi (x) = 0, i = 1, 2, . . . , m,т.е. градиент grad ϕ(x) может быть разложен по векторам grad gi (x)), i = 1, 2, . . . , m:mPλi gi (x)] = 0 при некоторых λi . Выражение в квадратных скобках так наgrad[ϕ(x) −i=1зываемая функция Лагранжа.20Знак − говорит о том, что берется соответствующий элемент матрицы, обратной к матрице||(aj , as )||.21Здесь не делается никаких предположений о ξi , i = 1, 2, . . . , n.37Конспект лекций по теории вероятностей 2006Пусть ξ измеряется по схеме (24). Тогда ЛНОМД дается формулой(29), а матрица ковариаций формулой ( 30).Как оценить σ 2 ?Заметим, что из (31) следует (ξ − Aα̂)aj = 0, j = 1, 2, . .
. , k, т.е.(I − A(A∗ A)−1 A∗ )ξ ⊥ L(a1 , . . . , ak ) = (I − Πa )ξ.Таким образом, Πa = A(A∗ A)−1 A∗ отогональный проектор на L(a(это можно проверить непосредственно).Пусть k < n. Обозначим1 , . . . , ak )s2 = ||ξ − Aα||2 = ||ν||2 ,s21 = ||ξ − Πa ξ||2 = ||ξ − Πa (Aα + ν)||2 = ||(I − Πa )ν||2 ,s22 = ||Πa ξ − Aα||2 = ||Πa (ξ − Aα)||2 = ||Πa ν||2 .Далее, s2 = tr σ 2 I = nσ 2 , s21 = σ 2 tr(I − Πa ) = σ 2 (n − k).11Отсюда σ̂ 2 = n−ks21 = n−k||ξ − Πa ξ||2 несмещеная оценка σ2.Доверительные множества в нормальной регрессии.Доверительные множества аналог интервалов в интервальных оценках.Пусть ν ∼ N(0, σ 2 I). Тогда s22 = ||Πa ξ − Aα||2 = ||Πa ν||2 = σ 2 χ2k ,2s1 = ||ξ − Πa ξ||2 = ||(I − Πa )ν||2 = σ 2 χ2n−k и независимы, поэтомуFk,n−k =1 2χk k.1χ2n−k n−kПусть P {Fk,n−k 6 ε} = γF (ε), тогда с вероятностью γF (ε)||A(α − α̂)||2 = (A∗ A(α − α̂), (α − α̂)) 6 εk||(I − Πa )ξ||2 .n−k(32)Левая часть неравенства (32) представляет собой квадратичную форму относительно координат α с матрицей A∗ A > 0, поэтому (32) определяет в координатахαj эллипсоид с центром α̂ (доверительный эллипсоид Хотеллинга).Если нам нужно оценить одну координату αj , то вспомним, что ее дисперсияα −α̂равна σ 2 (aj , aj )− , поэтому √ 2j j − ∼ N(0, 1), аσ (aj ,aj )qαj − α̂j1||(I(aj , aj )− n−k− Πa)ξ||2= tn−k ,и если P {|tn−k | < ε} = γt (ε), то с вероятностью γt (ε) неравенствоr(aj , aj )− ||(I − Πa )ξ||2|αj − α̂j | 6 εn−kдает интервальную оценку αj .Наконец, статистика s21 дает возможность проверить адекватность моделиизмерения (обозначим ее [A, σ 2 ]).
Если модель верна, то, как показано ранее,38Конспект лекций по теории вероятностей 2006s21 = σ 2 χ2n−k и не зависит от измеряемого параметра (сигнала) α. Поэтому вероs2ятность P {χ2n−k < σ12 } характеризует адекватность модели данным измерениям.Задача редукции измерений.Л. 12Постановка задачи несмещенной редукции измерений.Для схемы измерений ξ = Af + ν, ν = 0, νν ∗ = σ 2 I ставится задачанесмещенной редукции:inf{ ||Rξ − f ||2 | R, RA = I} = inf{σ 2 tr RR∗ | R, RA = I} = h0 .Пусть A∗ A > 0 (rank A = k 6 n).Решаем уравнение RA = I: R = R0 +Y , где R0 = (A∗ A)−1 A∗ , а Y решениеуравнения Y A = 0 ⇔ Y Πa = 0 ⇔ Y = Z(I − Πa ), ∀Z.Т.о., общее решение R = (A∗ A)−1 A∗ + Z(I − Πa ).В этом случае tr RR∗ = tr(A∗ A)−1 + tr Z(I − Πa )Z ∗ и inf достигается наR = R0 = (A∗ A)−1 A∗ и равен h0 = σ 2 tr(A∗ A)−1 . Очевидно, этот результатсовпадает с результатом, полученным в теореме Гаусса-Маркова.В этом случае Rξ = f + Rν, где Rν шум, суммарная энергия которогоравна h0 .Конспект лекций по теории вероятностей 200639СЛУЧАЙНЫЕ ПРОЦЕССЫ.Пусть задано верятностное пространство (Ω, F, P (·)) и некоторое множество T значений t (непрер.
или дискр.). Случайной функцией называетсяξ(t) = ξ(ω, t), такая, что ∀t0 ∈ T ξ(t0 ) сл. величина. Если зафиксироватьt = t0 , то получим сечение сл. функции (или процесса, если t интерпретироватькак время). Если зафиксировать ω = ω0 , то полученная ξ(ω0 , t) есть выборочная функция (реализация) сл. процесса. Распределение вероятностей в каждом сечении t можно задать функцией F (x, t) = P {ξ(t) < x}, но она не даетникакого представления о связи сл.
величин, характеризующих разные сечения.Более полным является задание семейства функций совместного распределения F (x1 , t1 , . . . , xn , tn ) для n сечений, n = 1, 2, . . . . Однако при этом должжнобыть выполнено условие согласованности, касающееся редукции (уменьшению) числа аргументов и их перестановок.При каком n функции совместного распределения достаточно для описанияпроцесса? Если рассматривать дискретные значения параметра t, то для схемы независмых испытаний n = 1, для марковских цепей n = 2. Обычно этим(n = 2) ограничиваются в случае непрерывного времени для так называемыхпроцессов с независимыми приращениями.Рассмотрим в качестве примера такие два процсса 2 порядка.Процесс Пуассона (одномерный случай).Определение.
Сл. функция η(t) 0 6 t < ∞, называется процессом Пуассонаили пуассоновским потоком событий, если1. для любых 0 6 t1 < · · · < tn сл. величины η(ti ) − η(ti−1 ), i = 1, 2, . . . , n,независимы в совокупности (процесс с независимыми приращениями),2. сл. величина η(t) − η(s), 0 6 s < t, имеет распределение Пуассона спараметром λ(t − s):(λ(t − s))k −λ(t−s)P {η(t) − η(s) = k} =e.k!3. Если η(0) = 0, то говорят, что процесс начинается в нуле.k 6--t1t2 t3tВыборочная функция Пуассоновского процессаТеорема. Пусть η(t) процесс с независимыми приращениями и пусть выполняются условия (при t → 0):а) P {η(t) − η(0) = 1} = λt + o(λt),б) P {η(t) − η(0) > 1} = o(λt).Тогда η(t) процесс Пуассона.Доказательство.
В силу независимости приращений достаточно доказать,что выполняется пункт 2 в определении.Лекция 1340Конспект лекций по теории вероятностей 2006Разобьем интервал t = n∆ на n (одинаковых) подинтервалов Обозначимчерез ∆i , i = 1, 2, . . . , n, i-ый подынтервал. При (n > k) событие {η(t) = k}представим в виде A + B, где A событие, в котором в каждый подынтервалпопадает не более 1 точки, B событие, в котором по крайней мере в одинподынтервал попадает более одной точки.
Тогда P (A) = Cnk pk (1 − p)n−k , где) −→ λt, то применяя теоремуp = λ∆ + o(λ∆). Поскольку pn = λn∆ + n o( λtnПуассона, получаемkP (A) −→ (λt)eλt .n→∞ k!XP (B) <i:P {η(∆i )>1}n→∞Аналогично,P {η(∆i ) > 1} < n oµλtn¶−→ 0.n→∞Задача. Найти распределение сл. величины времени ожидания τ первогособытия в пуассоновском потоке событий.Из условия P {τ > t} = P {η(t) − η(0) = 0} = e−λt получаемFτ (t) = P {τ < t} = 1 − e−λt , t > 0.Плотность вероятности pτ (t) = λe−λt , t > 0.R∞Среднее время ожидания τ = tλe−λt dt = λ1 .0Заметим, что из свойств сл. процесса Пуассона следует, что время ожиданияне зависит от момента начала ожидания, а лишь от величины интервала ожидания.Радиоактивный распад.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
