Теормин TViMS (теормин)

Часть I. Теория вероятностей.P( A ∩ B), P( B) ≠ 0P( B)Формула полной вероятности: P ( A) = ∑ ( P( H k ) ∗ P( A | H k ))Условная вероятность: P ( A | B) =kP( H k ) P( A | H k )Формула Байеса: P ( H k | A) =∑ P( H i ) P( A | H i )iСлучайная величина – измеримая функция ξ : Ω → R , причём на R задана σ -алгебраПусть даны два пространства: (Ω, A) и (Λ, l ) . Отображение f : Ω → Λ называетсяизмеримым, если ∀B ∈ l ⇒ f −1 ( B) ∈ A; f −1 ( B) = {ω ∈ Ω : f (ω ) ∈ B}Функция распределения: Fξ ( y ) такая, что Fξ ( y ) = P(ξ ≤ y )Точка роста функции распределения: x0 : ∀ε > 0 ⇒ Fξ ( x0 + ε ) − Fξ ( x0 − ε ) > 01. Fξ (x) называется дискретной, если она имеет не более чем счётное число точекроста.2.

Fξ (x) называется абсолютно непрерывной, если её можно представить в видеxFξ ( x) =∫ pξ (t )dt , гдеpξ (t ) - плотность распределения.−∞3. Fξ (x) называется сингулярной, если она непрерывна и множество точек её ростаимеет нулевую меру Лебега.Теорема Лебега: Пусть ξ -случайная величина с функцией распределения Fξ (x) .

Тогдасуществуют и единственны три функции Fac ( x), Fs ( x), Fd ( x) - соответственно абсолютнонепрерывная, сингулярная и дискретная функции распределения, а также три числаp1 , p 2 , p3 ≥ 0, p1 + p 2 + p3 = 1 такие, что Fξ ( x) = p1 Fac ( x) + p 2 Fs ( x) + p3 Fd ( x) .Математическим ожиданием случайной величины ξ называется Μ ξ = ∫ ξ (ω )Ρ(dω ) ;Ωесли Μξ < ∞ , то говорят, что математическое ожидание существует.Моментом порядка k случайной величины называется Mξ k , центральным моментомпорядка k – M (ξ − Mξ ) k .Момент порядка 2 называется дисперсией: D[ξ ] = Var[ξ ] = M [(ξ − M [ξ ]) 2 ] .Свойства математического ожидания:• M (aξ + bη ) = aMξ + bMη• ξ ≥ 0 ⇒ Mξ ≥ 0• ξ ≤ η ⇒ Mξ ≤ Mη• Mξ ≤ M ξ• ΜC = C• Μξη = ΜξΜ η , если ξ ⊥ ηСвойства дисперсии• D (aξ ) = a 2 Dξ• D(ξ + C ) = DξКовариация: cov(ξ ,η ) = Μ (ξ − Μ ξ )(η − Μη ) , корреляция cor (ξ ,η ) =1cov(ξ ,η )Dξ DηСвойства ковариации:• Если ξ и η независимы, то cov(ξ ,η )0, D(ξ + η ) = Dξ + Dη• D(ξ + η ) = Dξ + Dη + 2 cov(ξ ,η )Dξ + Dη• cov(ξ ,η ) ≤2• cov(ξ ,η ) ≤ Dξ DηНеравенство Коши-Буняковского: Μ ξη ≤ Μ ξ 2 * Μ η 2Неравенство Йенсена: Если функция g(x) выпукла, то для любой случайной величины ξΜ g (ξ ) ≥ g ( Mξ )ΜξНеравенстно Маркова: Если ξ >0, тогда ∀ε : Ρ(ξ > ε ) <.

Если дополнительно ξ <C,εΜξ − εто дополнительно ∀ε : Ρ(ξ ≥ ε ) ≥CНеравенство Чебышёва: Пусть у случайной величины ξ существует дисперсия, тогдаP (| ξ − Mξ |≥ ε ) ≤Dξε2. Если дополнительно | ξ |<C, то P(| ξ − Mξ |≥ ε ) ≥Dξ − ε 24С 2Биномиальное распределение Bi(n,p)Смысл: описывает серию последовательных одинаковых испытаний БернуллиkРаспределение, свойства: k k n − k ; Mξ = np; Dξ = npq; g ξ ( z ) = (1 + p ( z − 1)) nCn p qТеорема Пуассона:Смысл: Если число испытаний Бернулли очень велико, а вероятность успеха оченьмала, причем так, что np → 1 , то такая случайная величина имеет распределение,близкое к распределению Пуассона.n⎛a m −a ⎞dm m n−m⎜⎯→ Pois (λ ) ⎜ Ρ{µ = m} = C n p qФормулировка: ∑ ξ k ≅ B( p ) ⎯e ⎟⎟→n → +∞m!k =1⎠⎝np → λГеометрическое распределение G(p)Смысл: описывает число успехов до первой неудачи (либо наоборот; эти случайныевеличины отличаются на 1)kpp1− pРаспределение, свойства:(k = 0,1,2,...); Mξ = ; Dξ = 2 ; g ξ ( z ) =kq∗ pq1 − pzqПримечание: Непрерывный аналог геометрического распределения –экспоненциальноеЭкспоненциальное (показательное) распределениеСмысл: описывает время между появлениями двух событий в потоке.11λРаспределение, свойства: exp(λ ) = 1 − e λx ; Mξ = ; Dξ = 2 ; ϕ ( s) =λ+sλλПримечание: экспоненциальное распределение является непрерывным аналогомгеометрического.Локальная теорема Муавра-Лапласа: Если в схеме Бернулли σ = npq → ∞ , то дляm − npлюбого C>0 равномерно по всем |x|<C вида x =, где m-целые неотрицательныеσ⎧⎪ µ − np⎫⎪= x⎬ =числа, Ρ ⎨⎪⎩ npq⎪⎭12π σex2−2(1 + o(1) )2Интегральная теорема Муавра-Лапласа: При σ = npq → ∞ равномерно поxb⎧⎪⎫⎪−1µ − np− ∞ ≤ a < b ≤ ∞ : Ρ ⎨a ≤≤ b⎬ −∫ e 2 dx → 0npq2π a⎪⎩⎪⎭Закон больших чисел:Смысл: среднее арифметическое большого количества одинаково распределённыхслучайных величин перестаёт быть случайной и стремится к постоянной.Рассмотрим последовательность н.о.р.с.в.

ξ1 ,..., ξ n ,...; S n = ξ1 + ... + ξ n .2⎛ S n − ΜS n⎞≥ ε ⎟⎟ ⎯n⎯⎯→ 01. Пусть ∀i ∃Dξ i < C . Тогда ∀ε > 0 выполняется Ρ⎜⎜→∞n⎝⎠(ЗБЧ в форме Чебышева)PS − ΜS n⎯n⎯⎯→ 0 (ЗБЧ в форме Хинчина)2. Пусть у ∀ξ i ∃Μ ξ i = a . Тогда n→∞n2∞σξ + ... + ξ n п.н.⎯⎯→ 0 (усиленный ЗБЧ)3. Пусть Μ ξ i = 0, Dξ n = σ n2 , ∑ 2n < ∞ . Тогда 1nn =1 nВиды сходимости случайных величин:• Сходимость почти наверное: ξ n ⎯почти⎯ ⎯наверное⎯⎯→ ξ ⇔ P(ω : ξ n (ω ) → ξ ) = 1•pСходимость по вероятности: ξ n ⎯⎯→ξ ⇔ ∀ε : lim P (| ξ n − ξ |> ε ) = 0•Сходимость в среднем порядка l: ξ n ⎯⎯→ ξ ⇔ lim M | ξ n − ξ |l = 0•n→∞ln→∞Сходимостьпоξn ⎯⎯→ ξ ⇔ Fξ ( x) → Fξ ( x)dраспределению:nпоточечно,иFξ (x) непрерывна для ∀x•wСлабая сходимость: ξ n ⎯⎯→ξ ⇔ lim Mϕ (ξ n ) = Mϕ (ξ ) ∀ϕ ( x) - непрерывной иn →∞ограниченнойВзаимосвязь между видами сходимости:Почти наверноеСлабаяПо вероятностиВ среднем порядка lПо распределениюФормула свёртки: если случайные величины ξ1 и ξ 2 независимы и имеют абсолютнонепрерывное распределение с плотностями f ξ1 ( x1 ) и f ξ 2 ( x 2 ) , то плотность распределениясуммы ξ1 + ξ 2 равна f ξ1 +ξ 2 (t ) =∞∫ f ξ (u) f ξ1∞2(t − u )du =−∞∫ fξ2(u ) f ξ1 (t − u )du−∞Характеристическая функция случайной величины ξ - функция, определённая ∀t ∈ Rкак ϕ ξ (t ) = Μ e itξ .

Свойства характеристической функции:•ϕ ξ (0) = 1, ϕ ξ (1) ≤ 1∀t•ϕ ξ (t ) равномерно непрерывна на всей числовой оси.•Эти утверждения эквивалентны: 1) ϕ ξ (t ) принимает только действительныезначения; 2) ϕ ξ (t ) -чётная функция; 3) ξ имеет симметричное распределение3•Функция ϕ ξ (t ) является характеристической функцией случайной величины ξтогда и только тогда, когда ϕ ξ (0) = 1 , ϕ ξ (t ) положительно определена.•ϕ ξ (t ) ≡ ϕη (t ) ⇔ Fξ ( x) ≡ Fη ( x)Центральная предельная теорема:Пустьξ1 ,..., ξ n ,...-последовательностьн.о.р.с.в.Тогдаn⎛ n⎞⎜ ξ −M ξ⎟x t2∑kk⎜∑⎟ d1k =1k =1P⎜< x⎟ ⎯⎯→e 2 dt ≅ N (0,1)∫nn →∞2π −∞⎜⎟D∑ ξ k⎜⎟k =1⎝⎠Смысл: Сумма независимых одинаково распределенных случайных величин ведетсебя приблизительно как нормально распределенная случайная величина.Условное распределение, условное МО.Предположим, что Bl = {η = y l }, l = 1,..., m образуют разбиение, порождённоеслучайной величиной η .Условный закон распределения η при заданном ξ = x k Ρ{η = y l , ξ = x k }, l = 1,..., m .набор условных вероятностей Ρ{η = y l | ξ = x k } =Ρ{ξ = x k }1) Условное МО случайной величины ξ относительно события B (имеющегоненулевую вероятность) определяется как интеграл Μ (ξ | Β) = ∫ ξ (ω )ΡΒ (dω ) .Ω2) Пусть имеется (Ω, A, P ) , ξ - случайная величина на этом вероятностномпространстве, Μ ξ < ∞, A1 ⊂ A, A1 − σ − алгебра .

Условное МО случайной величины ξотносительно σ -алгебры A1 – случайная величина, которая удовлетворяет двумусловиям:• Μ (ξ | A1 ) измерима относительно A1 .•∀A ∈ A1 выполняется: ∫ Μ (ξ | A1 )Ρ(dω ) = ∫ ξ (ω )Ρ(dω )ΑΑ3) Пусть ξ и η - случайные величины, Μξ < ∞ . Условное МО случайной величины ξотносительно сл. в. η - Μ (ξ | η ) = Μ (ξ | σ (η )), σ (η ) = (η −1 (Β), Β ∈ B)Свойства условного МО:• ξ измерима относительно Α1 ⇒ Μ (ξ | Α1 ) = ξ• Если ξ и η независимы, то Μ (ξ | η ) = Μ ξ• ΜΜ (ξ | η ) = Μξ• Если ξ и η - сл. в., причём Μξ < ∞ , то существует измеримая функцияϕ : Μ (ξ | η ) = ϕ (ξ )Производящая функция: ϕ ξ ( s ) = Μ s ξ . Её свойства:1.

Если ξ1 ,..., ξ n - независимые целочисленные случайные величины, ϕ ξ k (s) , k=1,…,nn- их производящие функции, то ϕ ξ1 +...+ξ n ( s ) = ∏ ϕ ξ k ( s ) .k =12. Пусть ξ1 , ξ 2 ,... - последовательность целочисленных н.о.р.с.в. с производящейфункцией ϕ ξ (s ) и ν - независимая от них случайная величина с производящейфункцией ϕν (s ) . Пусть далее ς ν = ξ1 + ... + ξν (ν ≥ 1, ς 0 = 0) . Тогда ϕ ςν ( s ) = ϕν (ϕ ξ ( s ))4Ветвящиеся процессы.Пусть p n -вероятность того, что одна частица превращается в n частиц,∞ϕ ( s ) = ∑ p n s n - производящая функция распределения вероятностей {p n }.

Если An =0среднеечислонепосредственныхпотомков⎧ A < 1 ⇒ A(t ) → 0, процесс докритический⎪⎨ A > 1 ⇒ A(t ) → ∞, процесс надкритический⎪ A = 1 ⇒ A(t ) ≡ 1, процесс критический⎩однойчастицы,тоq-вероятность вырождения. Для того чтобы q<1 необходимо и достаточно, чтобыпроцесс был надкритическим. q-корень уравнения q = ϕ (q) .Часть II. Математическая статистика.Статистическая структура - (Ω, Α, P ) (множество элементарных исходов, σ -алгебрасобытий, семейство вероятностных мер, определённых на A).Выборка – совокупность X 1 ,..., X n н.о.р.с.в.Статистика T( X 1 ,..., X n ) – любая измеримая функция от выборки.Выборочныймоментпорядкаk–следующаястатистика:nn11Α kn ( X 1 ,..., X n ) = Α nk = Α k = ∑ X ik , при этом Α1 = ∑ X i = X - выборочное среднее,n i =1n i =1или среднее ожидание.k1 nЦентральный выборочный момент порядка k – статистика M k = ∑ X i − X .

Ц.в.м.n i =1порядка 2 – выборочная дисперсия.Если X 1 ,..., X n - н.о.р.с.в., то Μ θ X ik = α k (θ ) - теоретический момент порядка k.x∈R)Эмпирическаяфункцияраспределения(прификсированном⎧0, x ≤ X (1) ,⎪⎪1 , X < x ≤ X ,( 2)⎪ n (1)⎪Fn ( x) = ⎨M⎪ 1⎪1 − , X ( n −1) < x ≤ X ( n ) ,⎪ n⎪1, x > X ( n ) .⎩()Статистика размерности k - T ( X ) = (T1 ( X ),..., Tk ( X ) ), где Ti ( X ) − статистикаθ = (θ1 ,..., θ m )m-мернаястатистикаТочечнаяоценкапараметраT ( X ) = (T1 ( X ),..., Tm ( X ) ) .

При этом Ti ( X ) − оценка θ i .Оценка T ( X ) = (T1 ( X ),..., Tk ( X ) ) - несмещённая оценка функции τ (θ ) = (τ 1 (θ ),...,τ k (θ )) ,если для любого θ выполняется Μ θ Ti ( X ) = τ i (θ ), i = 1,..., k .Оценка T ( X ) = (T1 ( X ),..., Tk ( X ) ) - асимптотически несмещённая оценка функцииτ (θ ) = (τ 1 (θ ),...,τ k (θ )) , если Μ θ Ti ( X ) = τ i (θ ) + α ni (θ ), i = 1,..., k и α ni ⎯n⎯⎯→ 0→∞⎯→τ (θ ) ∀θ поОценка T(X) – состоятельная оценка функции τ (θ ) , если T ( x) ⎯n⎯→∞вероятности.5Оценка T(X) – оптимальная оценка функции τ (θ ) , если она 1) несмещённая и 2) имеетравномерно минимальную дисперсию, то есть ∀T1 ( X ) : Dθ T ( X ) ≤ Dθ T1 ( X ) .

Еслиоптимальная оценка существует, то она единственна.Функция p X (x) - обобщённая плотность распределения сл.в. X относительно меры ν ,если p X ( B) = ∫ p X ( x)ν (dx) , ν -не обязательно мера Лебега.BФункция правдоподобия выборки X 1 ,..., X n - функция L( X , θ ) = p( X 1 ,θ ) L p( X n ,θ )Статистика T ( X ) = (T1 ( X ),..., Tk ( X ) ) является достаточной, если Ρθ ( X ∈ A | T ( X )) ∀A ⊂ R nне зависит от θ .Достаточнаястатистиканазываетсятривиальной,еслиk = k (n) ⎯n⎯⎯→ ∞ :→∞T ( X ) = (T1 ( X ),..., Tk ( n ) ( X )) с неограниченной размерностью.Статистика T(X) является полной, если из Μ θ ϕ (T ( X )) = 0 ∀θ следует равенство ϕ (u ) = 0почти всюду по распределению T(X).Критерий факторизации: Пусть L( X ,θ ) - функция правдоподобия выборки X,T ( X ) = (T1 ( X ),..., Tk ( X ) ) - некоторая статистика. Тогда T(X) – достаточная статистикатогда и только тогда, когда функцию правдоподобия можно представить в видеL( X ,θ ) = g (T ( X ),θ ) ∗ h( x)Неравенство Рао-Крамера.Пусть X 1 ,..., X n - некоторая выборка с функцией правдоподобия L( X ,θ )относительно некоторой меры µ .