Теория универа (Теория вероятностей и математическая статистика. Теория и примеры решения задач), страница 12

Оценку Θ* называютоценкой наибольшего правдоподобия.Поскольку функции L и lnL достигают максимума при одном и том же значении Θ, удобнееискать максимум ln L – логарифмической функции правдоподобия. Для этого нужно:d ln L1) найти производную;dΘ2) приравнять ее нулю (получим так называемое уравнение правдоподобия) и найтикритическую точку;d 2 ln L3) найти вторую производную; если она отрицательна в критической точке, то это –dΘ 2точка максимума.Достоинства метода наибольшего правдоподобия: полученные оценки состоятельны (хотямогут быть смещенными), распределены асимптотически нормально при больших значенияхп и имеют наименьшую дисперсию по сравнению с другими асимптотически нормальнымиоценками; если для оцениваемого параметра Θ существует эффективная оценка Θ*, тоуравнение правдоподобия имеет единственное решение Θ*; метод наиболее полно используетданные выборки и поэтому особенно полезен в случае малых выборок.Недостаток метода наибольшего правдоподобия: сложность вычислений.59PDF created with FinePrint pdfFactory trial version http://www.fineprint.comДля непрерывной случайной величины с известным видом плотности распределения f(x) инеизвестным параметром Θ функция правдоподобия имеет вид:L (х1, х2, …, хп; Θ) = f(x1,Θ)f(x2,Θ)…f(xn,Θ).Оценка наибольшего правдоподобия неизвестного параметра проводится так же, как длядискретной случайной величины.2.

Метод моментов.Метод моментов основан на том, что начальные и центральные эмпирические моментыявляются состоятельными оценками соответственно начальных и центральных теоретическихмоментов, поэтому можно приравнять теоретические моменты соответствующимэмпирическим моментам того же порядка.Если задан вид плотности распределения f(x, Θ), определяемой одним неизвестнымпараметром Θ, то для оценки этого параметра достаточно иметь одно уравнение.

Например,можно приравнять начальные моменты первого порядка:∞∫ xf ( x; Θ)dx = ϕ (Θ) ,xB = M ( X ) =−∞получив тем самым уравнение для определения Θ. Его решение Θ* будет точечной оценкойпараметра, которая является функцией от выборочного среднего и, следовательно, и отвариант выборки:Θ = ψ (х1, х2, …, хп).Если известный вид плотности распределения f(x, Θ1, Θ2 ) определяется двумя неизвестнымипараметрами Θ1 и Θ2, то требуется составить два уравнения, напримерν1 = М1, μ2 = т2.М ( Х ) = х В- система двух уравнений с двумя неизвестными Θ1 и Θ2. Ее решениямиОтсюда D( X ) = DBбудут точечные оценки Θ1* и Θ2* - функции вариант выборки:Θ1 = ψ1 (х1, х2, …, хп),Θ2 = ψ2(х1, х2, …, хп).3.

Метод наименьших квадратов.Если требуется оценить зависимость величин у и х, причем известен вид связывающей ихфункции, но неизвестны значения входящих в нее коэффициентов, их величины можнооценить по имеющейся выборке с помощью метода наименьших квадратов. Для этогофункция у = φ (х) выбирается так, чтобы сумма квадратов отклонений наблюдаемых значенийу1, у2,…, уп от φ(хi) была минимальной:n∑(yi =1i− ϕ ( xi )) 2 = min .При этом требуется найти стационарную точку функции φ(x; a, b, c…), то есть решитьсистему:n ∂ϕ ∑ ( y i − ϕ ( xi ; a, b, c...)) ∂a  = 0i i =n1∂ϕ ( y − ϕ ( x ; a, b, c...)) =0∑ ii i =1∂bin ∂ϕ ∑ ( y i − ϕ ( xi ; a, b, c...)) =0 ∂c  i i =1........................................60PDF created with FinePrint pdfFactory trial version http://www.fineprint.com(решение, конечно, возможно только в случае, когда известен конкретный вид функции φ).Рассмотрим в качестве примера подбор параметров линейной функции методом наименьшихквадратов. ∂ϕ  ∂ϕ Для того, чтобы оценить параметры а и b в функции y = ax + b, найдем  = xi ;  = 1. ∂а  i ∂b  innnn2−+=yaxbx(())0−−xyaxbxi = 0∑∑iii∑ i∑ i ii =1i =1i =1i =1Тогда  n.

Отсюда . Разделив обаnn ∑ ( y i − (axi + b)) = 0 ∑ y i − a ∑ xi − bn = 0 i =1 i =1i =1полученных уравнения на п и вспомнив определения эмпирических моментов, можнополучить выражения для а и b в виде:( K xy ) B( K xy ) Ba=, b = yB −x B . Следовательно, связь между х и у можно задать в виде:( Dx ) B( Dx ) B( K xy ) By − yB =( x − x B ).(Dx ) B4. Байесовский подход к получению оценок.Пусть (Y, X) – случайный вектор, для которого известна плотность р(у|x) условного распределения Y при каждом значении Х = х. Если в результате эксперимента получены лишь значенияY, а соответствующие значения Х неизвестны, то для оценки некоторой заданной функции φ(х)в качестве ее приближенного значения предлагается искать условное математическое ожиданиеМ ( φ‌‌(х)‌‌|Y), вычисляемое по формуле:∫ ϕ ( x) p(Y | x) p( x)dµ ( x) , где q( y) = p( y | x) p( x)dµ ( x) , р(х) – плотность безусловногоψ (Y ) =∫q(Y )распределения Х, q(y) – плотность безусловного распределения Y.

Задача может быть решенатолько тогда, когда известна р(х). Иногда, однако, удается построить состоятельную оценку дляq(y), зависящую только от полученных в выборке значений Y.Лекция 18.Интервальное оценивание неизвестных параметров. Точность оценки, доверительнаявероятность (надежность), доверительный интервал. Построение доверительныхинтервалов для оценки математического ожидания нормального распределения приизвестной и при неизвестной дисперсии. Доверительные интервалы для оценки среднегоквадратического отклонения нормального распределения.При выборке малого объема точечная оценка может значительно отличаться от оцениваемогопараметра, что приводит к грубым ошибкам.

Поэтому в таком случае лучше пользоватьсяинтервальными оценками, то есть указывать интервал, в который с заданной вероятностьюпопадает истинное значение оцениваемого параметра. Разумеется, чем меньше длина этогоинтервала, тем точнее оценка параметра. Поэтому, если для оценки Θ* некоторого параметра Θсправедливо неравенство | Θ* - Θ | < δ, число δ > 0 характеризует точность оценки ( чем61PDF created with FinePrint pdfFactory trial version http://www.fineprint.comменьше δ, тем точнее оценка). Но статистические методы позволяют говорить только о том, чтоэто неравенство выполняется с некоторой вероятностью.Определение 18.1.

Надежностью (доверительной вероятностью) оценки Θ* параметра Θназывается вероятность γ того, что выполняется неравенство | Θ* - Θ | < δ. Если заменить этонеравенство двойным неравенством – δ < Θ* - Θ < δ, то получим:p ( Θ* - δ < Θ < Θ* + δ ) = γ.Таким образом, γ есть вероятность того, что Θ попадает в интервал ( Θ* - δ, Θ* + δ).Определение 18.2. Доверительным называется интервал, в который попадает неизвестныйпараметр с заданной надежностью γ.Построение доверительных интервалов.1.

Доверительный интервал для оценки математического ожидания нормального распределенияпри известной дисперсии.Пусть исследуемая случайная величина Х распределена по нормальному закону с известнымсредним квадратическим σ, и требуется по значению выборочного среднего х В оценить еематематическое ожидание а. Будем рассматривать выборочное среднее х В как случайнуювеличину Х , а значения вариант выборки х1, х2,…, хп как одинаково распределенныенезависимые случайные величины Х1, Х2,…, Хп, каждая из которых имеет математическоеσожидание а и среднее квадратическое отклонение σ.

При этом М( Х ) = а, σ ( Х ) =п(используем свойства математического ожидания и дисперсии суммы независимых случайныхвеличин). Оценим вероятность выполнения неравенства | X − a |< δ . Применим формулу длявероятности попадания нормально распределенной случайной величины в заданный интервал:δ п σδ =, р ( | X − a |< δ ) = 2Ф р ( | X − a |< δ ) = 2Ф   . Тогда , с учетом того, что σ ( Х ) =пσ  σ tσδ n.

Отсюда δ =, и предыдущее равенство можно переписать так:σntσtσ p x B −(18.1) = 2Φ (t ) = γ .< a < xB +nnИтак, значение математического ожидания а с вероятностью (надежностью) γ попадает вtσtσ интервал  x B −; xB + , где значение t определяется из таблиц для функции Лапласа так,nnчтобы выполнялось равенство 2Ф(t) = γ.=2Ф( t ), где t =Пример. Найдем доверительный интервал для математического ожидания нормально распределенной случайной величины, если объем выборки п = 49, x B = 2,8, σ = 1,4, а доверительнаявероятность γ = 0,9.Определим t, при котором Ф(t) = 0,9:2 = 0,45: t = 1,645.

Тогда1,645 ⋅ 1,41,645 ⋅ 1,42,8 −< a < 2,8 +, или 2,471 < a < 3,129. Найден доверительный интервал, в4914который попадает а с надежностью 0,9.2. Доверительный интервал для оценки математического ожидания нормального распределенияпри неизвестной дисперсии.62PDF created with FinePrint pdfFactory trial version http://www.fineprint.comЕсли известно, что исследуемая случайная величина Х распределена по нормальному закону снеизвестным средним квадратическим отклонением, то для поиска доверительного интерваладля ее математического ожидания построим новую случайную величинуx −aT= B,(18.2)snгде x B - выборочное среднее, s – исправленная дисперсия, п – объем выборки.