Б.Л. ван дер Варден Математическая статистика (1960) (1186203), страница 44
Текст из файла (страница 44)
ХХХ. (ошибка этого приближения является величиной порядка 11)п), Затем сумму по точкам решетки заменяют интегралом от (12) по области В, деленным на объем элементарной клетки. При этом ошибка возникает, главным образом, вблизи границы В. Порядок величины этой ошибки снова равен 1/)Гп. Таким образом, в качестве приближенного значения для вероятности р(Хв < и) получают интеграл 4 И. Асимпп~аспииескае распределение хе и в 243 Вотличие от 2 48, р, в знаменателях формулы (15) являются истинными значениями соответствующих вероятностей.
Хотя на практике р, бывают неизвестны, однако при чисто теоретическом изучении функции распределения такая замена вполне уместна, Если д = йь Явлаетса длЯ еи иточкой максимУма, то, согласно результатам й 48, д' и Ь отличаются друг от друга величиной порядка 1/я. Оценка д' получается по методу наименьших квадратов: из точки Х опускается перпендикуляр на линейное подпространство О, определяемое параметрическим представлением рс(д).
Если основанием этого перпендикуляра является точка Х', то д'— значение параметра Ю, соответствующее точке Х', Уравнения для вычисления й' в общем случае г неизвестных параметров д,,..., й, были указаны в 2 48. Если начало отсчета в пространстве параметров выбрать таким образом, чтобы р,(0) равнялись истинным вероятностям р,, то, согласно (8) $48, уравнения для с"„,, „ й„' будут иметь вид ~ (иС вЂ” пР1) Ч1и (16) .ейе = где (17) Из уравнений (16). во-первых, видно, что др являются линейными функциями от наблюденных частот Ьс = хс/я.
Во-вторых, так как математические ожидания разностей х. — ярс равны с нулю, то математические ожидания опенок де также равны нулю. Следовательно, оценки йе являются несмесцвнными. Далее, гаь как х, — яр, с вероятностью, сколь угодно близкой к единице, представляют собой величины порядка )'я, а й. имеют порядок п, то с„с вероятностью, сколь угодно близкой к единице, являются величинами порядка !1)ся. Наконец, в силу того, что х, распределены приближенно нормально, следует ожидать. что д, распределены также приближенно нормально.
Прн доказательстве мы снова ограничимся случаем одного параметра д и постараемся вывести асимптотическую формулу для вероятности события д' -. 1)~/и прн яОценка й' представляет собой значение параметра, соответствующее точке Х'„которая является проекцией наблюденной точки Х на прямую 0 (см. рис. 24).
Пусть Р(й) — точка с координатами рс(д), принадлежащая прямой О. Рассмотрим точки Р, = Р(1)Я и Х' = Р(й'). Для всех й', удовлетворяющих неравенству д' ( (1/))тс, соответствующие точки Х' расположены на прямой се по однУ стоРонУ от точки Ро ПоэтомУ д' ( 11с'и тогда н только 1ве 244 Гл„ЛХ.
Оявнка пауал>етуав аа падла>денна>м аасаютам тогда, когда наблюденные точки Х расположены в полупространстве, ограниченном гиперплоскостью Н,, прокодящей через точку Р, перпендикулярно к прямой б>. Выкладки станут проще, если предварителыю с помощью линейного преобразования ввести новые прямоугольные координаты у,,..., у таким образом, чтобы ось Оу, совпадала с прямой б>.
Точка Р, тогда будет иметь координаты у, = а1, у, = ... = = у = О, а полупространство, ограниченное плоскостью Н,, будет определяться нсравенством у, < ад Искомая вероятность представляет собой сумму вероятностей Р(Х) по всем точкам решетки, расположенным в полупространстве. Р(Х) можно снова приблизить выражениями (8) нли (12), а сумму заменить интегралом. Таким образом, получим интеграл вида — >г г (2к) е ~,, ~е 2 Л' ->г г (18) где область интегрирования З представляет собой часть гиперплоскости ~ч'„а, = и, расположенную в полупространствс у, < ай При этом если Л выбрано достаточно большим, то безразлично, производится ли интегрирование но всей полуплоси>сти или только по части полуплоскости, лежащей внутри шара ув < Лв. Если в (!8) выполнить интегрирование по у,,..., у,, то вместо (!8) останется интеграл а> 1 -=-~ е - >0у, = Ф(а!). (! 9) '>'Б > Следовательно, распределение оценки д' является асимптотически нормальным.
Для того чтобы нормальное распределение было полностью определено, нам нужно еще найти множитель а. Как видно из рис, 24, величина координаты у, = а! равна расстоянию РР, в метрике (15), т. е. 1"-" 131' Р> Рв Лсимптотическая формула для вероятности события ь" < !1(> а задается интегралом (!9).
Если положим е>>)>я = у н а !>и = а', то, в силу равенства а!= а'!', асимптотическое распределение оценки Ю' будет задаваться функцией Ф(а!) =Ф(а'С') Р(ь" < и). д 49. Асимптотическое распределение х' и ее где а' = а (<'и = ~ Ь„, (21) Следовательно, асимптотическое квадратичное отклонение для д' равно 1 <ГГ о'е = —, = ~( — = ) Ьгг. и' )< Ь<г (22) д = д'+т1, (24) то, согласно результатам ~ 48, тг с вероятностью, сколь угодно близкой к единице, будет являться величиной порядка 1<п.
Умножив правую и левую части (24) на )ги, получаем о Кп = о' '(<'и + тг )гп. (25) Первое слагаемое представляет собой асимптотически нормальную случайную величину с нулевым средним значением и дисперсией, не зависящей от и, а второе слагаемое по вероятности стремится к нулю при п — . Следовательно, к сумме (25) применима элементарная предельная теорема из 3 24 »К.
Таким образом, оценка наиболыггеео правдоподобия Ю распределена исимптотически нормально с тем же средним значением а с той же дисперсией, что и С'. Точно так же, в случае г параметров д„ ..., д„ квадратичное отклонение оценки д, равно се )'Д а (23) где (Ь'») — матрица, обратная матрице (Ь.»). Формулы (22) и (23) вполне аналогичны формулам ~ 31.
Для доказательства справедливости формул (23) можно, например, с помощью обратной матрицы найти решение д' системы (!6), возвести д, в квадраты и вычислить соответствующие средние значения. Так как (д.)' представляют собой линейные комбинации случайных величин вида з~ и а< ар то при вычислении Яб,)' можно будет воспользоваться ранее найденными точными формулами (1) и (2) э 48. При этом окажется, что (22) и (23) являются не только асимптотическими формулами при и-, но и точными.
Попутгго заметим, чт<>, согласно (17), Ь„е пропорциональны и, поэтому элемеггты обратной матрицы Ь» пропорциональны 1<<в. Отсюда следует, что квадратичные отклонения, вычисленные по формулам (23), являются величинами вида с1)гп. После того, как асимптотическое распределение д' найдено, переход от д' к В не представляет труда.
Если положим 24В Гм 1Х. Оценка нараметрое оо наолюд»нным каетотам Это же самое заключение справедливо для всех тех оценок, которые с вероятностью, сколь угодно близкой к единице, отличаются от д' или д величинами порядка 1/и, Поэтому, например, оценка по методу минимума т„'и все оценки по методу минимума Х, 'являются аснмптотнчески нормальными случайными величинами с тем же средним значением и с той же дисперсией, что и о.
Э 50. Асимптотическая эффективность Мы снова ограничимся случаем одного параметра д. Как мы видели, дисперсия аснмптотнческого распределения опенки д равна 1 о* еео= — = Ьм= —. Ь»е (1) Х(д) = Я [А'(х ~ ди', (2) где ь(х ~ д) = ~'х; 1пр;(д), Таким образом, если производные от р, по д обозначим д, (ранее, в случае нескольких параметров, частные производные от р, обозначались ою), то получим 1'(х ~ д) =- ~ — '- х; Р» 7(д) = Я(:»' — "-х,.) =.'У, ~.-"е'ч-" Я(х,. хн). Р» '1; х Р!рн Математические ожидания хех были вычислены в 5 46: Ях, х„) = п(п — 1)р»рк, если г'ф к, Я х~ =- п(п — ! ) Рт -1- пр,, (4) (6) Это, однако, не означает, что при и- дисперсия д обязательно стремится к нулю.
Как показывает пример 33 Ц 46), может даже случиться, что при всех и дисперсия д будет бесконечной, следовательно, предел дисперсии будет также бесконечным. Формула (1) представляет собой не аснмптотическую формулу для точной дисперсии, а формулу для асимптотической дисперсии оценки д в смысле 546 Б. Кроме того,д является асимптотицески несмещенной оценкой в смысле $ 45 Б. Сравним теперь аснмптотическую дисперсию (1) с той наименьшей дисперсией, которая вообще возможна для несмсщенных оценок, согласно неравенству Фреше, С этой целью предварительно вычислим еннформациюо 7(д), которая, согласно 3 37, определяется формулой З ба. Асимптотическвя эффективность Поэтому е Х(б) = ~ч', .л„п(п — ! ) д,. да + ~ч'," и ~' (8) к Ре В формуле (6) двойная сумма равна нулю, так как ('~ д,)з = О, а второй член совпадает с Ьгн Следовательно, как и в теории наи- меньших квадратов, 1(б) = Ь„.
Согласно неравенству Фреше для дисперсий несмещенных оценок, 1 1 те сэ .ЦЮ) Ь,т п (8) Оценка б является асимптотически несмещенной и, в силу (1), ее аснмптотическая дисперсия равна сз/п. Следовательно, оценка б, в указаншам смысле, асимптотически эффективна. Это не означает, что среди всех асимптотически несмещенных оценок д обладает наименьшей асимптотической дисперсией. Можно (подобно тому, как это делалось в$45 Г) построить пример аснмптотически несмещенной оценки, асимптотическая дисперсия которой прн некоторых значениях Гэ будет меньше, чем 1/((О).
Минимальность дисперсии оценки Ю можно доказать лишь в классе аснмптотически несмещенных оценок, удовлетворяющих условиям регулярности. С этим доказательством мы должны теперь познакомиться ближе, Если левую часть уравнения правдоподобия (14) 5 48 разделить на и, то, отбрасывая у ды индекс а, получим ~ (ьг — Рг('11 Че Ре(в) Это уравнение не содержит к, и и в явном виде, а зависит лишь от частот Ьи Следовательно, оценка наибольшего правдоподобия б является функцией одних только Ьи Более того, если точна с координатами Ь, расположена вне области маловероятных отклонений от истинных значений р„...р и Ьг не слишком близки к нулю, то б заведома будет дифференцируел~ойт функцией частот Ьи ' Частные производные от о по Ьа имеют вид Сформулированные автором условия нужны главным образом для того, чтобы Ра(б) не обращались в вуль. — Прим.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
