Б.Л. ван дер Варден Математическая статистика (1960) (1186203), страница 39
Текст из файла (страница 39)
Соответствующая плотность вероятности будет иметь вид р(уь е,Чео ,~р, — ~ре,й) = — ~ [[е,— н1»Р+еб п — з = сй - 'е " г й(р„..., р„,). (5) Е ЕЕ. Оценка дисперсии нормальноео распределения 21Э Д (х — х)е . хе — иа' ~ уе — у1 с' е (6) и — 1 и — 1 и — 1 и — 1 Мы знаем, что е' является несмещенной оценкой для сг' = д. Если бы имелась какая-либо другая несмещенная оценка, зависящая лишь от у, и г, то интегральное уравнение ((д — иуп )~ е с'] и — 2 (7) имело бы ненулевое решение. Полагая в (7) 1 .0(у,г)е ' г с7т= е(у~д), о (8) получим е(у)д) е '" с(у=-О нли, если обозначить сс = р. ~/исд н постоянный множитель ехр ( — ссе и(2д) вьшести за знак интеграла, 1 Г(у~в)е ае е с(у=О.
(9) Последнее равенство должно быть справедливо при любых сс и д > О. Левая часть (9) является аналитической функцией и, Вместо л' хе и ~ х в формуле (5) имеются величины г и у„которые, конечно, также являются достаточными статистиками для рс и д. Как и в $ 40, мы можем теперь для любой случайной величинся и определить условное математическое ожидание С,(и ~ у,, г). Общая теория Колмогорова для этого даже и не потребуется: условное математическое ожидание можно определить посредством интегрирования по угловым координатам р,,..., у„,.
С помощью этого условного математического ожидания можно, как в $ 42 А, для любой оценки м параметра д вывести улучшенную оценку тс, которая будет иметь то же смещение, что им, а дисперсия тс не будет превосходить дисперсии и. Так как, кроме того, тс должна зависеть лишь от у, н г, то оценку для д мы сразу будем искать в инде функции от этих аргументов. Такой функцией является 220 ! и. )>ГХд Оценки неизвестных ларамеп>рса которая определена' при всех комплексных се Если зта функция даже на некотором маленьком отрезке действительной оси равна нулю, то она равна нулю тождественно при всех о. Поэтому заменим в (9) сх на т! и рассмотрим полученный интеграл, который можно истолковать как преобразование Фурье дтя функции У(у ! ь) ехр ( — уз/2ь), В силу (9), зто преобразование равно нулю при всех (, следовательно, преобразуемая функция также равна нулю, т.
е. л'(у (и) = О. (10) Если (10) подставим в (8), то получим интегральное уравнение для 0(у, «): ~Л(у, т') е а" «и с(« = О. (ПЭ о Выбрав га в качестве новой переменной интегрирования„ убеждаемся, что интегральное уравнение П!) имеет точно такой же вид, как и (8) й 43. Поэтому, как и тогда, Л(и, «) = О. Только что приведенное доказательство справедливо в классе функций Л(тг, «), удовлетворяющих некоторым слабым условиям регулярнг>сти.
Например, достаточно предположить, что интегралы (7) и (8) абсолютно сходятся для всех )ь и д из конечной области М: а < )ь < 1>, 0<а<с, и что на каждом замкнутом подмножестве множества М интегралы (7) н (8) сходятся равномерно. Точно тот же метод доказательства можно применить и к случаю, когда имеется несколько групп хт,..., я; у„..., у„;... независимых нормально распределенных случанных величин с одинаковымн дисперсиями д, но, может быть, разными средними значениями: р. — для первой группы, и — для второй группы и т.
д. Результат тот же самый: (м — м)'+ О! — >!)е -1- ° . ° (12) (и> — 1) чь (и — 1) + ... является нссмсгценной, наилучшей оценкой для д. ' Д о к а з а т е л ь с т в о. Сиачала в (б) эамсиим прсаелы иитсгрироваиия — ч и + > иа — М п + М таким образом, чтобы лля всех а, прииалле>кащил произиольиому яру~у (а(- )й соответствукпиий интеграл отличался от (9) меисе чем иа е.
Зятем ецк рязложии в степенной рял и проинтегрируем его почлеиио. Таким образом, мы получим разложение иитеграла от — й! ко + йХ в стспси кои рях ио степеиям о. Теперь Л! можно устремить к бесконечности: прсаел равиомсрио схоляжсйся иос,теловатсаьйости регулярных фуи кипа являетси регу.>яркой фуикипей в кр) ге )а) < тт. З 4в. Асииитстивесвие свойства 221 Если, в частности, каждая группа состоит лишь нз двух случайных величин, то (12) превращается в формулу (10) 9 35. Еледоватслыю, пример 23 может служить иллюстрацисй практического применения формулы (12).
9 45. Лсимптотическне свойства Все теоремы, с которыми мы до сих пор имели дело, были справедливы как для малых выборок, так н для больших, что особенно важно для приложений. Теперь, в заключение, мы хотим совсем кратко и без доказательств изложить важнейшие аснмптотнчсскис свойства оценок в случае больших выборок. А СОСТОЯТЕЛЫЮСТЬ ОЦЕНОК НАИБОЛЫНРГО ПРАВДОПОДОБИЯ Вернемся к случаю одного параметра д. Пусть жг,..., ага†нсзависимыс одинаково распределенные стучайныс величины с плотностью всроятности Т(м (0). Плотность их совместного распределения задается формулой и(~ ! !') ! (!г! ! !') с(~в ~ !) . ' ! (~л ~ ~)' (1) Оценка 7 параметра 9 называется состоятельной, если прн л — вероятность собыгия ! !У вЂ” 01 св стремится к единице, При некоторых предположениях о регулярносги функции !(х (0) можно показать, что метод наибольшего правдоподобия приводит к состоятельной сценке параметра д. Простейшее из известных мне доказательств опирается на довольно слабые предположения регулярности; это доказательство принадлежит Вальду и Вольфовицу.
Здесь мы это доказательство воспроизводить не будем, а отспшем читателя к оригнналыюй работе: Л. %а1д апс( 3. %О11отт((е, Лппа1з ОГ Ма(йсша((са1 В1а(гз1(сз, 20 (1949), 595, 601. Если прн и — вместе с увеличеннсм п количество неизвестных параметров также возрастает, то теорема о состоятельности оценок наиболыпсго правдоподобия может и нс быть споаведливой.
Пример этого нам уже встречался в $ 35. В. АСИМПТОТИЧЕСКАЯ НОРМАЛЫЮСТЬ, АСИМПТОТИЧЕСКОЕ СРЕДНЕС ЗНАЧЕНИЕ И АСИМИ!ОТИЧЕСКАЯ ДИСПЕРСИЯ Состоятельность опенки наибольшего правдоподобия 0 ранее была доказана Хотеллингсм! н Дубом' при более сильных ограничениях. Однако эти авторы, помимо состоятельности. доказали, что оценка Ьсраспределена аснмптотнчсскн нормально со средним ' П о 1 с 1! ! а я Н., Тгаав. Агасг.
МаФЬ. Бос., 32 (1930), 847. ' 11 О ОЬ 1. 1., ТГааз. А!осе. 11аГЬ. Ьсес 96, 700; ЗВ, 410. Гл, вП1, Оценки неиэвеетних нар«метр«в 222 значением д н квадратичным отклонением с()~п. Это означает, что функция распределения случайной величины У = (й — 6) )'п (2) при п — стремиэся к функции нормального распределения с нулевым средним значением и квадратичным отклонением с При этом а определяется равенством 1а1 /У В 4 Зб правую часть последнего равенства мы обозначили через )(д). Если это выражение умножнм на п, то получим введенную ранее «шн)юрмацню» «' = 1(Ю): (4) Следовательно, дисперсия аснмптоэнческого нормального распределения равна обратной величине информации: в' 1 ««Х Прн определении понятий «асимптоэнческое среднее значение» и «асимптотическая дисперсия» нужно соблюдать большую осто.
рожность, так как вполне может случиться, что при каждом я точное распределение оценки й обладает бесконечной днсперсией. И тем не менее й будет распределена асимптотнческн нормально с конечным средним значением д и конечной дисперсией а«~п. По этой причине нельзя сначала вычислять дисперсию и затем производить предельный переход прн п — аа, а нужно сперва найти распределение случайной величины У, затем произвести предельный переход при и — и, наконец, вычислить дисперсию.
В дальнейшем выражения «асимптотическое среднее значение» и «аснмптоэнческая дисперсия» всегда следует понимать именно в этом смысле. Пусть У вЂ” оценка параметра д. Если асимпэотическое среднее значение разности Т вЂ” д (смысл этого понятия указан выше) малб сравнительно с ) ~Кп, то оценка У называется асимптоп«ически несмещенной; при этом асимптотическое распределенно случайной величины (6) имеет нулевое среднее значение.
Согласно упомянутым выше теоремам Хотеллинга н Дуба, оценка наибольшего правдоподобия д является асимптотическн несмещенной. Э аэ. Асимптотичесиив свойства х, если )а(~п 1 если ) х ~ ( и 1— — х 2 н докажем, что !. Т вЂ” зсимптотическн нормальна при любом д, 2. Т вЂ” асимптотически несмещенная оценка при любом д. 3. Асимптотическая дисперсия Т равна 1/и, если д т О, н равна 1/4п, если д = О. Доказательство. Если дфО, то при больших п не— Ц« поятность события ~ х ~ ( п ~ исчезающе мала, следовательно, практически всегда выполняется равенство Т = х, и поэтому асимптотическое распределение Т совпадает с распределением х. Напротив, если д = О, то вероятность события ) х ~ ~ п ц~ будет исчезающе малой, и поэтому асимптотическое распределение Т должно совпадать с распределением случайной величины х/2.
Более обстоятельное изложение затронутых здесь вопросов можно найти в цнтированнсй работе Ле Кама. 4 Эти исслсдованив подытожены в работе Ь а С в ш Ь., Оп воша ааушр«оцс ршрос«1ав от Маа1шпса 1Жедвоой Евцшамп, 11шп оГ СаЦГ. Ривь ш о«а«., 1, Яо 11 (1953), 277. В. ЭФФЕКТИВНОСТЬ Р. А. Фишер предполагал, что оценка д ассвм11тоспссчески эффекглценп в том смысле, что она среди всех асимптотически несмещенных оценок обладает наименьшей асимптотической дисперсией. Однако более поздние исследования» показали, что это предположение соотвезствует действительности лишь тогда, когда множество допустимых оценок ограничено сильными условиями регулярности.
Если же с оценкой наибольшего правдоподобия могут конкурировать произвольные асимптотически несмещенные оценки, то среди них можно найти так называемые «сверхэффективные» оценки, которые при некоторых значениях параметра имеют меньшую асимптотическую дисперсию, чем оценка наибольшего правдоподобия. Пример такой «сверхэффективной» оценки был вказан Д. Л. Ходжссом. Пусть /(х(д) — нормальная плотность вероятностей со средним значением д и единичной дисперсией: 1 1 — — «а — Вп /(х~д) = — —,=е (7) У2 Требуется найти оценку для д по выборке, состоящей из и независимых наблюдений х„..., х„.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
