Д.М. Чибисов, В.И. Пагурова - Задачи по математической статистике (1115274), страница 4
Текст из файла (страница 4)
В основе математической статистики лежит предположение, что данные наблюдений, подлежащие статистической обработке, можно рассматривать как реализацию некоторого случайного вектора (или случайного элемента иной природы), о распределении которого в каждой конкретной задаче делаются предположения, выделяющие определенное семейство возможных распределений.
Тем самым для математического описания совокупности статистических данных принимается статистическая модель (Ы, .яг, У), где (гп, .Ф) — некоторое измеримое пространство, У вЂ” семейство вероятностных распределений на нем. Точки х выборочного пространства Я описывают возможные «исходы эксперимента», или совокупности наблюденных значений, а Р,енУ вЂ” возможные распределения вероятностей случайного элемента ХенМ. Множество 6 называется параметрическим пространством. В предлагаемых далее задачах 6«Ль.
Будем предполагать, что каждое распределение Р,~У имеет плотность относительно некоторой о-конечной меры 1», — з=Ь(х, 0), Рз(А)=~Ь(х,",0)р(дх), А~ А. ' Наиболее распространенными являются следующие случаи: абсолютно-непрерывный тип распределений, когда М=Л", Ф =- =М" (борелевская о-алгебра) и и-мера Лебега, и дискретный тип распределений, когда Ф=(хо хм ...) — конечное или счетное множество, а р — считающая мера, т. е. р(А) равна числу точек х;яА.
Функция Ь(х,0), рассматриваемая как функция 0 при фиксированном х, называется функцией правдоподобия. Независимые наблюдения. Во многих задачах совокупность статистических данных представляет собой результат наблюдения и независимых одинаково распределенных случайных величин (или каких-либо иных случайных элементов). В этом случае, если каждое НабЛЮдЕНИЕ Х„1=1,..., Л, ОПИСЫВаЕтСя МОДЕЛЬЮ (Юм Ам й»~), У,=(р,з, 0~ 9), т. е.
Х~ — случайный элемент пространства («», 4,), подчиняющийся распределению Рьз ен Ю„то Х = Ю"„,Я=,А!~, Ф=Я=(Р«, 0 ен 9), где Рз — — Р»з'х ... х*рм (а»~раз). Если Ры 23 еет плотность ре(х) относительно некоторой а-конечной меры ~ (,э.; „к,), то Ре имеет плотность е Е(х, 0)=Е„(х, 0)=1 ( ре (х!), х=(х,, х„) !=1 относительно р=тХ ... Хт (и раз). Достаточная, полная, свободная статистика. Измеримая функция от наблюдения Х называется статистикой. Статистика Т(Х) отображает измеримое пространство (еэ, яе) в некоторое измеримое пространство (3, Я), Т: (Ф, .Ф) — «(У, Я). Статистики Т(Х) и 5(Х), заданные на измеримом пространстве (М, .Ф), называются эквивалентными, если существует взаимно однозначное измеримое в обе стороны отображение д, такое, что Т(Х) =д(В(.) ). Статистика Т; (М,,я~)- (д, Я) называется достаточной, если для всякого Аен.Ф имеется условная вероятность Ре(А ~Т= =г), не зависящая от О.
Тогда при условиях, которые выполнены во всех последующих задачах, существует условное распределение Х при фиксированном Т, не зависящее от О (см. (171). Достаточная статистика называется минимальной, если она является измеримой функцией любой другой достаточной статистики. Теорема факторизации. Статистика Т: (Ф, лФ)- (У, Я) является достаточной тогда и только тогда, когда существуют .Ф- измеримая не зависящая от О неотрицательная функция Ь(х) на Я' и Я-измеримая неотрицательная функция атее(() на У, такие, что функция правдоподобия Е(х,О) представима в виде Е(х, 0) =де (Т(х) ) Ь (х) для всех Оен6, хай.
Ве)(Т(Х))=0 для всех 0~9 ((() =0 Ре'-п. в. для всех Ое=бе, следует где Рег — распределение статистики Т относительно Ре, т. е. Ре"=Ре(Т '(В)), ВенЯ. Теорема. Всякая полная достаточная статистика является минимальной достаточной статистикой. Статистика Т(Х) называется свободной, если распределение Т(Х) не зависит от Оенй. Теорема Басу. Пусть Т(Х) — полная достаточная статистика, У(Х) — свободная статистика. Тогда статистики Т(Х) н Е!(Х) независимы. Статистика Т(Х) называется полной, если для всякой функции ((() из условия Экспоненциальные семейства. Семейство т.=(ре,йе=9с:)тч) на (яг, .~Ф), допускающее функцию правдоподобия Е(х, 6) вида Б(х, 8)=К(0)ехрД' а!(8)Т;(х)) 1!(х), (2.1) называется экспоненциальным семейством.
По теореме факторизации Т(Х) = (Т!(Х), ..., Та(Х) ) — достаточная статистика. Теорема. Если з'! — экспоненциальное семейство с функцией правдоподобия (2.1), то достаточная статистика Т(Х) имеет плотность распределения вида В (1, 8)=К(0)ехР Д а,(8)1!)Ь!(1), 1=(1„..., 1„), ! =.1 относительно некоторой о-конечной меры на Л", Теорема о полноте экспоненциальных семейств. Пусть У= =(Р„Оя9~Р) — экспоненциальное семейство, а функция а(0) =(а!(8),...,аз(8)) и параметрическое пространство 9 таковы, что а(О) зачерчивает некоторый л-мерный параллелепипед, когда 0 пробегает 9. Тогда Т(Х) =(Т!(Х), ..., Ть(Х)) является полной достаточной статистикой.
Условия теоремы о полноте зкспоненциальных семейств выполняются, если 9 содержит внутренние точки (т. е. точки вместе с окрестностями достаточно малого радиуса), а функции а(0) во внутренних точках оказываются линейно независимыми и гладкими. Несмещенные оценки с равномерно минимальной дисперсией (н.о.р.м.д.). Оценкой параметрической функции т(6) со значениями в )с называется любая статистика Т(Х), Т: (М, .Ф)- , (Ят Ягп) Оценка Т(Х) функции т(0) называется несмещенной, если РзТ(Х) =т(6) для всех Оев9, Е,— оператор математического ожидания, соответствующий распределению Ре. Пусть Л вЂ” класс несмещенных оценок. Оценка Т(Х) вне называется несмещенной с равномерно минимальной дисперсией (н.о.р.м.д.), если Р,Т(Х) < КТ'(Х) для всех Оя9 и всех Т'(Х)еиЛ.
Если т>1, Т(Х)=(Т,(Х),...,Т (Х))г, т(0)= (т (8), ..., т (О)), то 0,Т(Х) =Е,(Т(Х) — (6)) (Т(Х)— — т(8))г=(соч(Т;(Х), Т;(Х))), а неравенство А<В для матриц одинаковой размерности означает, что матрица  — А неотрицательно определена. Теорема Рао †Блекуэлла †Колмого. Пусть Т(Х) — достаточная статистика, Л вЂ” класс несмещенных оценок параметРической функции т(0), У(Х)енб, Тогда условное математическое ожидание й(Т(Х)) =Е,(У(Х) ~ Т(Х)) является оценкой, зависящей от Х только через Т(Х) и обладающей свойствами: 1) й(Т(Х))е-:А; 2) 0,0(Т(Х)) <Р,У(Х) для всех Ос=9.
25 Последнее неравенство превращается в равенство в том и только том случае, когда У(Х) =й(Т(Х) ) Р,-п.в. Следствие. Если Т(Х) — полная достаточная статистика, У(Х)енА, то д(Т(Х))=Е0(У(Х) ~ Т(Х)) является н.о.р.м.д. иона единственна. Если не ограничиваться классом несмещенных оценок, то, вообще говоря, можно найти смещенную оценку Т(Х) параметрической функции т(0), среднеквадратическая ошибка (с.к.о.) которой Е, ( Т (Х) — т(0) ) з оказывается меньше дисперсии н.о.р.м.д. для т(8). Метод наименьших квадратов (м.н.к.) при оценивании параметров линейной модели. Рассматривается линейная модель Хшхн (ыхюыьхп, Мхн А +е, и) Х= (Хь ..., Х,) г — вектор наблюдений, А — известная матрица ранга г ай, р= (рь ..., д~) г — неизвестный вектор, е=(еь ...
..., е„) т — вектор случайных ошибок, Ее=О, 0а=оЧ, оз неизвестна, 1 — единичная матрица порядка л. Оценка Р(Х) называется оценкой метода наименьших квадратов (м.н.к.), если она удовлетворяет условию ((Х вЂ” А Щ'=ппп ~!Х вЂ” АЯ'. М.н.к.-оцен- В ка р(Х) является решением системы нормальных уравнений АгАР=АтХ. Система нормальных уравнений совместна, т. е.
м.н.к.-оценка р (Х) существует. Несмещенной оценкой неизвестной дисперсии оз является оз= $Х вЂ” АЯЯ(п — г), Если ранг г=й, то система нормальных уравнений имеет единственное решение ~(Х)=(А А) 'А"Х, ЕЦХ)=~, 0()(Х)=оз(А А) Рассмотрим класс А несмещенных линейных относительно компонент Вектора Х оценок Т(Х) с атХ для параметрической функции сгр, р — м.н.к.-оценка вектора р. Теорема Гаусса — Маркова. Рсф<РТ(Х) для всех Т(Х)ен енА и всех р.
Некоторые свойства м.н.к.-оценок, связанные с предположением нормальности распределения вектора ошибок е, указаны в задачах. е е дОстАтОчные, пОлные, сВОБОдные стАтистиКи. НЕСМЕЩЕННЫЕ ОЦЕНКИ С РАВНОМЕРНО МИНИМАЛЪНОИ ДИСПЕРСИЕА 2.1. Испытания Бернулли. Пусть случайные величины Хь... ...,Х„независимы и каждая имеет биномиальное распределение Ь(1, О), 0(0 ~1. Обозначим Х= (Хь ..., Х,). Показать, что а Т(Х)= ~' Х~ — полная достаточная статистика. 1=! ге 2.2. Продолжение. Найти условное распределение Х при фиксированном Т. 2.3. Продолжение.
1) Проверить, что (/,=Хь (/ =Х,Х -Х, (1 — Х,) являются несмещенными оценками соответственно ля О, 6' и 0(1 — 8). Вообще (/=Х~ ... Х!(1 — Х;+ ) ... (1 — Х»»!), ~~-/~а,— несмещенная оценка для 8'(1 — О)!. 2) Найти д(1) = =Е[»/~ Т(Х)=/). Тогда 6(Т(Х)) — н.о.р.м.д. для 6'(1 — О)!. 3) Показать, что н.о.р.м.д. для полинома Р»(8)='1" а!О' прн !=О О~2<а является /»(Х)=~) а,ТР!(Х)/лн!, 4) Показать, что для !=0 функции т»(6) =8» прн И>п несмещенных оценок не существует„Здесь Ьщ=Ь(Ь вЂ” 1) ... (Ь вЂ” »+1), Ь!~1=1. 2.4. Распределение Пуассона. Пусть случайные величины Хь...,Х„независимы и каждая имеет распределение Пуассона П(0), 0>0.
Обозначим Х= (Х„..., Х„). Показать, что Т(Х) = л Х! — полная достаточная статистика. ! ! 2.5. Продолжение. Найти условное распределение Х прн фиксированном Т=й 2.6. Продолжение. 1) Проверить, что (/=Х, ...Х» является несмещенной оценкой для т»(6) =8». 2) Найти д(1) = Е[1/! Т(Х) = =/]. Тогда И(Т(Х)) — н.о.р.м.д. для т»(0). 3) Показать, что для т(0) =1/8 не существует несмещенной оценки. 2.7. Продолжение. Величина»г» — — /(Х!=Ц является несмещенной оценкой для вероятности п»(0) =0»е-»//»1, а=О, 1, 2, .... Найти д(/)=Е[Я»~Т(Х)=11. Тогда п(Т(Х)) — нормд. для я (6).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
