Главная » Все файлы » Просмотр файлов из архивов » Файлы формата DJVU » М.В. Козлов, А.В. Прохоров - Введение в математическую статистику

М.В. Козлов, А.В. Прохоров - Введение в математическую статистику, страница 31

DJVU-файл М.В. Козлов, А.В. Прохоров - Введение в математическую статистику, страница 31 Теория вероятностей и математическая статистика (2651): Книга - 3 семестрМ.В. Козлов, А.В. Прохоров - Введение в математическую статистику: Теория вероятностей и математическая статистика - DJVU, страница 31 (2651) - СтудИ2019-05-09СтудИзба

Описание файла

DJVU-файл из архива "М.В. Козлов, А.В. Прохоров - Введение в математическую статистику", который расположен в категории "". Всё это находится в предмете "теория вероятностей и математическая статистика" из 3 семестр, которые можно найти в файловом архиве МГУ им. Ломоносова. Не смотря на прямую связь этого архива с МГУ им. Ломоносова, его также можно найти и в других разделах. .

Просмотр DJVU-файла онлайн

Распознанный текст из DJVU-файла, 31 - страница

Та же информация (11) недостаточна для определения А по В, если только А и В не совпадают с вероятностью едишща. Очевидно, дело заключается в том, что собствеяяая неопределенность событий А и В, вообще говоря. различна. Примем выражение (11] за собственную меру яе- 173 определенности события В, илч юияпе '~~ ~лн яянип~я ичфор вн, иию, содержащуюся в событии В о самом себе. Ее можно интерпретировать как информацию, необходимую для полного разрешения неопределенности относительно события В. С учетом сказанного величину 19(!/В (6.=0!Х=: ))=/,1х(0!х) (12) можно назвать условной собственной инфорьчацией, содержащейся в событии (6=6) прп условии события (Х=х», и интерпретировать как информацию, необходимую для определения события (6=6), после того как стало известно, что Х=х.

Поэтому разность /8 (6) — /8! х (01х) =- /6 х (6, х) (13) Н (6) =~/Р (6 =6) /8 (6) = — УВ (6 =9! ! ХВ (6 =6). (14) 8 8 Средняя условная энтропия 6 при условии Х определяется равенством Н(6!Х) =тЯ У(6=0, Х=х)/81х(9!х) = в,х = — ~('У (6=6,Х= )!ойй (6=0!Х= ). (!6) в,з Средняя езаинная энтропия между 6 н Х получается усредненнеч формулы (13) и равна /(6, Х) Н(6) — Н(6!Х). (!0) Определенная формулой (16) информация но Шеннону обладает рядом свойств, которые было бы естественно потребовать от любил! формализации понятия информации. Перечислим этн свойства.

'.. 11пформация всегда неотрицательна: /(6, Х))0. 2. Если статистика Т(х) подобная, то /(6, Т(Х)) =О. можег рассматриваться как информация, содержащаяся в событии,'Х=х) относительно события (6=0) и, как видно, совпадает с взаимной информацией (!О). Формулы (10) — (13) определяют понятие информации для отдельных событий (6 6), (Х х), тогда как желательно определить информацию о 6 в Х, как случайных элементах. Это достигается усреднением введенных количеств информации по всем значениям участвующих там случайных величин. Энтролия 6 определяется как среднее значение собственной информации н задается формулой 3. 1!пфс„-.'.сц::.-., содержащаяся в статистике, не превосходит информации, содержащейся во всей выборке: 1(9, Т(Х) )(1(9, Х). 4.

Если Т(х) — достаточная статистика для Я', Ф, (РВ, Оеп8)), то 1(9, Т(Х)) =1(6, Х). Проверим свойства 2 и 4. В случае подобной статистики Т(Х) аолкчсем д~(Т(Х) == х!8::-. В) Ю(Т(х) = х) 1и т(х)(0, х) 1ой ' — = 1оЯ вЂ” — = О, .'У(Т(Х)= х) 9'!Т(Х):= к) что равна нулю и средняя взаимная информация 1(ек, гак Т(Х)). Пусть Т(Х) — достаточная статистика.

Рассмотрим 1(Е,Х) =~~)'Э(в=0, Х= ) )од — "х= к~и= в) 9'(Х = к) в,к (17) Учитывая, что (см. (13) $15) ~ (Т(Х)=1(В=В)=д(1;Е) ~ й(х), (21) к:т(к~ $ н дом ножая числитель и знаменатель дроби в ( 20) на второй множител ь в ( 2 1 ), получаем для выражения (20) значение (щ(~ (Т(Х) =1(Е= Е)1У:Р (Т(Х)=1(В= ),У (В= )) =- =!ни И'(Т(Х) =-!АДЕ=0)1р (Т(Х) =!)) =10 т(х)(В,!), (22) где 1=-Т(х). Подставляя (22) на место логарифмического множителя а (17) и снова воспользовавшись формулой полной вероятюстп, находим 175 По формуле полной вероятности Р(Х=х) = ~)'Р(Х=х)9=к)У(9=т).

Используя достаточность Т(Х), запишем факторизацию (11) из $15: У(Х=х(6-9)=й(Т(Х); О) й(х). (19) Логарифмический множитель в (!7) после подстановки (18), (19) приобретает вид 1оа(й(1;9)~ д(1;т)Р(9=-т)), Т=Т(Х). (20) У(9,.Х)= ~Р(9=-9) T У(Х=. х(9= 0)/е т(х)(6. Т(х)1 =- =~к(9=0)~7„7(Х)(8,1) т Э (Х .х19=9) = в с : т(х);1 =-Х "(9 —.8),У (т(х) =119 =8) )е т(х,(0,1)-:7(9, т(х)). иь ь,$ Для непрерывных моделей н непрерывного априорного распре.

деления информационные характеристики вводятся путем замены ь формулах (!О) — (1О) дискретных распределений вероятностей иа соответств)юшие плотности. а сумм — иа интегралы. Запишем, для примера, выражения для взаимной и средней взаимной информации между 9 и Х: )е,х(0 х) ='оООе,х(0 хИе(6) 7х (х)) У (9, Х) = 1'...

(7е х(0, х) Те и (О.х) 00,... дОьг(х,... д,, (24) Аналогично дискретному случаю доказываются сформулированные выше информационные свойства подобных н достаточных статистик. Рассмотрим одни пример. (1!1) Лопустим вначале, что параметрическое множество 9 (Оь Оь...,О,) конечно и выборка также дискретиа, Запишем взаимную информацию: Уе х (Оь х) =" 1о ' (Р (9 = 0; ) Х =- х),'Р (9:=. 0;)) . (25) Задачу различения, какое именно значение приняла сл.и. 9, будем решать следующим образом: прп данном иаблюдецпи х в качестве предполагаемого значения неизвестного параметр;: выберем 0; такое, что выборка содержит о нем наибольшую информацию: lе х(Опх) з!е х(Оьх), 1-'=1, ...,г.

(26) Иначе говоря, выбирается такое значение 6,, что отношение его апостериориой вероятности к априорной наибольшее: Р(9=0;1Х=х)/ба(9=0~);~сУ(9 8;(Х х)/От(9=81), 1=1,...,г. (27) Перепишем (27) в виде Ф(Х=х~9=6~),Р(Х=х) >Р(Х= х!9=Ос)/Р(Х вЂ” -х), 1=1, ..., г, нлн У(Х=х)9=0з))~(Х=х19=0~), 1 1,, г.

(28) Из (28) видно, что предложенное правило различения на самом деле ие зависит от априорного распределения. Если вообще отка- 176 заться от байесовского метода и записать неравенство (28) для классического подхода: (29) го правило выбора (29) неизвестнгго значения параметра выглядит так: в качестве оценки выбирае,.я такое 8;, при котором вероятность наблюденной выборки х мчксимальна. Этот метод носит нэзвапие метода максимума правдоподобия, н о нем будет идти речь в следующей главе.

Отметим, что в непрерывном случ ~е также можно рассмотреть правило (26), заменив дискретн,.е распределения на плотности. Аналогично (29) имеем оценку О'=О'(х) максимального правдоподобия: ~0~ (х) ) ~р(х), 6 ~ 9. 3. Информация по Кульбаку. В байесовской модели информация по Шеннону служила мерой расхождения между апостернорным и априорным распределениями параметра. При классическом подходе также играют важную роль меры расхождения, но уже между распределениями РВ. О ся В. Фактически любая форма статнстйческого вывода о неизвестном параметре 8 модели (Х, Я (Рв О .= Й)) представляет собой некоторый способ различения мер Рв по иаблюденко. му значению выборки.

Если РО,=-Рв, для некоторых О,ФОь то понятно, что различить по выборке значения О~ и Оз невозможно. С другой стороны, если носители мер Рп, и Рв, не пересскаютгя, то задача различения 0~ и Оз становится тривиальной. Этп крайчие случаи не интересны для теории, но наводят иа мысль, что возможности различения 6~ и От зависят от того, насколько расходятся между собой распределения Рв, н Рв,, Предположим для определенности, что статистическая модель чепрерывна и меры Рв задаются плотностями ~в(х).

ИнфорчаОпей по Кульбаку в точке х для различения в пользу О~ против 8' называется величина г (О,: Ом х) =!ой ((в (х),7в, (х)). (З1) /в,х(Оьх) =- 1оа(аког(хИх(х)) '=1 2. (З2) 177 Выражение (3!) равно разности логарифмов плотностей (в,(х) и ув (х) и как мера расхождения представляется довольно естественной. Возвратимся на время к байесовскому подходу и рас:мотрнм взаимную информацию по Шеннону между х и 8;: Составляя разность выражений (32), получаем /О «(О,,х) — /О «(О„х) =!од(/а (х)//в,(х)) =/(О,:Омх).

(33) Итак, различающая информация в пользу /е, против Яеа в точке х по Кульбаку равна разности информаций Шеннона о 0~ и От, содержащихся в х, вне зависимости от априорного распределения (при условии, что априорные плотности или априорные вероятности в точках 0~ и 02 положительны). Определим среднюю различающую информацию в пользч /а, против /а, относительно меры Рв, как среднее значение (3!) пс этой мере: / (О,; О,) = 5... )'/ (8,: О,; х) /е, (х) с!х,...

Йх„- = !' ... )' /е, (х) 1ой (/е, (х)//е, (х)) с!х ... Их„, (34) где мы предполагаем, что носитель меры Рв, содержится в носителе Ро,'. ',х: /в, (х) ) 0) ~ ,'х: /а„(х] ) 0), и интегрирование в (34) распространяется на все х, для которых /а,(х) ) О. Иногда удобно вместо /(01. 8~) писать /х (О~: О~), чтобы подчеркнуть, что речь идет о различающей информации по всей выборке. С другой стороны, если Т=Т(х) — некоторая статистика, то аналогично (34) определяется различающая информация по статистике: /т(0,: 0,) == !'... ( /а (!) (о~(/те'(!)//та'(!)) с!1 с/! =с!/ .

й (38) Рассмотрим пример. (1Ч) Пусть /~ (хь хт) есть двумерная нормальная плотность й/т(0, Я), где (см. пример и. 1 5 12) /г(хь хт) =о| '(р(х~/о1)ор '<р(хт/от), где ~р(х) — плотность й/(О, 1). Тогда 1ои(/, (Х,, Хй)//т(Х,, Хт)) =-2 ' 1ои(1 — Рэ) — о т2 — ' (1 — Р')-' Хт-Ь + р (1 — ! ')-' о-, ' .; ' Х Х, — а" ,2 — ' (1 — р )-' Х' — 2 — о;--"Х; '+ 2- о-, Х„. Взяв математическое ожидание М~ по мере с плотностью /~(хь хт) от обеих частей равенства и учитывая, что М~Х~'=о~э, М~Хтт=отт, М~Х1Хт=ра~ом 178 получаем / <'< .

'2) = -' '< !о,' (1 — р~) — 2 < (1 — р~) < + р~ (1 — р~) — 2-' (1 — р*)-' + 2 — ' + 2-' = 2 — ' 1оя (1 — р') . Таким образом, /(1: 2) является функцией только коэффициента корреляции р. ° Перечислим некоторые свойства информации (34). 1. Йнформация всегда неотрицательна: /(0<.Оз) вО, причем равенство имеет место тогда и только тогда, когда множество (х: /» (х) ~/в,(х)) имеет Р»,-меру нуль, < 1, 2. 2.

Если Т(х) — некоторая статистика, то /т<х> (8,: Оз) < /х (О,: 8«) с равенством тогда н только тогда, когда Т(Х) — достаточная статистика. 3. Пусть Х=(Х<ц, Х<М) и Х<ц, Хнп — независимы прикаждомиз распределений Р», и Рв . Тогда /хо< х<г> (О: Оз) = /х<ц (О: 9<) + /х< > (О,: Оз). Подставляя (37) в (36) и записывая /»< !и' «1 /х<ц !а) / )., («) х +1 х/». !а, «) /Еа ( ) /в,( ) (36) разложим интеграл (36) в сумму интеграла ./< = )' !' /»<ц (и) /В<,, (ч) 1ой (/В<„(и)//»й, (и)) </и</ч (39) и интеграла 7в получаемого из У< заменой логарифмического члена на второе слагаемое из (38).

Свежие статьи
Популярно сейчас
Как Вы думаете, сколько людей до Вас делали точно такое же задание? 99% студентов выполняют точно такие же задания, как и их предшественники год назад. Найдите нужный учебный материал на СтудИзбе!
Ответы на популярные вопросы
Да! Наши авторы собирают и выкладывают те работы, которые сдаются в Вашем учебном заведении ежегодно и уже проверены преподавателями.
Да! У нас любой человек может выложить любую учебную работу и зарабатывать на её продажах! Но каждый учебный материал публикуется только после тщательной проверки администрацией.
Вернём деньги! А если быть более точными, то автору даётся немного времени на исправление, а если не исправит или выйдет время, то вернём деньги в полном объёме!
Да! На равне с готовыми студенческими работами у нас продаются услуги. Цены на услуги видны сразу, то есть Вам нужно только указать параметры и сразу можно оплачивать.
Отзывы студентов
Ставлю 10/10
Все нравится, очень удобный сайт, помогает в учебе. Кроме этого, можно заработать самому, выставляя готовые учебные материалы на продажу здесь. Рейтинги и отзывы на преподавателей очень помогают сориентироваться в начале нового семестра. Спасибо за такую функцию. Ставлю максимальную оценку.
Лучшая платформа для успешной сдачи сессии
Познакомился со СтудИзбой благодаря своему другу, очень нравится интерфейс, количество доступных файлов, цена, в общем, все прекрасно. Даже сам продаю какие-то свои работы.
Студизба ван лав ❤
Очень офигенный сайт для студентов. Много полезных учебных материалов. Пользуюсь студизбой с октября 2021 года. Серьёзных нареканий нет. Хотелось бы, что бы ввели подписочную модель и сделали материалы дешевле 300 рублей в рамках подписки бесплатными.
Отличный сайт
Лично меня всё устраивает - и покупка, и продажа; и цены, и возможность предпросмотра куска файла, и обилие бесплатных файлов (в подборках по авторам, читай, ВУЗам и факультетам). Есть определённые баги, но всё решаемо, да и администраторы реагируют в течение суток.
Маленький отзыв о большом помощнике!
Студизба спасает в те моменты, когда сроки горят, а работ накопилось достаточно. Довольно удобный сайт с простой навигацией и огромным количеством материалов.
Студ. Изба как крупнейший сборник работ для студентов
Тут дофига бывает всего полезного. Печально, что бывают предметы по которым даже одного бесплатного решения нет, но это скорее вопрос к студентам. В остальном всё здорово.
Спасательный островок
Если уже не успеваешь разобраться или застрял на каком-то задание поможет тебе быстро и недорого решить твою проблему.
Всё и так отлично
Всё очень удобно. Особенно круто, что есть система бонусов и можно выводить остатки денег. Очень много качественных бесплатных файлов.
Отзыв о системе "Студизба"
Отличная платформа для распространения работ, востребованных студентами. Хорошо налаженная и качественная работа сайта, огромная база заданий и аудитория.
Отличный помощник
Отличный сайт с кучей полезных файлов, позволяющий найти много методичек / учебников / отзывов о вузах и преподователях.
Отлично помогает студентам в любой момент для решения трудных и незамедлительных задач
Хотелось бы больше конкретной информации о преподавателях. А так в принципе хороший сайт, всегда им пользуюсь и ни разу не было желания прекратить. Хороший сайт для помощи студентам, удобный и приятный интерфейс. Из недостатков можно выделить только отсутствия небольшого количества файлов.
Спасибо за шикарный сайт
Великолепный сайт на котором студент за не большие деньги может найти помощь с дз, проектами курсовыми, лабораторными, а также узнать отзывы на преподавателей и бесплатно скачать пособия.
Популярные преподаватели
Нашёл ошибку?
Или хочешь предложить что-то улучшить на этой странице? Напиши об этом и получи бонус!
Бонус рассчитывается индивидуально в каждом случае и может быть в виде баллов или бесплатной услуги от студизбы.
Предложить исправление
Добавляйте материалы
и зарабатывайте!
Продажи идут автоматически
5140
Авторов
на СтудИзбе
442
Средний доход
с одного платного файла
Обучение Подробнее