Теория вероятности. Вентцель Е.С (4-е издание) (1082431), страница 82
Текст из файла (страница 82)
В этом случае Н (У<Х) = О, и формула (18.4.7) дает Н(Х, У)=Н(Х). Если состояние кажлои нз систем Х, У однозначно определяет со«гояние друтои <гггггг, лзгг зорзг, с. Сгсньг Х и У з з:щалсптны), то н<х, у) =-н(х) =н(у). Теорему об энтропии сложной системы легко можно распространить на любое число объединяемых систем: Н (Хн Хю, Х ) Н<Л ) + Н(Хз! Хг) + Н<хз! Хг Хз)+ ... +Н(Х,< Х,, Х,, ..., Х,,), (18.4.11) где энтропия каждой последующей системы вычисляется при условии, что состояние всех предыдущих известно. 481 энтРопия и инФОРмлция !в.в! 18.5. Энтропия и информация У,=Н(Х) О = н(х), нли (18.5.
1) т. е. количество информации, приобретаемое при полнив! выяснении состояния некоторой физической системы, равно знтропии етой системы. Представим формулу (18.5.1) в аиде: ч %! Ух =,ьа Р! !оя Р!* 1=! где р,=Р(Х х,). Формула (18.5.2) означает, что информация У» есть осредненное по всем состояниям системы значение логарифма вероятности состояния с обратным знаком. Действительно, для получения Ух каждое значение !ой р; (логарифм верощиосщ У-!'о сос!овина) о зи кем м:щ)с гщо,китс» иа вероягность этого состояния и все такие произведения складываются.
Естественно каждое отдельное слагаемое — !од р, рассматривать как частную информацию, получаемую от отдельного сообщения, состоящего в том, что система Х находится в состоянии хи Обозначим эту информацию Улл ! (! 8, 5.3) У„,= — 1о р . ! ь Тогда информация У» предстиви !ся нцн с р е д н ц я (нля и о л н а я) информация, получаемая от всех воаможных отдельных сообщений 31 в. с. Вен!цель В предыдуших и'и' была определена энтропия как мера неопределенности состояния некоторой физической системы. Очевидно, что в результате получения сведений неопределенность системы может быть уменьшена.
Чем больше объем полученных сведений, чем они более содержательны, тем больше будет информация о системе, тем менее неопределенным будет ее состояние. Естественно поэтому количество информации измерять у м е н ь ш е н и е м э н т р о п и и той системы, для уточнения состояния которой предназнзчены сведения.
рассмотрим некоторую систему Х, над которой производится наблюдение, и оценим информзцию, получаемую в результате того, что состояние системы Х становится полностью известным. До получения сведений (априорн) энтропия системы была Н(Х)! после получения сведений состояние системы полностью определилось, т. е. энтропия стала равной пулю.
Обозначим Ух информацию, получаемую в результате выяснения состояния системы Х. Она равна уменьшению энтропии: 482 основные понятия теогии инвогмлции !гл. ш с учетом их вероятностей. Формула (18.5,2) может быть переписана в форме математического ожидания: 1х —— М ! — !АР(Х)), (18.5.4) где буквой Х обозначено любое (случайное) состояние системы Х. Так как все числа р, не больше единицы, то как частная инфор- мациЯ У„., так и полнаЯ т'х не могУт быть отРицательными. Если все возможные состояния системы априори одинаково ве- 1! Роят" ы (Р! = Рт = ° ..
= Р„= — ~, то, естественно, частная инфорл~' мация /», от каждого отдельного сообщения У„, = — !се Р = ! од а равна средней (полной) информации 1 1 7х —— — л — ! Оя — = 1ОК л. л л В случае, когда состояния системы обладают различными вероятностями, информации от разных сообщений неодинаковы: наибольшую информацию несут сообщения о тех событиях, которые априори были нзименее вероятны. Например, сообщение о том, что 31 декабря в г.
Москве выпал снег, несет гораздо меньше информации, чем аналогичное по содержанию сообщение, что 31 июля в г. Москве выпал снег. П р н м е р 1. На шахматной доске в одной нз клеток произвольным об- разом поставлена фигура. Априори зсе положения фигуры на доске одинаково вероятны.
Определить информацию, получаемую от сообщения, в какой именно клетке находится фигура. Р е ш е н н е. Знтронвя системы Х с л равновероатными состоянинмн равна !ой л; в данном случае У Н (Х) = !оа 64 = 6 (дв. ед.), т. е. сообщение содержит 6 двоичных единиц кнформации. Так как все со- стояния системы равновероятны, то ту же информацию несет н любое конП рнмер 2. 8 условиях примера 1 определить частную информацию от совбшенив, что фигура находится в одной нз угловых клеток доски. Решен ие. Априорная вероятность состояния, о котором сообщается, равна 4 1 Р 64 16' Частная информация равна 1 (= — !ой — 4 (дв, ед.). 16 П ример 3.
Определить частную информацию, содержащуюся в сообщении впервые встреченного лица 4: «сегодня мой день рождениям 488 витвопия и ииеовылиия ввуй Решение. Априори все дни в году с одинаковой веровтностью могут ! быть днями рождения лица А. Вероятность полученного сообщения р Частная информация от данного сообщения 1 У вЂ” 1ой — ш 8,51 (дв. ед.). 365 Пример 4. В условиях примера 3 определить полную информацию от сообщения, выясняющего, является ли сегодняшний день днем рождения впервые встреченного лица А.
Решение. Система, состояние которой выясняется, имеет два возмож- нык состояинл: х, — день рождения и хз — не день рождения. Вероятности 1 364 зтих состояний Р, = — ' Рв= —. 365 ' 365 Полная информация рзвна; У =О(Х) = В( — )+т,~ — ) ж0,063 (дв. ед.). х 1365) 1365) Пример 5, По цели может быть произведено л независимых выстра лов; вероятность поражения цели при каждом выстреле равна р. После Д-тв выстрела (1ч: л < и) производится разведка, сообщающая, поражена или ие поражена цель; если оиа поражена, стрельба по ней прекращается. Опреде- лить Д из того условия, чтобы количество информации, доставляемое развед- кой, было максимально ').
Решение. Рассмо~рим физическую систему Ха — цель после й-го вы- стрела. Возможные согхояния системы Хл будут х~ — цель поражена; хз — цель не поражена. Вероятности состояний даны в таблице: ° 1* Рг )~1 — (1 — Р)" ( (1 — Р)" Очевидно, информация, доставляемая выяснением состояния системы Ха, будет максимальна, когда оба состояния х, и х, равновероятны: 1 — (1 — Р)* = (1 — Р)», 1ой (1 — р) ' где 1оя — знак двоичного логарифма. Например, при Р= 0,2 получаем (округляя до ближайшего целого числа) 0,3219 ') Пример заимствован у И.
Я. Динара. 484 ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ИНФОРМАЦИИ ггл. !В Если информация выражена в двоичных единицах, то ей можно дать довольно наглядное истолкование, а именно: измеряя информа- цию в двоичных единицах, мы условно характериауем ее числом ответов «да» или «нет», с помощью которых можно приобрести ту же информацию. Действительно, рассмотрим систему с двумя со- стояниями: „, 1 ., ( ., Чтобы выяснить состояние этой системы, достаточно задать один вопрос, например: находится ли система в состоянии х!? Отзег «да» или «нет» на этот вопрос доставляет некоторую информацию, кото- рая достигает своего максимального значения 1, когда оба состояния априори равновероятны: р, = ра = †. Таким образом, максимальная 1 информация, даваемая ответом «да» или «нет», равна одной двоич- ной единице.
Если информация от какого-то сообщения равна и двоичным еди- ницам, то она равносильна информации, даваемой л ответами <да» илн «нет> нз вопросы, поставленные так, что «да» и «нет» одина- ково вероятны. В некоторых простейших случаях для выяснения содержания сооб- щения действительно удается поставить несколько вопросов тзк. чтобы ответы «да» и «нет» на эти вопросы были равновероятны. В таких случаях полученная информация фактически измеряется числом таких вчпросов. Если же поставить вопросы точно таким образом не удается. можно утверждать только, что минимальное число вопросов, необхо- димое для выяснения содержания данного сообщения, не »ген>же, чем информация, заключенная в сообщении. Чтобы число вопросов было минимальным, нужно формулировать нх так, чтобы вероятности отве- 1 тов «да» и «нет» были как можно ближе к —,—.
П р н мер б. Некто задумал любое це !ое число Х ог е.нншцы до зосьнщ 1(Х(8, а нам преллагаетса угадать его, поставив иннин>льнов число вопросов, на каждый нз которых дается ответ «да» нлн «нет». Р е ш е н я е. Определяем информацию, заключенную в сообщении, какое число задумано. Априори зсе значения Х ог 1 ло 8 одинаково вероятны: 1 Р, = Р! = ... = р, = -„, и форкулз (М.5.2) лзгт 1 = 1ой 8 = 3. '"! задуианно)о числа, не меньше трех. энтРОпия и НИФОРмлция В данном случае можно, действительно, обойтись тремя вопросами, если сформулировать нх тан, чтобы вероятности ответов «да» и «нет» были равны.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
