Теория вероятности. Вентцель Е.С (4-е издание) (1082431), страница 83

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 83)

Пусть, например, задумано число «пять», мы этого не знаем и задаем вопросы: Вопр.ос 1. Число Х меньше пяти? Ответ. Нет. (Вывод: Х вЂ” одно нз чисел 5, 6, 7, 8,) В о и р о с 2. Число Х меньше семи? Ответ. Ла. (Вывод: Х вЂ” одно нз чисел 5, 6.) Вопрос 3. Число Х меньше шести? Ответ. Ла. (Вывел: число Х равно пяти.) Легко убедиться, что тремя такими (илн аналогичными) вопросами можно установить любое задуманное число от 1 до 8'), Таким образом, мы научились измерять информацию о системе Х, содержащуюся как в отдельных сообщениях о ее состоянии, так и в самом факте выяснения состояния.

При этом предполагалось, что наблюдение ведется непосредственно за самой системой Х. На практике это часто бывает не так: может оказаться, что система Х непосредственно недоступна для наблюдения, к выясняется состояние не самой системы Х, а некоторой другой системы У, свяаанной с нею.

Например, вместо непосредственного наблюдения за воадушнымн целями на посту управления средствамн противовоздушной обороны ведется наблюдение за планшетом нли экраном отображения воздушной обстановки, на котором цели наображены условными значками. Вместо непосредственного наблюдения за космическим кораблем ведется наблюдение за системой сигналов, передаваемых его аппаратурой. Вместо текста Х отправленной телеграммы получатель наблюдает текст У принятой, который не всегда совпадает с Х. Различия между непосредственно интересующей нас системой Х н поддающейся непосредственному нзблюденню У вообще могут быть двух типов: 1) Различия за счет того, что некоторые состояния системы Х не находят отражения в системе У, которая «беднее подробностями», чем система Х.

2) Различия за счет ошибок: неточностей измерения параметров системы Х н ошибок при передаче сообщений. Примером различий первого типа могут служить различна, возникающие при округлении численных данных и вообще при грубоч описании свойств системы Х отображающей ее системой У. Примерами различий второго типа могут быть нскзження сигналов, возннкюощче за счет помех (шумов) в каналах связи, за счет ) Читателю рекомендуется саиостоятечьно поставить шесть вопросов, необходимых для выяснения положения фигуры ыа шзхиатнон лоске (см. пример 1), н очречелнть число вопросов, досгато шее лля выяснения задуманной нарты з «охоте н~ 86 нарт.

Ц88 основные понятия теснин инвовмлцни ?гл. ~а неисправностей передающей аппзратуры. за счет рассеянности людей, участвующих в передаче информации, и т. д. В случае, когда интересующая нас система Х и наблюдаемая У различны, возникает вопрос: какое количество информации о системе Х дает наблюдение системы У? Естественно определить эту информацию как уменьшение энтропии системы Х в результате получения сведений о состоянии системы У: )г +к = Н (Х) — Н(Х ~ 1').

(18,5.5) Действительно, до получения сведений о системе 1' энтропия системы Х была,Н(Х); после получения сведений «остаточная» энтропия стала Н (Х1 У); уничтоженная сведениями энтропия и есть информация <гч.х Величину (18.5лб) мы будем называть колкой (или средней) информацией о системе Х, содержащейся а системе У. Докажем, что )г-»х = )х.+ г т. е. нз двух систем каждая содержит относительно другой одну и ту же полную информацию. Для доказательства запишем энтропию системы (Х, 1') согласно теореме на стр.

479, двумя равносильными формуламн; Н(Х, У) =Н(Х)+Н(1' )Х). Н(Х, У)=Н(У) +Н(Х~ У), откуда Н (Х ) + Н ( У / Х) = Н (У) + Н (Х ! У). Н(Х) — Н(Х ~?') = Н(?') — Н(У ~ Х), или (18.5.6) )г х=)х г что и требовалось доказать. Введем обозначение: (18,5.7) )гч. х=)г.+х=)х.+х и будем называть информацию 7гч..»х колкой взаимной информацией, содержащейся в системах Х и У. Посмотрим, во что обращается полная взаимная информация в крайних случаях полной независимости и полной зависимости систем. Если Х и У независимы, то Н(1'1Х) =Н(У), и х=О, (18.5.8) т, е. полная взаимная информация, содержащаяся з независимых системах, равна нулю.

Это вполне естественно, тзк как нельзя получить сведений о системе, наблюдая вместо нее другую, никак с нею не связанную. 487 энтпойня и нноовмлция 18.51 Рассмотрим другой крайний случай, когда состояние системы Х полностью определяет состояние системы У и наоборот (системы эквивалентны), Тогда Н (Х) = Н (У): Н(Х~ У) =Н(Ц Х) = 0 Н ?гч-+х=?х=?з =Н(Х)=Н(У), (18,5,9) т. е. получается случай, уже рассмотренный нами выше (формула (18.5.2)), когда наблюдается непосредственно интересующая нас система Х (или, что то же, эквивалентная ей 1').

Рассмотрим случай, когда между системами Х и У имеется жесткая зависимость, но односторонняя: состояние одной иэ систем полностью определяет состояние другой, но не наоборот. Условимся называть ту систему, состояние которой полностью определяется состоянием другой, «подчиненной системой», По состоянию подчиненной системы вообще нельзя однозначно определить состояние другой. Например, если системз Х представляет собой полный текст сообщения, составленного из ряда букв, а У вЂ” его сокращенный текст, в котором для сокрашения пропущены все гласные буквы, то, читая в сообщении У слово «стл», нельзя в точности быть уверенным, оаначает оно «стол», «стул», «стал» или «устал».

Очевидно, энтропия подчиненной системы меньше, чем энтропия той системы, которой она подчинена. Определим полную взаимную информацию, содержащуюся в системах, из которых одна является подчиненной. Пусть из двух систем Х и У подчиненной является Х. Тогда Н(Х(У)=0, и ?, „х=Н(Х), (18.5г10) т. е. полная взаилгная инфорлаппя, содержащаяся в системах, из которых одна яеляегпся подчиненнои, равна энтропии подчиненной системы. Выведем выражение для ннформзции ?г х не через условную энтропию, а непосредственно через энтропию объединенной системы )! (Х, У) и эптропгщ ее составных частей Н(Х) и Н(У).

Пользуясь теоремой об энтропии объединенной системы (стр. 4?9), получим: Н(Х(У) =Н(Х. У) — Н(У). (18,5.11) Подставляя это выражение в формулу (18.5.5). цолучнмь ?х+- х=Н(Х)+Н(У) — Н(Х. У) (18 5.12) т. с. полная взаимная информация, содержаисаяся в двух системах, равна сулле энтропий сосгпаеняющих слете.в минус энтропия объединенной системы. На основе полученных зависимостей легко вывести общее выражение для полной взаимной информации в виде математического 48,8 Основные пОнятия теОРии инФОРНАции [Гл. [а ожидания. Подставляя в (18,5.12) выражения для энтропий: Н(Х)=М[ — [ойР(Х)!.

Н(!')=Л4[ — [ояР(У)), Н(Л', У)=М[ — !о Р(Л', У)), получим )г».ьх= ![4 [ — [он Р(Х) — !08Р(У) + [он Р(Х, У)[ нли (18.5.14) где Рг — Р[(Х х,)(У у )), Р,=Р(Х х); г) —— Р(1' у). Прим ер 1. Найти полную взаимную информацию, содержащуюся в системах Х и У в условиях примера ! и' !8.4. Решение. Из примера 1п' 18.4 с помощью таблицы 7 приложения голучим; Н(Х, У) =2,25; Н(Х) =1,16; Н(У) =1,57; 7»» х Н(Х)+Н(У) — Н(Х, У) =0,48 (дв. ед.). Пример 2.

Физическая система Х может находиться в одном из четы. рех состояний к„х,, хь хб соответствующие вероятности даны в таблице хг х| хт хз х~ рг ~ ОП 02 04 Оз При наблюдении за системой Х состояния к, и х, неразличимы; состояния х, и х„так[не неразличимы. Сообщение о системе Х указывает, находится ан она в одном из состояний хи х, или же в одном из состояний х,, х,. Полу- ходится система Х.

Определить информацию, заключенную в атом сообщении. Решенно. В данном примере мы наблюдаем не саму систему Х, а поачинеиную ей систему У, которая принимает состояние у,, когда система Х оказывается в одном иэ состояний хи хи и состояние у,, ко~да Х оказывается в одном из состояний х,, хе Имеем: г, =Р(У у) =0[+02=03; гт = Р(У ут) =0,3+0,4=-0,7.

Находим взаимную информацию, т. е. энтропию подчиненной системы: тг~. х= — г, [ойг[ — г. [ойгз — — ч(0,3)+ч(0,7) Рэ 088 (дв. ед). (18.5. 13) Для непосредственного вычисления полной взаимной информации формулу (!8.5.13) удобно записать в виде и м РН )г» к= 1' ~~~~~ Р[71ой —, ~[ 7 488 частная инеовмлция о система 18.81 18.6. Частная информация о системе, содержащаяся в сообщении о событии. Частная информация о событии, содержащаяся в сообщении о другом событии Р(х,!у ) 1у .+ х = У Р (х, ! у!) 1 о у Выражение (18.6.3) и примем за определение частной информации.

Характеристики

Список файлов книги