Теория вероятности. Вентцель Е.С (4-е издание) (1082431), страница 80
Текст из файла (страница 80)
передавал всю поступающую информацию без залержек н искажений? Ряд аадач теории информации относится к определению объема аапоминающнх устройств, предназначенных для хранения информации, к способам ввода информации в эти запоминающие устройства и вывода ее для непосредственного использования. Чтобы решать подобные задачи, нужно прежде всего научиться измерять количественно объем передаваемой или хранимой информации, пропускную способность каналов связи и их чувствительность к помехам (искажениям).
Основные понятия теории информации, излагаемые в настоящей главе, позволяют дать количественное описание процессов передачи информации и наметить некоторые математические закономерности, относящиеся к этим процессам. !8.2. Энтропия как мера степени неопределенности состояния физической системы Любое сообщение, с которым мы имеем дело в теории.информации, представляет собой совокупность сведений о некоторой физической системе. Например, на вход автомагнзированной системы управления производственным цехом может быть передано сообщение о нормальном или повышенном проценте брака, о химическом составе сырья или температуре в печи.
На вход системы управления средствами противовоздушной обороны может быть передано сообщение о том, что в воздухе находятся две цели, летящие на опрелеленной высоте, с определенной скоростью. На тот же вход может быть перелано сообщение о том, что на определенном аэродроме в данный момент находится такое-то количество истребителей з боевой готонностн, илн что аэродром выведен иа строя огневым возденствнсм про~нянина, ь..н чгч и р,я н. .'..." лз, з -, '"з ~ ног|ил. жает полет с измененным курсом.
Любое из этих сообщений описывает состояние какой-то фнаической системы. Очевидно, если бы состояние физической системы было известно ззранее, не было бы смысла передавать соойценне. Сообцгение приобретает смысл ~олько тогда, когда состояние нстемы заранее неизвестно, случайно. Поэтому в качестве объекта, о котором передается пнформа.щя. мы б; дем ра смзтривать некоторую физическую систему Х, которая случайным образом мохгет оказаться в том или ином состоянии, т. с.
сис ему, которой заведомо присуща какая-то степень 470 ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ИНФОРМАЦИИ 1гл !з неон ре деле ни ости. Очевидно, сведения, получекные о системе, будут, вообще говоря, тем ценнее и содержательнее, чем больше была неопределенность системы до получения этих сведений («априори»). Возникает естественный вопрос: что значит «ббльшая» или «меньшая» степень неопределенности и чем можно ее измеритьу Чтобы ответить на этот вопрос, сравним между собой две си« стемы, каждой из которых присуща некоторая неопределенность. В качестве первой системы возьмем монету, которая в результате бросания может оказаться в одном из двух состояний: 1) выпал герб к 2) выпала цифра. В качестве второй — игральную кость, у которой шесть возможных состояний: 1, 2, 3, 4, 5 и 6.
Спрашивается, неопределенность какой системы большеу Очевидно, второй, так как у нее больше возможных состояний, в каждом из которых она может оказаться с одинаковой вероятностью. Может показаться, что степень неопределенности определяется числом возможных состояний системы. Однако в общем случае это не так. Рассмотрим, например, техническое устройство, которое может быть в двух состояниях: 1) исправно и 2) отказало. Предположим. что до получения сведений (априорн) вероятность исправной работы устройства 0,99, а вероятность отказа 0,01. Такая система обладает только очень малой степенью неопределенности: почти наверное можно предугадать, что устройство будет работать исправно. Прк бросании моне!ы тоже имеется два возьшжных состояния, но степень неопределенности гораздо больше.
Мы видим, что степень неопределенности физической системы определяется не только числом ее возможных состояний, но и вероятностями состояний. Перейдем к общему случаю. Рассмотрим некоторую систему Х, которая может принимзть конечное множество состояний: хп хм ... ..., х, с вероятностямн рн р,, ..., р„, где Р,=Р(Х х) — вероятность того, что система Х примет состояние х! (символом Х вЂ” х, обозначается событие: система находится в состоянии х,), Очевидно, „«! )з! — — 1. с=! Заппгпеы зтп данные в виде таблицы, где в верхней строке перечислены возможные состояния системы, а в нижней — соответствующие вероятности: ! х! х! ~ . . .
~ х,! О 471 энтвопия гэ.е1 Эта табличка по написанию сходна с рядом распределения п р ерывной случайной величины Х с возможными значениями х,, х,..., х„, имеющими вероятности р,, рю ..., р„. И действительно, между физической системой Х с конечным множеством состояний и прерывной случайной величиной много общего; для того чтобы свести первую ко второй, достаточно приписать каждому состоянию какое-то числовое значение (скажем, номер состояния). Подчеркнем, что для описания степени неопределенности системы совершенно неважно, какие именно значения х,, хт, ..., х, записаны в верхней строке таблицы; важны только к о л и ч е с т в о этих значений и их в ероятности.
В качестве меры априорной неопределенности системы (или прерывной случайной величины Х) в теории информации применяется специальная характеристика, называемая э н т р о п н е й. Понятие об энтропии является в теории информации основным. Энтропией системы называется суима произведений вероятностей различных состояний системы на логарифмы этих вероятностей, взятая с обратным знаком: л Н(Х) = — ~ р;)оп рг').
г=! Энтропия Н(Х), как мы увидим в дальнейшем. обладает рядом свойств, оправдывающих ее выбор в качестве характеристики степени неопределенности. Во-первых. она обращается в нуль, когда одно из состояний системы достоверно, а другие — невозможны. Во-вторых, при заданном числе состояний она обращается в максимум, когда эти состояния равновероятны, а при увеличении числа состояний— увеличивается. Наконец, и это самое главное, она обладает свойством аддитивности, т. е. когда несколько независимых систем обвединяются в одну, их энтропии складываются. Логарифм в формуле (18.2.2) может быть взят при любом основании а ) 1.
Перемена основания равносильна простому умножению энтропии па постоянное число, а выбор основания равносилен выбору определенной единицы измерения энтропии. Если за основание выбрано чнс. о о, .о; !, р.~ о . сея ппп !сх ед и чная» энтпопин, если 2 — о «двоичных единицах». На практике удобнее всего пользоваться логарифмами при основании 2 и измерять энтропию в двоичных единицах; это хорошо согласуется с применяемой в электронных цифровых вычислительных машинах двоичной системой с и!слепня. В далю ейшем мы будем везде, если пе о!оворено противное, под символом 1оа понимать двоичный гш!арифы.
') Зная минус перед суммой поставлен для того, чтобы энтропия была ьсл мстст!юй (ю!сээ и; поныне единицы н их логарифмы отрицательны). 472 ОснОВные понятия теОРии йгнФОРмации [Гл. ~а В приложении (табл. 6) даны двоичные логарифмы целых чисел от 1 до 100 г). Легко убедиться, что при выборе 2 в качестве основания логарифмов за единицу измерения энтропии принимается энтропия простейшей системы Х, которая имеет два равновозможных состояния: Р1 2 ~ 2 Действительно, по формуле (18.2.2) имеем: /! 1 1 11 И(Х) = — !х —, !Ои — + — !ои — !=!. 12 2 2 2! Определенная таким образом единица энтропии называется «двоичной единицей» н иногда обозначается Ь!! (от английского «6!вагу б!Я1!» — двоичный знак). Это энтропия одного разряпа двоичного числа, если он с одинаковой вероятностью может быть нулем или единицей.
Измерим в двоичных единицах энтропию системы Х, которая имеет и равновероятных состояний: хг х, х, ... х, Имеем: И(Х) = — п — !Ое — = — !Оя 1+ !Оп л 1 1 л л или (18.2.3) Н (Х) = !Оя я, т. е. вял!ронин системы с равновозжоэени,чи состояниями Равна логарир)жу числа состояний. Например, для системы с восемюо состояниями И(Х) = !Оя 8 = 3. Докажем, что з случае, когда состояние системы в точности известно заранее. ее энтропия равна нулю.
Действительно, в этом случае все вероятности ро Ре ..., Р. в формуле (!8.2.2) обрагцаются ') Логарвфкы дробей находятся вычкганнем, нзнрвкер: !оя 0,13 !оя 13 — !оя !00. Для нахождения логарифмов чисел с тремя зна1ащими цифрами можно пользоваться линейной интерполяцией. 473 ЭНТРОПИЯ 18.8! л Хр,=!. Пользуясь методом неопредеаенных множителей Лагранжа, будем искать экстремум функции: л л Р= — ~ Р, !о„Ра+Л ~ Рн (18.2.5) а=1 ' " ' 1=1 (18.2. 4) Дифференцируя (18.2.5) по рп ..., Р„и приравнивая производные нулю, получим систему уравнений: !оп р, + !оп е+ Л = О (! = 1, ..., и) или 1опра= — Л вЂ” !оке (1=1, ..., л), (18.2,6) откуда видно, что экстремум (в данном случае максимум) достигается при равных между собой значениях рн Из условия (18.2.4) видно, что прн этом ра = р1 = ° ° ° = Рл = — „ 1 (18.2.7) а максимальная энтроппя системы равна: ~ала» (Л ) !оК Н (1 8.2.8) т.
е. максимальное значение энтропии системы с конечным числом состояний рзюю логарифму ч, ела состояний и достигается, когда все состояния рзвновероятны. Вычисление энтропии по формуле (18.2.2) можно несколько упростить, если ввести в рассмотрение специальную функцию: л) (р) = — р !оп р, (!8,2.9) где логарифм берется по основанию 2. Формула (18.2.2) прнпимае1 зид: ('1') = л "1 (ра) 1=1 П8 2 !Оа в нуль, кроме одной — например рл, которая равна единице.
Член р„!оир„обращается в нуль, так как 1ои1=0. Остальные члены тоже обращаются в нуль, так как Дю р!одр =О. р.аз Докажем, что энтропия системы с конечным множеством состояний достигает максимума, когда все состояния равновероятны. Для этого рассмотрим энтропию системы (18.2.2) как функцию вероятНОСтЕй Р,, Рз, ..., Рл И НайДЕМ УСЛОВНЫЙ ЭКСТРЕМУМ ЭТОЙ ФУНКЦИИ при условии: 474 ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ИНФОРМАЦИИ 1гл. !а функция т)(р) затабулирована; в приложении (табл.
7) приведены ее значения для р от 0 до 1 через 0,01. П р и м е р 1. Определить энтропию физической системы, состоящей из двух самолетов (истребителе н бомбардировщика), участвующих в воздушном бою. В результате боя система может оказаться в одном нз четырех возможных состояний: 1) оба самолета не сбиты; 2) истребитель сбнт, бомбардировщик ве сбит; 3) истребитель не сбит, бомбардировщик сбит; 4) оба самолета сбиты. Вероятности этих состояний равны соответственно 0,2; 0,3; 0,4 а 0,1. Решение. Записываем условия в виде таблицы: х~ х~ хэ хз р~ 0,2 0,3 0,4 0,1 По формуле (18.2.10) имеем: Н(Х) =Ч(0,2)+Ч(0,3)+8(0,4)+ч(0,1). Пользуясь таблицей 7 приложения, находим Н(Х) =046И+05211+05288+03322 ж 1,85 (дв.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
