Теория вероятности. Вентцель Е.С (4-е издание) (1082431), страница 81
Текст из файла (страница 81)
ед). Г! р им е р 2. Определить энтропию системы, состояние которой описывается прерывной случайной величиной Х с рядом распределения 1„, ) хг р! 0,0! 0,01 0,0! 0,01 0,96 Формула (18.2.2) (нли равносильная ей (18.2.! О) ) служит для непосредственного вычисления энтропии, Однако при выполнении преобразований часто белее удобной оказызастсз другая форма записи энтропии. а именно. представление ее в виде математического ожидав и'.
Н(Х) =Л4( — !оеар(Х)1, (18.2.11) Решение. Н(Х) =4Ч(00!)+ч(096) 0322 (дв. ед), Пример 3. Определить максимально возможную энтропию системы, состоящей из трех элементов, каждый из которых может быть в четырех возможных состояниях. р е ш е и не. Общее число возможных состояний системы равно и=4 4 4=-64. П р и и е р 4. Определить максимально возможную энтройню сообщению, состоящего из пяти букв, причем общее число букв в алфавите равно 32. Решение. Число возможных состощшй системы и=-32'.
Макснмааьно возможная энтропия раааа 5 1оя 32 = 25 (дв. ед). ЭНТРОПИЯ СЛОЖНОИ СИСТЕМЫ 1а.з! где !ойР(Х) — логарифм вероятности любого (случайного) состояния системы, рассматривземый как случайная величина. Когда система Х принимает состояния хп .. „х„, случайная величина !ОнР(Х) принимает значения: ! Он рн !ой рт... „)ои р„. (18.2.12) Среднее значение (математическое ожидание) случайной величины — !ОКР(Х) н есть, как нетрудно убедиться, энтропия системы Х. Для ее получения значения (18.2.12) осредняются с «весами», равными соответствующим вероятностям ро р, ..., р„.
Формулы, подобные (18.2.11), где энтропия представляется в виде математического ожидания, позволяют упрощать преобразования, связанные с энтропией, сводя нх к применению известных теорем о математических ожиданиях. !8.3. Энтропия сложной системы. Теорема сложения энтропий На практике часто прихолится определять энтропию для сложной системы, полученной объединением двух или более простых систем. Под обаединеиием двух систем Х и У с возможными состояниями хн ..., х,; у,, ..., у понимается сложная система (Х, У), состояния которой (хо у ) представляют собой все возможные комбинации состояний хн у! систем Х и 1'.
Очевидно, число возможных состояний системы (Х, У) равно а)Ст. Обозначим Рг! вероятность того, что система (Х, У) будет в состоянии (хо уг): Р,; = Р((Х х,) (У у.)). (18.3.1) Вероятности Р,у удобно расположить в виде таблицы (матрицы) х,. Рм Рю У1 Уа 22 4!6 основнын понятия теопнн инеопмлпни !гл. !а Найдем энтропию сложной системы. По определению она равна сумме произведений вероятностей всех возможных ее состояний на их логарифмы с обратным знаком: ч т (.) ХХ а (1 8.3.2) г=! г=! или, в других обозначениях: Н(Х, !') — ~ ~~П ~т)(Р ) (18.3.2') Энтропию сложной системы, как и энтропию простой, тоже можно записать в форме математического ожидания: Н(Х, У) = М[ — 1опР(Х, У)), (1 8.3.3) Р(Х, У) =Р(Х) Р(У), откуда 1од Р(Х, У) =!оп Р(Х)+ !од Р(У). Подставляя в (18.3.3), получим Н (Х, У) = М ( — 1оп Р (Х) — !оп Р (У)), Н (Х, У) = Н(Х)+ Н(У), нлн (1 8.3.4) т.
е. при объединении независимых систем их энтропии складиваюпгся, Доказанное положение называется т е о р е и о й с л о ж е н и я энтропий. Теорепа ело>копия энтропий может быть легко обобпгепа !ы произвольное число независимых систем: Н(Х,, Х,, ..., Х,) = ~ Н(Х„). (1 8.3.5) Если обьедшшсмыс системы за!виспа!и, простое стожение энтропий у!хе неприменимо.
В этом слу ые энтропия сложной спстсмь; меньше, чем сумма эн! репин ее составных частей. Чгобы найти энтропию системы, составленной иэ зависимых элем=и!оз, нужно эасстп новое понятие условной энтропии. где 1оиР (Х, У) — логарифм вероятности состояния системы, рассматриваемый как случайная величина (функция состояния). Предположим, что системы Х и У независимы, т.'.е. принимают свои состояния независимо одна от другой, и вычислим в этом предположении энтропию сложной системы. По теореме умножения вероятностей для независимых событий !Зл! УслОВнАЯ энтРОпиЯ. ОБъединение ВАВисимых систем 471 !8А. Условнаи энтропия, Объединение зависимых систем Пусть имеются две системы Х и У, в общем случае зависимые. Предположим, что система Х приняла состояние хн Обозначим Р(у, !х1) условную вероятность того, что система У примет состояние у! при условии, что система Л' находится в состоянии х,: Р(уг!хг)=Р(У у !Х х). (18.4.1) Определим теперь условную энтропию системы У при условии, что система Х находится в состоянии х1.
Обозначим ее Н(У!х1). По общему определению, имеем: Н(У1хг) = — ь Р(у !х1) !ОдР(у)~х1) 1=1 нли Н ( У ! х,) = ~П~ ъ) (Р (у; ! х,) ). у=! формулу (18.4.2) можно также записать в форме математического Н(У) х,) =- 1)4„[ — !об Р(У (х1)), (18А.З) где знаком 1И обозначено условное математическое ожидание велил! чины, стоящей в скобках, при условии Х хн Условнзя энтропия зависит от того, какое состояние х1 приняла система Х; для одних состояний она будет больше, для другнх— меньше, Определим среднею, или полную, энтропию системы !' с учетом того, что система может принимать разные состояния.
Для этого нужно каждую условную энтропию (18.4,2) умножить на вероятность соответствующего состояния р, и все такие произведения сложить. Обозначим полную условную энтропию Н(У!Х)! л Н(у~Л)= У р1Н(у!х1) (! 8.4А) 1=! или. пользуясь формулой (!8.4.2), л л! Н(У!Х) — — — ~ р, У РЬ1)х1)!о "Р(у !х).
1=1 '/=! Внося р! под знак второй суммы, получим: л ~л Н(У)Х)= — ~~'„~, ргР(у~~!х1)!ОВР(у)!х1) (18.4.5) 1=! 1=1 и.чи Н ( У ! Х) = ~а ~! р 1Т! (Р (у! ! х 1) ). 1=! 1=1 Но по теореме умножения вероятностей р, Р(у.)х1)=-Р,1, 478 основные понятия теснин инеозмдции !гл. га следовательно, Н(У)Х)= — ~~'„„' ~ РН?АР(у>~хг). (18А6) ,Г,? 1 Выражению (18.4.6) тоже можно придать форму математического ожидания: Н(У/Х) = М [ — ?оеР(У!Х)). (1 8,4.7) Величина Н(У/Х) характеризует степень неопределенности системы У, остающуюся после того, как состояние системы Х полностью определилось. Будем называть ее полной условной энтропией системы У относительно Х.
П ри м е р 1. Имеются две системы Х и ?; объединяемые в одну (Х,?'); вероятности состояний системы (Х, У) заданы таблицей Определить полные условные знтропии Н(У!Х) и Н(Х! К), решение. Складывая вероятности РН по столбцам, получим вероятности р Р(Х л!): р~ 01! рз 07; рз 02 Записываем их в нижаей, лобавочной строке таблицы. Аналогично, складывая Ри по строкам, найдем: г 0,3; г 0,3, г 0,4 (г .
Р (?' у ) ) и запишем справа дополнительным столбцом. Леля Р, на р, получим таблицу условных вероятностей Р(у?~ к,); к, ук (( 0,7 0,2 0,7 1ал1 тсловнля энтпопия, овъединение зависимых систем 479 По формуле (1845') находим Н(У(Х). Так как условные энтропии прн Х х, и Х х, равны нулю, то Н(~1Х) =07~в(0'7)+и~07)+е(оуД Пользуясь таблицей 7 приложения, находим Н(Г1Х) хе 1,09 (дв. ед). Аналогична определим Н(Х1Г). Из формулы (18,4.5'), меняя местами Х и 1; получим Н (Х ) 1') = ~Ч ', е Ч < Р (х (у ) ).
)=1 Составим таблицу условных вероятностей Р(х, ~у ). Леля Р, иа е., получнас р 0,2 0,3 0,1 0,3 0 1 Г„„ Отсюда Н(Х1 )) =ОЗ~Ч~ОЗ)+ Ч~ ОЗ Я+04~„~ О4)+ "(О4)1 088 (Дв' ел) Пользуясь понятием условной энтропии, можно определить энтропию объединенной системы через энтропию ее составных частей.
Докажем следующую теорему: Если две системы Х и )г обьединяются в одн)е то энтропия обьединенной система равна энтропии одной иэ ее состасяих чагтт1 я э'г условная энтропая второй части отпосительно первой Н(Х, У) =Н(Х)+Н(У~Х). (1 8,4.8) Для доказательства запишем И(Х, Р) в форне математического ожи дания (18.3.3): Н(Х, у) =М( — 1оеР(Х, у)). По теореме умножения вероятностей Р(Х, У)=Р(Х)Р(У1Х), 480 ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ ИНФОРМАЦИИ !гл.
га следовательно, !ОЯР(Х, У)=!О8Р(Х)+!ОдР(У! Х), откуда Н(Х, У)=М[ — !ОиР(х)1+М( — !ОНР(У< Х)1 или, по формулам (18.2.11), (18.3.3) Н(Х, У)= Н(Х)+Н(У< Х), что и требовалось доказать. В частном случае, когда системы Х и У независимы, Н (У<Х) = =Н (У), и мы получаем уже доказанную в предыдущем и' теорему сложения энтропий: Н(Х, У)=Н(Х)+Н<У). В общем случае (18.4.9) Н <Х, У) <Н<Х)+Н<У). Соотношение (18.4.9) следует из того, что полная условная энтропия Н(У( Х) не может превосходить безусловной: Н(У! Х) <Н(У). (18.4.10) Неравенство (18.4.10) будет доказано в и' 18.6.
Интуитивно оно представляется довольно очевидным: ясно, что степень неопределенности системы не может увеличиться оттого, что состояние какой-то другой системы стало известным. Из соотношения (18.4.9) следует, что энтропия сложной системы достигает максимума з крайнем случае, когда ее составные части независимы. Рассмотрим другой крайний случай, когда состояние одной из систем (нзпример Х) полностью определяет собой состояние другой (У).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
