Васин В.И. Информационные технологии в радиотехнических системах. Под ред. И.Б.Федорова (2-е издание, 2004) (1092039), страница 128
Текст из файла (страница 128)
Под символами а, можно подразумевать символы источника, информационные последовательности, сигналы на входе линии связи, а под символами у, — символы закодированных сообщений, кодовые последовательности, сигналы на выходе линии связи. Рассмотрим простейший случай, когда символы а„! = 1, ..., т, взаимно независимые. При этом источник А полностью описывается илриориыми вероягносгями р(а,), ! = 1,, т, которые и характеризуют первоначазьное незнание (ггервоначазьную неопределенность) о появлении конкретного символа а, на входе блока. При наличии помех между символами а, и >, нет однозначного соответствия, т. е.
символ а, может перейти в любой символ у, с некоторой условной вероятностью р(у,!а,), которую мозкно вычислить, если известен механизм такого перехода Зная вероятности р(а,) нр~у,!а,), ! = 1, ., т, у = 1, ..., и, негрулно определить вероятности р(а,(ге) появления на входе блока символов ае ! = 1, ..., т, при условии, что на выходе блока наблюдался сиьгвол уе Эти вероятности, называемые огюотериориыми, характеризуют оставшееся незнание (оставшуюся неопределенность) о появлении на входе символов ае г =. 1, ..., т, при наблюдении символа й на выходе блока. Таким образом, полученная информация о символе а, при наблюдении символа у, приводит 654 тат Доя есме форм ч«неа схо ю дит я* к итмеиению вероятнаст» появления впивала и, от ее априорною значения р(и,) к ее апостериорнпму значению р(иду,).
При этом представляет» обоснованным тять эа количестгга информации а сичволе и„ аодержащсйая в символе ус накоторую функцию талыго всроятностеи р(и,) и р(и, )у,) !(аоУ,') — Г"(Р(и,),Р(и,У,)]. '! акое определение «оличсства информации, и» связанное с фиэиче«кай природой сообщения, позволяет, в ~естности, сравниват~ различные аистемы связи по эффективности В качестве функции Гулобно испольэоевгь логарифм отношения апостериорной вероятности р(а,]у,) к априорной р(и 1, т е определить 1(аду,) как р(,)у,) 1(иву,)=1ай — '' ' р(и,) (10 1) При таком задании количество информации обладает свойством алдитннности' количеатво информации о символе и,(в дальнейшем для общности рассуждения — событии и ), дтк гавлясмои лвумя нсзав ми мелами(событнями)у их, определяглся выражением (10 2) Пад у т,) =1(илу)-;'Г(итц) Эта свойство карашо согласуется с нннтунтивнымя понятием информации.
Основание логарифча в выражении (10 1) может быть любым. Ог него зависит единица измерения калнчестю инфарчаиии В технических приложениях обычна испояьзуют основание, равное 2. При этан количество информации Г измеряется в деоичлыт едьннлик или батик При дровсдении математических выкладок зачастую удобно иольэаваться натуральными логарифмами Соответственно, информация измеряется в катуритьлыт единнЛит, или натах Ввеланная величина Г(ид у) обладаег «ажным свойством симмшрии по отношению к и, н уг р(и,]у )р(у,] р(иоу,) р(у,',и) 1(и„у,)=)об ' — ' — '=]ой- — — "' =1об ' ' —.1(ут',и,), р(и,)р(у,) р(и )р(у,) р(ут) (103) т. е.
инфармапи», доставляемая аабыгием у, о событии и„равна информации, доставляемой событием и, а собьгтии у, . Поэтому Яиь у,) называется еэагигнай информанигй двух случайных собьпи» относительно друг друга. 655 10 Окгйармаииаккме«ариктеристеки систем переда ш илформаяии (!Од) Из соотнопюния (!О 3) следует, что если собьггия а, ну статистически независимы, то 1(а„у) = О, т. е. независимые события не несуг друг о друге никакой информации.
Взаимная информация при фиксированной вероятности р(ц,) принимает максимальное значение, когда апостериорная вероятность р(а,)у,) = 1, т. е. ко>лв наблюдаемое собьп'ие у, однозначно определяет ы>бытие и, 1!ри >том 1(аду,) .. 1(п,) = — !ойр(а,). Величина 1(о,) называется спаси>еенкий информацией события ак Рю можно интерпретировать как количество информации. которое доставляет сабы>ие и, или лк>6>ое другое, однозначно связанное с ним. Собственная информация все>дв является неотрицательной величиной, причем чем менее веров>но событие, тем она болыде. Взаимная информация может быть как положителыюй, так и отрицательной величиной.
Пусть ик у, и с> — три статистически зависимых собьггн» Предположим, что событие «, известно Количество информации о событии ак доставляемое событием у, при условии. что з> известно, называется условной а>иимиай ииформииией Она определяется так же, как и взаимная информация (см. (!0.1)), оливка априорная н апостериорная вероятности должны быль взяты при условии =,, т, е. 1(ц„у, 1я,) = 1ой-- р(а,! у,«„) р(а, !з,) П0.5) Поду, 1з,).--!обр(п ! «,) =.1(п )я ) (10.6) Величина 1(а,!«,) называется услоекаи собственной икс)>ормаг(ией. Ес моясно интерпретировать как количество информации, доставляемое событием п, прн извес>ном событии -, илн «ак количество информации, которое должно доставляться некоторым другим событием для однозначного определения собьпия ц, прн известном «,. Покажем, что взаимная информация удовлетворяет свойству аддит ивности Пусть а„ у, и з, — три статистически зависимых события.
Тогда количест'во информации о событии ц„ которое доставляют события >, и «, будет равно 656 Из (10.5) следует, что условная взаимная информация при фиксированной вероятности р(акя>) принимает максимальное значение, когда Р(п !У>г>) = 1. Прн этом (!О 7) Таким обрюои, количество информации о событии ач которое лоетагшяют события у, и гн равно сумме информации, поставляемой ул и информации, доставляемой г, пр известном событии у, Вели события у и г, статистически нешяисимы.то (10.7) переходит в(10.7).
Анаюгично можно покаиаь, что 1(ад у, г, ) = Ца„г,) -ь 7(ай у, ~ г, ). Используя соотношения (!0.1), (10.3), (10 4) и (10 б), можно взаимную информацию записать в одной из следуюш к форм' где 1(а у,) = — (обр(а„у,) — собственная информация сложнопз сабы тня а,у, Соотношение (1О.й) можно интерпретировать следующим образом. Взаимная информации 1(а„у,) равна разности межлу количествами ин- формации, требуемой для определения а, до и после того, кжг становится известным ус Нетрудно пояснить и соотношения (10 9) и (! 0 10). На практике наибольший интерес представдяю.
не взаимная информация (10 1), а количество информапни о множестве Л перелаввечых символов, когорте в среднем содержится в множестве У ори нимаеиык символов 7(Азу)=ХЯр(а, у,)7(а;у,)= Йдр(а„у,)(ой ' ' ((ОАН р(а,!у,) Величина 1 (А; У) назыеается среднем взаимной внформсг(ией Нетрудно по- катать, что 657 !07 Келще«ф рмавяяеов рет хе Ние а р(а, ~у,г,) р(а !у,г„)р(а, !у,) 1(ару,г,)-1ой ' ' — '=1ой р0",) р(а,)р(а, Ь,) р(щЬ,) р(щ!у, ) =Ьй — — 'ь1ой- '" ' =7(а„у,) 1(ойг,'у,) р(а,) р(а,!у,) 1(айу,)=На,) — ((а,,'у,), 7(а„у,)-1(у,) -1(у, ,'а ); Х(аду,)=!(а,) ь((у ) ((ау,'1, ((А, У)=1(У!А)жО; !(А!У2)--1(А(У):((А(2!У) =1(А,У) -1(А(У!В).
(10 8) (10.9) (10.10) !О Информационные характеристики оттем передачи информации Иа практике также вызывает интерес не собственная информация (10.4), а средняя собственная информация !(А) = 2. р(а )1(а,) = — яр(а ) !ой р(а ) т Н(А). (10 12) Она характеризует количество информации, которое в среднем необходимо лл» определения любого символа из множества А возможных передаваемых символов. Выражение (10.12) идентично выражению для энтропии системы в статистической механикс. Поэтому величину ((А) называют энтропией дискретного источника А и обозначают Н(А). Чем больше энтропия Н(А), тем более неопределенным является ожидаемый символ.
Поэтому энтропию можно рассматривать как меру неопределенности символа до того, как он был принят Из выражения (10.12) следует, что Н(А! > О, т, е, энтропия является неотрицательной величиной. Она обращается в нуль, когда одна из вероятностей р(а,) равна единице, а остальные — нулю. Зтог результат хорошо согласуется с физическим смыслом. Действительно, такая ситуация возникает, например, когда передается только один символ. Поскольку он заранее известен, то неопределенность источника равна нулю и с появлением символа потребитель не получает никакой информации.
Энтропия удовлетворяет неравенству (10.13) Н(А) <!ойт, причем знак равенства имеет место, когда р(а,) = 1гт,! = 1, .... т, где т— число возможных событий а, (число различных символов, сообщений и т. п.). Это свойство можно доказать, используя неравенство (! 0.14) 1и ы < со — 1. Рассмотрим разность 1 Н(А) -1ойт =),р(а )1ой — )„р(а )1ойт = 'р(,) 1 1 =2.р(а,)1ой =Ер(а)йз !ойс тр(а,) ем ' тр(а,) Учитывая неравенство (10.!4), находим Н(А) — !ой т < 2,р(а,)( — 1/!ой е = ~~ — — р(а,)~!обе = О.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
