В.Н. Васюков - Теория электрической связи (1266498), страница 36

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 36)

Чтобы обеспечить выполнение всех требований,необходимо определить частное (индивидуальное) количество информации в сообщении выражением1log m  log m P(a) .P(a)Основание логарифма может быть произвольным и определяетлишь масштаб (единицу измерения). Общепринятым является основание 2, при этом единица называется битом103. Учитывая это, вдальнейшем всюду будем использовать двоичный логарифм безявного указния его основания.Поскольку событие, состоящее в выдаче сообщения a , случайно и происходит с вероятностью P (a) , количество информации,связанное с этим сообщением, также является случайной величиной.

Введем величинуI ( i )   log p( i ) ,называемую собственной информацией символа i .Информационная производительность дискретного источникахарактеризуется средним количеством информации на символ, которое определяется как математическое ожидание этой случайнойвеличины. Рассматривая для простоты источник без памяти, запишем среднее количество информации, приходящееся на один символ и называемое энтропией дискретного источника , в видеKH ( )    p(k 1103k )logp(k).(8.1)В литературе упоминаются единицы нат и хартли, соответствующиеоснованиям логарифма е и 10.2278.2.

Энтропия и информацияПример 8.1. Предположим, что передается сообщение о карте,вытащенной наугад из идеально перетасованной колоды в 32 карты(вероятность вытащить любую карту равна при этих условиях1/32). Очевидно, это сообщение несет количество информации,равное 5 битам. Если это сообщение разбить на два так, что вначале сообщается масть карты, а затем ее достоинство, то это количество информации будет передано частями – сначала 2 бита, затемеще 3. (Убедитесь, что это действительно так!) ◄8.2. ЭНТРОПИЯ И ИНФОРМАЦИЯРассмотрим основные свойства энтропии.1.

Энтропия любого источниканеотрицательна H ( )  0 .Это следует из того, что вероятность любого события неотрицательна и не превосходит единицы. Энтропия источника равна нулюв том случае, если один из символов имеет вероятность 1, а остальные – 0. Неопределенность, возникающая вследствие того, чтоlog p   при p  0 , может быть раскрыта с применением правила Лопиталя:log1/ plog q1/ q log e lim lim0.p0 1/ pq qq 1lim ( p log p)  limp 02.

При заданном объеме алфавита K энтропия максимальна,если все символы равновероятны p( k )  pk  1/ K .Доказательство состоит в нахождении условия максимума энKтропии при ограничении  pk  1 . Задачу поиска экстремумаk 1функции при наличии ограничения можно свести к обычному нахождению экстремума (без ограничения) другой функции, состоящей из двух слагаемых104. Первое слагаемое представляет собой внашем случае энтропию, которую необходимо максимизировать, авторое слагаемое равно нулю, когда выполняется ограничивающееусловие. Составим целевую функцию в видеKK( p1 ,..., pK )    pk log pk    pk  1 , k 1k 1104Этот метод называется методом неопределенных множителей Лагранжа.2288.

ОСНОВЫ ТЕОРИИ ИНФОРМАЦИИгде– неопределенный множитель Лагранжа, и запишем условие достижения ее экстремумаpi KK   pk log pk    pk  1   0 , i  1, K . k 1 k 1Решая уравнения относительно pi , получаем pi1 1 ln pi1 01  ln pi    0 ,ln 2 pi ln 2ln 2откуда pi  exp( ln 2  1) независимо от i , а это и означает равновероятность символов. Максимальное значение энтропии равноHmax  log K . В частности, при K  2 энтропия максимальна приp1  p2  1/ 2 и равна 1 биту. Таким образом, 1 бит – это количество информации, доставляемое одним из двух равновероятныхсимволов, вырабатываемых источником без памяти.Два источникаи , рассматриваемых в совокупности, характеризуются совместной энтропиейH ( , )   p( i ,ij )logjp( i ,j),где p ( i , j ) – совместная вероятность символов; суммированиепроводится по всем возможным значениям индексов.

Совместнаяэнтропия характеризуется свойством коммутативности H ( , )  H ( , ) , что прямо следует из равенства p( i , j )  p( j , i ) .Используя выражение для совместной вероятности, перепишемсовместную энтропию в видеH ( , )    p( i ) p(  p( i ) p(ijjij|i )logp( i )  p( i ) p(Заметим, что  p( i ) p(ji )log  p( i ) p( j|jij|i) j p( i ,jj||i )i )logj )  p( i ) ,p(j|i).тогда пер-вое слагаемое принимает вид  p( i )log p( i )  H ( ) , а второеiслагаемое представляет собой условную энтропию p( i , j )log p( j | i )  H ( | ) .ij2298.2. Энтропия и информацияТаким образом, совместная энтропияH( , )  H( )  H( | )  H( )  H( | ) .(8.2)Если источники статистически независимы, тоH( , )  H( )  H( ) ,что согласуется с интуитивным представлением об аддитивностиинформации от независимых источников.Рассмотрим более подробно понятие условной энтропии.Предположим, что имеется дискретный канал связи, на входе которого задан алфавит , а на выходе алфавит ; канал описывается условным распределением P( | ) .

Можно считать, что навходе действует источник с алфавитоми энтропией H ( ) , а навыходе – источник с алфавитоми энтропией H ( ) , причем этиисточники статистически связаны.Условное распределение P( | ) описывает вероятностнуюсвязь входных и выходных символов. Чем сильнее эта связь, темболее уверенно можно судить о входных символах на основаниинаблюдения выходных, тем лучше канал передает информацию.Количество информации в символе j относительно символа iопределяется выражениемp( i | j ).(8.3)I ( i ; j )  logp( i )В самом деле, если символы независимы, то p (i|j) p(i)и I ( i ; j )  0 (символ j не несет информации о символе i ).И, наоборот, при жесткой (детерминированной) связи между симp( i | j )  1 ,воламииочевидно,поэтомуj,iI( i;леj1 I ( i ) , т.

е. количество информации в симвоp( i )относительно символа i равно собственному количествуj) logинформации в символе i (или, что эквивалентно, в символе j ).Используя известные формулы для совместных и условных вероятностей, легко видеть, чтоp( i | j ) p( j )p( i , j )I ( i ; j )  log logp( i ) p( j )p( i ) p( j )2308. ОСНОВЫ ТЕОРИИ ИНФОРМАЦИИ logp(j|i ) p( i )p( i ) p( logp(j|i)p(j)Количество информации в символеjj) I( j;i).относительно символаравно количеству информации в символе i относительно символа j . Поэтому величина I ( i ; j )  I ( j ; i ) называется взаимной информацией указанных символов.Очевидно, в силу вероятностной связи входных и выходныхсимволов наблюдение выходной последовательности символов неснимает полностью неопределенности относительно переданногосообщения.

Иными словами, представляет интерес вопрос: каковаэнтропия входного алфавита при условии наблюдения выходныхсимволов? Очевидно, что чем меньше эта условная энтропия, темлучше канал передает информацию. Частное количество информации во входном символе определяется, как и раньше, но с заменойбезусловных вероятностей условными, усреднение же производится по всем возможным сочетаниям входного и выходного символов(по совместному распределению вероятностей):iL MH ( | )     p( i ,i 1 j 1j )logp(i|j).(8.4)Пример 8.2.

Предположим, что на входе двоичного каналадействует источник с равновероятными символами 0 и 1, а искажения символов при передаче происходят с некоторыми вероятностями p0  p( y  1| x  0) и p1  p( y  0 | x  1) .Найдем количество информации в выходном символе относительно входного. Безусловные вероятности выходных символовp( y  0)  p( y  0| x  0) p( x  0)  p( y  0| x  1) p ( x  1) p( y  1)  p( y  1| x  0) p( x  0)  p( y  1| x  1) p( x  1) 1  p0  p1;21  p1  p0.2Взаимная информация переданного символа x  0 и наблюдаемого символа y  0 равнаI (0;0)  log2(1  p0 )p( y  0 | x  0) log,p( y  0)1  p0  p12318.2. Энтропия и информацияаналогично взаимная информация переданного символа x  1 инаблюдаемого символа y  0 равнаI (1; 0)  log2 p1p( y  0 | x  1). logp( y  0)1  p0  p1Так же находятся два оставшихся количества информации:I (0;1)  log2 p0p( y  1| x  0), logp( y  1)1  p1  p0I (1;1)  log2(1  p1 )p( y  1| x  1). logp( y  1)1  p1  p0Особый интерес представляют некоторые частные случаи.Первый случай соответствует каналу без помех и характеризуетсявероятностямиТогда,очевидно,p0  p1  0 .I (0; 0)  I (1;1)  1 .

Поскольку энтропия источника равна 1 биту ивзаимная информация входных и выходных символов равна также1 биту при их совпадении, такой канал обеспечивает передачу информации без потерь.Второй частный случай имеет место при p0  p1  0.5 . ТогдаI (0; 0)  I (1;1)  I (0;1)  I (1; 0)  0 и канал не передает информации(такая ситуация называется «обрывом канала»). ◄Рассмотрим основные свойства условной энтропии.1. Если источники сообщенийиявляются независимыми,то условная энтропия равна безусловной:H( | )  H( ) , H( | )  H( ) .Действительно,еслиисточникинезависимы,тоp ( i | j )  p( i ) при всех i, j . Тогда выражение (8.4) можно переписать в видеL MH ( | )     p( i ,j )logi 1 j 1MНо  p( i ,j 1LH ( | )    p(i 1j) p(i )logi),p(LMi 1j 1p( i )    log p( i )  p( i ,j).откуда немедленно следуетi) H ( ) , что и требовалось доказать.2328.

Характеристики

Список файлов книги