Васюков В.Н. - Теория электрическо связи - Часть 3. Теория информации и теория помехоустойчивости (1275348), страница 2
Текст из файла (страница 2)
Предположим, что имеется дискретный канал связи, на входе которого задан алфавитΑ , а на выходе алфавит Β ; канал описывается условным распределениемP(Β | Α) . Можно считать, что на входе действует источник с алфавитом Α иэнтропией H ( Α) , а на выходе – источник с алфавитом Β и энтропией H (Β) ,причем эти источники статистически связаны.Условное распределение P(Β | Α) описывает вероятностную связьвходных и выходных символов. Чем сильнее эта связь, тем более уверенноможно судить о входных символах на основании наблюдения выходных, темлучше канал передает информацию. Количество информации в символе β jотносительно символа α i определяется выражением10I (α i ; β j ) = logp (α i | β j )p (α i ).(3)В самом деле, если символы независимы, то p (α i | β j ) = p (α i ) , иI (α i ; β j ) = 0 (символ β j не несёт информации о символе α i ). И, наоборот,при жесткой (детерминированной) связи между символами α i и β j , очевидно, p (α i | β j ) = 1 , поэтому I (α i ; β j ) = log1= I (α i ) , то есть количествоp (α i )информации в символе β j относительно символа α i равно собственному количеству информации в символе α i (или, что эквивалентно, в символе β j ).Используя известные формулы для совместных и условных вероятностей, легко видеть, чтоI (α i ; β j ) = log= logp (α i | β j ) p ( β j )p (α i ) p( β j )p ( β j | α i ) p (α i )p (α i ) p ( β j )= log= logp (α i , β j )p(α i ) p ( β j )p( β j | α i )p( β j )== I ( β j ,α i ) .Количество информации в символе β j относительно символа α i равноколичеству информации в символе α i относительно символа β j .
Поэтомувеличина I (α i ; β j ) = I ( β j ;α i ) называется взаимной информацией указанныхсимволов.Очевидно, в силу вероятностной связи входных и выходных символовнаблюдение выходной последовательности символов не снимает полностьюнеопределенность относительно переданного сообщения. Иными словами,представляет интерес вопрос: какова энтропия входного алфавита при условии наблюдения выходных символов? Очевидно, что чем меньше эта условная энтропия, тем лучше канал передает информацию.
Частное количествоинформации во входном символе определяется, как и раньше, но с заменойбезусловных вероятностей условными, усреднение же производится по всем11возможным сочетаниям входного и выходного символов (по совместномураспределению вероятностей):L MH ( Α | Β) = − ∑∑ p(α i , β j ) log p(αi | β j ) .(4)i =1 j =1Пример 2. Предположим, что на входе двоичного канала действует источник с равновероятными символами 0 и 1, а искажения символов при передаче происходят с некоторыми вероятностямиp0 = p ( y = 1| x = 0)иp1 = p ( y = 0 | x = 1) .Найдем количество информации в выходном символе относительновходного. Безусловные вероятности выходных символовp ( y = 0) = p ( y = 0 | x = 0) p ( x = 0) + p ( y = 0 | x = 1) p ( x = 1) =p ( y = 1) = p ( y = 1| x = 0) p ( x = 0) + p ( y = 1| x = 1) p( x = 1) =1 − p0 + p1;21 − p1 + p0.2Взаимная информация переданного символа x = 0 и наблюдаемогосимвола y = 0 равнаI (0;0) = logp ( y = 0 | x = 0)2(1 − p0 ),= logp ( y = 0)1 − p0 + p1аналогично взаимная информация переданного символа x = 1 и наблюдаемого символа y = 0 равнаI (1;0) = log2 p1p ( y = 0 | x = 1).= logp( y = 0)1 − p0 + p1Так же находятся два оставшихся количества информацииI (0;1) = log2 p0p ( y = 1| x = 0)= log,p ( y = 1)1 − p1 + p0I (1;1) = logp ( y = 1| x = 1)2(1 − p1)= log.p ( y = 1)1 − p1 + p0Особый интерес представляют некоторые частные случаи.12Первый случай соответствует каналу без помех и характеризуется вероятностямиp0 = p1 = 0 .Тогда,очевидно,I (0;0) = I (1;1) = 1 ,аI (1;0) = I (0;1) = 0 .
Поскольку энтропия источника равна 1 биту и взаимнаяинформация входных и выходных символов равна также 1 биту при их совпадении, такой канал обеспечивает передачу информации без потерь.Второй частный случай имеет место приp0 = p1 = 0.5 . ТогдаI (0;0) = I (1;1) = I (0;1) = I (1;0) = 0 и канал не передает информации (такая ситуация называется «обрывом канала»). ♦Упражнение. Рассчитайте для этих частных случаев, а также дляp0 = p1 = 0.25 условную энтропию согласно (4).Рассмотрим основные свойства условной энтропии.1.
Если источники сообщений Α и Β являются независимыми, то условная энтропия равна безусловной:H ( Α | Β) = H ( Α ) ,H ( Β | Α ) = H (Β) .Действительно, если источники независимы, то p (α i | β j ) = p (α i ) привсех i, j . Тогда выражение (4) можно переписать в видеL MLMi =1 j =1i =1j =1H ( Α | Β) = − ∑Но∑ p(α i , β j )log p(αi ) = − ∑ log p(α i ) ∑ p(α i , β j ) .M∑ p(αi , β j ) = p(αi ) , откуда немедленно следуетj =1LH ( Α | Β) = − ∑ p (α i )log p (α i ) = H ( Α) , что и требовалось доказать.i =12.
Если символы источников Α и Β жестко связаны, то условная энтропия равна нулю. В самом деле, при жесткой связи в выражении (4) некоторые условные вероятности равны 1, а остальные 0. Но как было показановыше, в этом случае сумма равна нулю.13Для условий примера 2 жесткая (детерминированная) связь входных ивыходных символов соответствует вероятностям ошибокp0 = p1 = 0 (илиp0 = p1 = 1 ).3. Условная энтропия входного алфавита относительно выходного характеризует передаваемую по каналу информацию следующим образом.
Если энтропия входного источника в отсутствие передачи равна H ( Α) , а послеприёма выходного символа она становится равной H ( Α | Β) , то, очевидно,среднее количество передаваемой информации на символ равно разностиI ( Α, Β) = H ( Α) − H ( Α | Β) .Если потери информации отсутствуют (канал без помех), то энтропияисточника после передачи равна 0, количество передаваемой информацииравно H ( Α) . Величина H ( Α | Β) , таким образом, характеризует потери информации в канале и называется ненадежностью [3].Заметим, что из выражения (2)H ( Α ) + H ( Β | Α ) = H (Β ) + H ( Α | Β) ,следуетI ( Α, Β) = H ( Α) − H ( Α | Β) = H (Β) − H (Β | Α) = I (Β, Α) .(5)При очень высоком уровне помех условные энтропии равны безусловным ( H ( Α | Β) = H ( Α) , H (Β | Α) = H (Β) ) и количество информации, передаваемой по каналу, становится равным нулю.4.
Из выражения для совместной энтропии H (Β | Α) = H ( Α, Β) − H ( Α) иH ( Α | Β) = H ( Α, Β) − H (Β) . Подставляя эти выражения в (5), получаем среднее количество передаваемой информации на символI ( Α, Β) = I (Β, Α) = H ( Α) + H (Β) − H ( Α, Β) .(6)Приведем выражение (6) к более удобному виду, для чего подставим внего формулы для вычисления безусловной и совместной энтропии.14L ML Mi =1 j =1i =1 j =1I ( Α,Β) = − ∑∑ p(α i , β j )log p(α i ) − ∑ ∑ p(α i , β j )log p( β j ) −L Mp(α i , β j )i =1 j =1p (α i ) p ( β j )L M+∑∑ p(αi , β j )log p(α i , β j ) = ∑ ∑ p(α i , β j )logi =1 j =1.(7)Основываясь на выражении (7), можно рассчитать скорость передачиинформации по каналу с шумами.
Для этого нужно разделить взаимную информацию (среднее количество передаваемой информации на символ) навремя передачи одного символа.11.3. Кодирование источникаРеальные источники редко обладают максимальной энтропией, поэтому их принято характеризовать так называемой избыточностью, определяемой выражением (буква κ читается «каппа»)κ=H max − H.H maxДля независимых источников (источников без памяти) избыточностьравна нулю (а энтропия максимальна) при равновероятности символов. Дляисточников с памятью избыточность тем больше, чем выше степень статистической зависимости символов в сообщении, при этом неопределенностьотносительно очередного символа в сообщении уменьшается, соответственноуменьшается и количество информации, переносимое этим символом. Например, в естественном английском языке после буквы “q” всегда следуетбуква “u”, поэтому при передаче такого текста буква “u” информации не несет.
(В реальном английском тексте могут встречаться аббревиатуры, например, “QWERTY”, а также иноязычные, например, французские слова, для которых указанная закономерность не выполняется).Если источник вырабатывает символы со скоростью vп = 1/ Tп , где Tп –время передачи одного символа, то производительность источника определяется как H ' = Hvп = H / Tпи имеет размерность бит/с.
Если количество15информации на один символ составляет при передаче по каналу величинуI ( Α,Β) , определяемую выражением (7), то скорость передачи информациипо каналуI '( Α, Β) =I ( Α, Β)бит/с.TпМаксимальная скорость передачи информации, которая может бытьдостигнута для данного канала, называется его пропускной способностьюC = max I '( Α,Β) бит/с.Заметим, что нахождение пропускной способности реального каналасвязи представляет собой сложную задачу.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
