Кловский Д.Д. Теория электрической связи. Сборник задач и упражнений (1990), страница 13

С авннть его схему со схемой вычислителя, получен=0 . ной в задаче (3.5.4) (рь — корки уравнения Я(р) = ). 3.5.10. Покажите, что система (3.30) реализуется матричными уравнениями (3.21) и (3.22) с матрицами Глава 4. ОСНОВЫ ТЕОРИИ ПЕРЕДАЧИ ИНФОРМАЦИИ 4.1. КОЛИЧЕСТВЕННОЕ ОПРЕДЕЛЕНИЕ ИНФОРМАЦИИ. ЭНТРОПИЯ И ПРОИЗВОДИТЕЛЬНОСТЬ ДИСКРЕТНОГО ИСТОЧНИКА СООБЩЕНИИ Количество информации 1(а,)*, содержащееся в символе а», выбираемом из ансамбля (а,) (1=1,2,3,,К, где К вЂ” объем алфавита) с вероятностью Р(а»), К причем 2 Р(а,) =1, оп>ределяется как ! ! Основание логарифма в (41) может быть произвольным, оно определяет лишь систему единиц измерения количества информации.

Чаще всего Прн этом информация измеряется в двоичных единицах (бнтах). Одна двончная единица информации — это палачества информации, содержащееся в одном нз двух выбираемых с равной вероятностью символов, Среднее количество информации Н(А), прнходящееся на один символ, выдаваемый дискретным источником незавнснмых сообщений с объемом алфавита К, можно найти как математнческое ожнданне дискретной случайной величины 1(а,), определяющей количество ннформацнн, со»держащсеся в одном случайно выбранном символе (знаке). Эта величина называется энтропией источника независимых сообщений. Одной нз информационных харантернстнк дискретного источника является нзбыточность Избыточность источника зависит как от протяженности статистических свя. зей между последовательно зыбнраечычн снмзолачя (памятн источника), так н от степени неравновероятностн отдельных символов. Если источник без памяти (последовательно передаваемые символы независимы), все символы равноверонтны (Р(а,) 1/К), то Н(А) =Н„ „ (А) н нзбыточность м=о.

ч Эта характеристика определяет информативность выбора символа для чнеподготовленного» получателя н совершенно не учитывает как смысловое содержание, так н субъективную ценность передаваемых сообщений. 63 (4 5) Н'(А) =ииН(А) =Н(А)/Тир, где 7,„— средняя длительность одного символа. Характеристику Н'(А) называют производительностью дискретного источил.

ка. Источник называется стационарным, если опвсываюцгве его вероятностные характеристики ве меняются во времени. Задачи 4.1.1. Источник сообщений выдает символы из ансамбля А= =(а,) (здесь 4=1, 2, 3, 4) с вероятностями Р(а,) =0,2; Р(а!) = =03; Р(а,) =04; Р(аз) =0,1. Найти количество информации, содержащееся в каждом из символов источника при их независимом выборе (источник без памяти).

Вычислить энтропию и избыточность заданного источника. 4.1.2. Решить задачу 4.1.1 для источников сообщений, распределен!ия вероятностей котсррых приведены в табл. 4.1. Таблица 41 3 ( 4 !с !! з а Вариант 0,5 10,06 0,1 0,1 0,1 0,2 0.35 0,15 0,02 0,5 0,03 0,15 0,04 0,12 0,04 0,1 0,2 О,! 0,3 0,25 0,15 0,24 0,28 0,05 0,22 0,15 0,06 0,24 0,18 0,38 0,1 0,06 0,02 0,02 0,4 0,25 0,05 О,З 0,03 0,26 0,09 0,05 0,16 0,1 0,09 0,22 0,4 0,18 0,1 0,1 0,07 0,06 0,05 0,04 0,1 0,25 0,15 О,!5 0,3 0,05 0,1 0,05 0,04 0,0! 0,2 0,03 0,07 0,5 Р(а,) Р(лз) Р(оз) Р(ад Р(ан) Р(ан) Р(аю Р(ан) 0,04 0,03 0,15 0,04 0,12 О,! 0,02 0,15 О,!5 0,07 0,05 0,29 0,19 0,04 4.1.3.

Показать, что для источника без памяти с объемом алфа!вита К энтропия Н(А) имеет максимальное значение Н„„(А) = =!ОпК при равноввроятных символах. 4.1.4, Показать, что при равных объемах алфавитов К энтропия дискретного источника с памятью Н(А/А') не превышает энтропию дискретного источника без памяти Н(А). 4.1.5, Память двоичного стационар~ного источника с символами 0 и 1 простирается лишь на два соседних символа и, следовательно, дискретная последовательность символов, выдаваемых источником, описывается простой целью Маркова с матрицей переходных вероятностей: ! Р(1/1') Р(1/О') ~ Р(0/1') Р(0/О') ~ где Р(аг~(а'!) — вероятность символа аг при условя~и, что ему предшествует символ а',.

64 Если в единицу Времеви источвяк выдает в среднем р, символов (скорость источника о,), то среднее количество информации, создаваемое источником в едивицу времеив, Полагая, что Р(1(1') =0,9; Р(0(Г) =0,1; Р(1(0') =0,7, найти энтропию источника и его избыточность. Найти энтропию и избыточность двоичного источника без памяти, но с теми же значения!ми вероятностей передачи символов. 4.1.5. Реш~ить задачу 4.1.5 для дисгсретных стационарных источи!иков, заданных матр~ица~м~и переходных вероятностей: 3) 2) 0,75 0,4 0,25 0,6 5) /1,65 0,65~ ,0,35 0,35~ 8) 0,71 0,82~ 0,29 0,18~ 11) )0,59 0,5( (0,4! 0,5~ 1) '0,98 0,7( (0,02 0,3)' 4) 08 07 7) '0,35 0,35 ,0,65 0,65 10) ~0,97 0,82( )0,03 О,!8~ 0,6 0,5 0,5 0,9 0,5 0,1 9! 0,7 л,нн/ 0,3 0,44 12) 1 1 4.1.7.

Стационарный источнн!к выдает за время Т=)Оз с двоичными посылками длительности т=!О мс 1О' бит информации. За какое время и каким количествоч двоичных посылок можно передать тот же объем информации, ес.!и соответствующей обработкои полностью устранить избьпочиость источникау Определить избыточность ~источника.

4.1.8. Нанти максимальное количество информации, которое содержится в квантованном телевизионном сигнале, соответствующем одному телевизионному кадру при 625 строках разложения, при уело!вии, что сигнал, соответствующий одной строке изображения, представляет собой последовательность 833 (при отношении сторон кадра 4/3) статистически нева!висимых случайных по амвлвтуде импульсов, каждый из которых с равной вероятностью принимает одно из 16 значен!ий.

Найти избыточность телевизионного сигнала, если фактичеоки кадр изображения с 16 градациями уровней содержит 9,37 10' бит информации. 4.1.9. Согласно экспериментальным данным безусловные вероятности букв Русского алфзвита характеризуются табл. 4.2. Найти энтропию,источника, выдающего текст из этих букв, при отсутствии статистических связей между буквами. Вычислить избыточность источника, выдающего русский текст, обусловленную неравновероятиостью выбора букв, а также и пх статистическими связями (памятью источника), если по экспериментальным данным энтропия источника Н(А) =1 бит/символ. 4.1.10.

Решить задачу 4.1.9 для источника, выдающего текст пз букв английского алфавита, безусловные вероятности которых приведены в табл. 4.3. При вычислении избыточности текста принять во внимание, что с учетом 8-буквенных сочетаний энтропия Н(А) =1,86 бит/символ. 4.1.11. Напряжение на выходе ювантующего устройства может принимать одно из 1? дискретных значений с шагом квантования ! — ЬЗ 65 Таблица 42 зи иногда прибегают к перекодировке, которая сводится к сопоставлению блока из л)1 символов первичного алфавита новому символу «укрупненного» алфавита.

Показать, что этот способ устранения связей символов не изменяет избыточность сообщений. 4.1.14. После устранения статистических связей символов укрупненный алфавит характеризуется, восемью символами, вероятности которых даны в табл. 4.5. Показать, что ис!пользование неравномерного двоичного кода, указанного в табл. 4.5 (это экономный код Хаффмена, который более вероятным символам сопоставляет более коротжие кодовые ком!бннации), позволяет почти полностью устран!ить избыточность. Буква Версктяссть Вероятность Буксе Берса!якось Буква Таблица 45 Номер самасла Вероятность Код Таблица 43 Вероятность БукВа Буква Вероятность Версягяссть Буква я Ь Ь х 1 4.2.

КОЛИЧЕСТВО И СКОРОСТЬ ПЕРЕДАЧИ ИНФОРМАЦИИ ПО ДИСКРЕТНОМУ КАНАЛУ. ПРОПУСКНАЯ СПОСОБНОСТЬ ДИСКРЕТНОГО КАНАЛА. ТЕОРЕМА КОДИРОВАНИЯ ДЛЯ КАНАЛОВ С ШУМАМИ А, На вход ивантующего устройства поступают независимые временные отсчеты (с интервалом Л(=0,3 с) сигнала с экспоненциальной плотностью вероятности мгновенных значений иг!(х) = (2а)-!еуьр( — (х)1(а), где а=0,5 В, х„„=1,6 В, 5=0,2 В. Определить энтропию нвантованного сигнала, его избыточность, скорость создания информации на выходе квантующего устройства (!производительность). 4.1.!2. Решить задачу 4.1.11 для сигнала с плотностью вероятности мгновенных значен!ий ш! (х) = (2яа)-е ь ехр[ — хз/(2а)) для вариантов числовых значений, заданных в табл.

4А. Таблица 44 Если на вход канала с шумами поступают символы Ьг (1=1, 2, ...,т), а с выхода снимаются символы б, (1=1,2, ...,т'), то условные вероятности переходов Р(бе)Ь,), а также и апостериорные вероятности Р(Ьг(Ь!) удовлетворяют соотношениям *, 0<Р(бе(Ьг) (11 О~Р(Ьг(бу) <1.

(4.6) Это означает, что при фиксированном символе б, нельзя с полной определен. пастью утверждать, наной символ Ь, передавался Следовательно, часть инфор нации, содержащейся в символе Ьс, оказалась потерянной. Среднее количество информации, теряемой при передаче произвольного символа по каналу без памяти, 9 в з 19 11 Верняке у (В(В) = и (В)В) = — х, 'х, 'Р (ьг (ьу) Р (ьу) 198 Р (ь! (ьу) = 0,5 0,2 0,8 2,4 0,1 0,3 0,3 0,8 4,8 3,2 0,6 0,4 0,2 1,6 0,2 0,2 3,2 0,4 0,9 0,7 4 6,4 0,5 0,8 0,2 0,4 0,05 0,5 1,6 0,2 1=1 1=! а, Вя Хмшс, В сг, В 0,7 5,6 0,7 0,5 4,8 0,6 яг' яг = — Х Х ! 1 1=1 Р (Ь! Ьу) ' ' ' Р(Ь-у) (4.

7) 4.1.18. Для устранения статистических связей символов источника (их «декорреляции») в целях повышения эффективности свя- 66 " Лля канала ЕСЛИ 1=1. 3" без шз мои зта вероятности разны О, ес и у чьи н равны 1, Пробел о е а и т н с р в Пробел е о а а г з О, 175 0,090 0,072 0,062 0,062 0,053 0,053 0,045 0,040 0,038 0,035 0,2 О,!05 0,072 0,065 0,063 0,058 0,055 0,052 0,052 к М д и у ы з ь, ъ б г Ь с и га Р р 0,028 0,026 0,025 0,023 0,02! 0,018 0,0! 6 0,0гб 0,014 0,014 0,013 0,047 0,035 0,028 0,023 0,023 0,023 0,021 0,0!8 0,012 ч й х ж Ю Ш ц 1Ц Э 0,012 0,010 О, 009 0,007 0,006 0,006 0,004 0,003 0,002 0,002 0,012 0,01! 0,010 0,008 0,003 0,001 0,00! О, 00! 0,001 0,6 0,2 О,! 0,04 0,025 0,015 0,01 о,о! 1 ю 100 1000 !ОООО 100000 1000000 10000000 (4 14) Н'(А) <С, Р (Ь;, Ьу) (ой Р (Ьы Ь1) 1=~ г=' Р (Ь;) Р (Ьу) (4.

8) 1(В, В) =1(В, В) =Н(в) — Н(В)В). (4 9) Величина Н(8) =1(В) (4 10) (4.! 6) и, —.— о„Н1 (А) — в, (4.!7) п=Н(А) кодовых символов. Задачи~ (4.12) С=пчшах((В, В), (4!3) 68 Эта величина называется ненадежностью канала и показывает степень неопределенности последовательности входных символов В при условии, что при. ната последовательность В. Средним количеством переданной по каналу информации на один символ называется разность между количеством информации на входе канала 1(В) н количеством информации, потерянной в канале, 1(В)В). Для источника и канала без памяти 1(В, В) =1(В) — 1(В!В) = Н(В) — Н (В)й) = Это среднее количество информации на один символ, содержащееся в выходной последователшюсти В относительно входной последовательности В. Поскольку 0(Н(В)в)(Н(В) (условная энтропия никогда не превосходит безусловную), то 0(1(В, В) '1(В).