Скляр Б. Цифровая связь (2003) (1151859), страница 190
Текст из файла (страница 190)
Например, большая ли неопределенность существует для следующего символа последовательности СА(.1ЕОКХ1? М-кортеж с зависимыми символами содержит меньше информации или разрешает меньше неопределенности, чем кортеж с независимыми символами. Энтропией источника с памятью является следующий предел: (13.8) Н(Х)= 1пп Нм(Х). м -Ф Видим, что энтропия М-кортежа из источника с памятью всегда меньше, чем энтро- пия источника с тем же алфавитом и вероятностью символов, но без памяти. (13.9) Ни(М)с пвмятао < Нм(М) ч пает Например, известно, что при данном символе (или букве) "г(" в английском тексте следующим символом, вероятно, будет "ц". Следовательно, в контексте системы связи, если сказать, что буква "ц" следует за буквой "г)", то это дает незначительную дополнительную информацию о значении слова, которое было передано.
Можно привести и другой пример. Наиболее вероятным символом, следующим за буквами "гЬ", может быть один из таких символов: а, е, 1, о, ц, г и пробел. Таким образом, дополнение следующим символом данного множества разрешает некоторую неопределенность, но не очень сильно. формальная формулировка сказанного выше: средняя энтропия на символ М-кортежа из источника с памятью убывает при увеличении длины М. Следствие: более эффективным является групповое копирование символов из источника с памятью, а не кодирование их по одному. При кодировании источника размер последовательности символов, рассматриваемой как группа, ограничивается сложностью кодера, ограничениями памяти и допустимой задержкой времени.
Чтобы помочь понять цели, преследуемые при кодировании источников с памятью, построим простые модели этих источников. Одна из таких моделей называется Марковским исгпочником первого порядка (Вгзг-огдег Маг)гоч аоцгсе) [1). Эта модель устанавливает соответствие между множеством состояний (или символов в контексте теории информации) и условными вероятностями перехода к каждому последующему состоянию. В модели первого порядка переходные врроятности зависят только от настоящего состояния.
Иными словами, Р(Х„,(Х„Х, ь ...) = Р(Х„,~Х,). Память модели не распространяется дальше настоящего состояния. В контексте двоичной последовательности это выражение описывает вероятность следующего бита при данном значении текущего бита. Пример 13.2. Энтропия двоичного источника с памятью Рассмотрим двоичный (те. двухсимвольный) Марковский источник второго порядка, описан- ный диираммой состояний, изображенной на рис. 13!. Источник определен вероятностями переходов состояний Р(0[1) и Р(1[0), равными 0,45 и 0,05. Энтропия источника Х вЂ” это взве- шенная сумма условных энтропий, соответствующих вероятностям переходов модели. Р(110) = 0,05 Р(1!1) = 0,55 Р(О(О) 0,95 Р(ОИ) = 0,45 Рис.
13 1. Диаграмма переходов от саоволиил к со- сяювиию двл Марковской надели первого ларядка (13.10) где Априорная вероятность каждого состояния находится с помощью формулы полной веро- ятности. Вычисляя априорные вероятности с использованием переходных вероятностей, получим следующее: Р(0) = 0,9 и Р(1) = 0,1. При вычислении энтропии источника с использованием равенства (13.10) получим следующее: Н(Х) = [Р(О) Н(Х[О) + Р(1) Н(Х[1)) = Сравнивая этот результат с результатом примера 13.1, видим, что источник с памятью имеет энтропию ниже, чем источник без памяти, да.ке несмотря на то что априорные вероятности символов те же. Пример 13.3.
Коды расширения Алфавит двоичного Марковского источника (пример 13.2) состоит из О и 1, появляющихся с вероятностями 0,9 и 0,1, соответственно. Последовательные символы не являются независимыми, и для использования преимуществ этой зависимости можно определить новое множество кодовых символов — двоичные 2-кортежи (коды расширения).
Двоичные 2-кортежи Символ расширения Вероятность символа расширения 18 1 Мгточимки ОО 11 01 10 Н(Х) = Р(0)Н(Х[0) + Р(1)Н(Х[1), Н(Х[0) = -[Р(О[0) 1ойз Р(О[О) + Р(1[О) 1ойз Р(1[0)) Н(Х[1) = -[Р(0[1) !ойз Р(О[1) + Р(1[1) 1о81 Р(1[1)). Р(О) = Р(О[О)Р(0) + Р(О[1)Р(1) Р(1) = Р(1[О)Р(0) + Р(1[1)Р(1) Р(0) + Р(1) = 1 т(0,9)(0,286) + (0,1)(0,993) = 0,357 бнт(символ. Р(а) = Р((10)Р(О) = (0,95КО,9) = 0,855 Р(Ь) Р(1[1)Р(1) = (0,55)(0,1) 0,055 Р(с) = Р(0[1)Р(1) = (0,45К0,1) = 0,045 Р(п) = Р(1[0)Р(О) = (0,05)(0,9) = 0,045 Здесь крайняя правая цифра 2-кортежа является самой ранней. Энтропия двя этого алфави- та кодов расширения находится посредством обобщения равенства (13.10). где Х~ — расширение А-го порядка источника Х.
Более длинный код расширения, исполь- зующий преимушества зависимости соседствуюших символов, имеет следуюший вид. Двоичный 3-кортеж Символ расширения Вероятность символа расширения Ь с Н е У 8 Ь Используя снова обобщение уравнения (13ЛО), энтропию лля этого кода расширения можно найти как Н(Хэ) = 1,223 бит/выходной символ Н(Хз) = 0,408 бнт/входной символ.
Отметим, что энтропия односимвольного, двухсимвольного н трехсимвольного описаний источника (0,470„0,412 и 0,408 бит, соответственно) асимптотически убывает к энтропии источника, равной 0,357 бит/входной символ. Напомним, что энтропия источника — это нижний предел в битах на входной символ для этого алфавита (память бесконечна), и этот предел не может быть достигнут с помощью кодирования конечной длины.
13.1.2. Источники сигналов Источник сигнала — зто случайный процесс некоторой случайной переменной. Считается, что зта случайная переменная — время, так что рассматриваемый сигнал — это изменяюшийся во времени сигнал. Важными примерами изменяюшихся во времени сигналов являются выходы датчиков, используемых для контроля процессов и описывающих такие физические величины, как температура, давление, скорость и сила ветра. Значительный интерес представляют такие примеры, как речь и музыка.
Сигнал может также быть функцией одной или более пространственных величин (т.е. расположение на плоскости с координатами х и у). Важными примерами пространственных сигналов являются единичные зрительные образы, такие как фотография, или движущиеся зрительные образы, такие как последовательные кадры художественного фильма (24 кадра/с).
Пространственные сигналы часто преобразуются в изменяющиеся во времени сигналы посредством сканирования. Например, зто делается для систем факсимильной связи и передач в формате )РЕО, а также для стандартных телевизионных передач. 000 100 001 111 110 011 010 !01 Н(Хз) = Р(а) Н(Хз!а) + Р(Ь) Н(Хз)Ь) + Р(с) Н(Хэ)с) + РЯ Н(Хэ)з) Н(Хз) = 0,825 бит/выходной символ Н(Хз) = 0,412 бит/входной символ, Р(а) = Р(0)00)Р(00) = (0,95)(0,855) = 0,8123 Р(Ь) = Р(ЦОО)Р(00) = (0,05)(0„855) = 0,0428 Р(с) "- Р(40!)Р(01) = (0,95К0,045) = 0,0428 РЯ = Р(Ц11)Р(11) = (0,55)(0,055) = 0,0303 Р(е) = Р(Ц10)Р(!0) = (0,55)(0,045) = 0,0248 Р(/) = Р(0/! 1)Р(11) = (0,45)(0,055) = 0,0248 Р(8) = Р(0!10)Р(10) = (0,45)(0,045) = 0,0203 Р(Ь) = Р(ЦО!)Р(01) = (0,05)(0,045) = 0,0023 1 3.1.2.1. Функции плотности амплитуд Дискретные источники описываются путем перечисления их возможных элементов (называемых буквами алфавита) и с помощью их многомерных функций плотности вероятности (ргоЬаЬРйгу йепайу гцпсг)оп — ро() всех порядков.
По аналогии источники сигналов подобным образом описываются в терминах их функций плотности вероятности, а также параметрами и функциями, определенными с помощью этих функций плотности вероятности. Многие сигналы моделируются как случайные процессы с классическими функциями плотности вероятности и простыми корреляционными свойствами. В процессе моделирования различаются краткосрочные, илн локальные (временные), характеристики и долгосрочные, или глобальные.
Это деление необходимо, так как многие сигналы являются нестационарными. Функция плотности вероятности реального процесса может быть не известна разработчику системы. Конечно, в реальном времени для короткого предшествующего интервала можно быстро построить выборочные плотности и использовать их как разумные оценки в течение последующего интервала. Менее претенциозная задача — это создание краткосрочных средних параметров, связанных с сигналами. Эти параметры — выборочное среднее (или среднее по времени), выборочная дисперсия (или среднеквадратическое значение процесса с нулевым средним) и выборочные коэффициенты корреляции, построенные на предшествующем выборочном интервале.
При анализе сигналов входной сигнал преобразуется в процесс с нулевым средним путем вычитания его среднего значения. Например, это происходит в устройствах сравнения сигналов, используемых в аналого-цифровых преобразователях, для которых вспомогательная схема измеряет внутренние смешения от уровня постоянного напряжения канала передачи данных и вычитает их в процессе, извеспюм как авглонуль (ащохего). Далее оценка дисперсии часто используется для масштабирования входного сигнала, чтобы сопоставить динамику размаха амплитуды последующего сигнала, обусловленную схемой.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
