А.С. Белокопытов, К.С. Ржевкин, А.А. Белов, А.С. Логгинов, Ю.И. Кузнецов, И.В. Иванов - Основы радиофизики (1119801), страница 6
Текст из файла (страница 6)
В более сложных случаях сообщение может быть функцией не только времени, но и других переменных. Так, в черно-белом телевидении множество возможных изображений является функцией времени и двух пространственных координат х и у: Р($, х, у). В цветном телевидении сообщение сводится к трем функциям, соответствующим интенсивности трех основных цветов: л (1, х, у), С(1, х, у), Н(1, х, у). Все это — системы с непрерывными множествами сообщений. Для передачи сообщений от источника к адресату их обычно преобразуют в сигналы. Преобразование сообщений в форму сигналов, соответствующих характеристикам данного канала связи, является функцией передатчика. Сам же канал представляет собой материальную среду, связывающую источник сообщений с адресатом. Это может быть система проводников или волновод, или область пространства, в которой распространяются радиоволны или световые лучи, и т.д.
Приемник преобразует сигнал в форму, удобную для адресата. Во многих случаях эта форма идентична первоначальному сообщению: телеграфный код снова преобразуется в последовательность букв, а принятый электромагнитный сигнал от радиостанции — в звуковые колебания. Однако это правило не универсально. Так, в системах визуализации инфракрасного изображения исходное сообщение представляет собой картину распределения интенсивности в невидимых инфракрасных лучах, а в приемнике она отображается как видимое изображение. Адресат — это лицо или устройство, для которого предназначены сообщения. Предполагается, что адресат располагает полной инструкцией, в соответствии с которой по полученному сообщению устанавливает, какому событию в источнике информации соответствует данное сообщение. Предполагается также, что адресату или разработчику системы связи известны вероятности появления различных сообщений.
Процесс передачи информации в описанной нами системе состоит в том, что, получив некоторое сообщение, адресат оказывается в состоянии определить, какое событие произошло в источнике информации. С целью установить количественную меру информации рассмотрим вначале дискретную систему, у которой множество возможных событий т конечно. Пусть все возможные события происходят в среднем с одинаковой частотой, т.
е. являются равновероятными. Тогда каждое из сообщений содержит такое же количество информации, как и любое другое. Для количественной меры информации целесообразно выбрать число возможных сообщений гл или какую-нибудь монотонную функцию этого числа 2(гл).
Для выбора подходящей функции у рассмотрим два источника сообщений. В одном сообщения выдаются после каждого из гп равновероятных независимых событий. В другом события группируются 'попарно и сообщение содержит информацию о паре последовательных событий. Всего источник может выдавать т' равновероятных сообщений. Естественно полагать, что сообщение о двух равновероятных независимых событиях содержит вдвое большее количество информации, чем сообщение об одном событии. Таким образом, функция у удовлетворяет условию Г(гл') = 2~(гп).
Рассуждая подобным образом, приходим к выводу, что )'(т) должна удовлетворять функциональному уравнению 2.1. Диск етные сообщения и понятие количества ин о мации 23 эквивалентных формах: /(т) = 1од,т (2.2) Н = — у рс 1одр;. (2.4) Величина Н называется энтропией источника сообщений. Первоначально это название было дано из-за аналогии между формулой (2.4) и соотношением статистической физики, определяющим энтропию системы многих частиц. Впоследствии оказалось, что между энтропией в теории информации и энтропией в статистической физике имеется и более глубокая связь. Пусть источник посылает сигналы только двух типов: одно сообщение с вероятностью р, а другое — с вероятностью (! — р).
При какой величине р- каждое сообщение несет наибольшее количество информации? В данном случае энтропия равна Н = — р!од, р — (1 — р) 1о82(1 — р). Экстремум Н(р) нетрудно найти, вычислив производную и приравняв нулю значение дН/4(р. Максимум энтропии достигается при р = 1/2, т. е. когда альтернативные со- общения равновероятны. Напротив„когда вероятность одного из сообщений стремится к единице, энтропия стремится к нулю.
Действительно, в этом случае большинство сообщений несет информацию о весьма вероятных событиях, а она мала. Рассмотрим источник, который создает последовательность из нулей и единиц, од- нако вероятность появления единицы мала и составляет р = О, О!. В этом случае 1-р Н = — 1о82!РР(1 — р)о Р~)= — р1од,р(1 — р) 1 р1о8,—, 'р' т.
е. Н = О, 081 бит/знак. Можно условиться вместо редкого события — единицы— передавать серию из пяти нулей — 00000, а вместо длинной серии нулей передавать их общее число„записанное в двоичной системе. При этом во избежание путаницы придется исключить числа, в записи которых присутствуют пять нулей подряд, такие, как 32 (100000), 64, 65, 96, 128, 129, 130, 131 и т. д.
Так, серия вида 000...0! 00...01000...01000...01... 76нулсй 114 нулсй 94нулл 129 нулсй будет заменена следующей: 1001111 00000 1110110 00000 1011101 00000 10000111 00000... 1641 1 14+4 и+э 12М6 (2.6) (2.7) или У(р) = — 1оаэ р. (2. 3) Во многих случаях вероятности различных событий оказываются неодинаковыми. Наглядным примером здесь может служить передача буквенных текстов. Известно, что в тексте на русском языке вероятность появления буквы нон велика (около 10%), а вероятность появления букв нэ", нхн — надва порядка меньше. Для систем с неравновероятными событиями можно количество информации в отдельном сообщении по-прежнему определять, пользуясь формулой (2.3).
Однако в этом случае характеристикой источника сообщений будет не количество информации, содержащейся в отдельном сообщении (это величина непостоянная), а среднее количество информации, приходящееся на одно сообщение нли на один символ. Пусть множество сообщений состоит из элементов, имеющих вероятности р„р„..., р . Тогда с вероятностью р, в одном сообщении будет передаваться !од(1/р1) единиц информации, с вероятностью р, — 1о8(!/р,) единиц информации и т.д. В среднем же на одно сообщение приходится информация, равная Глава 2.
Сигналы и инфо мация Преобразование сообшения вида (2.6) в другое сообшение (2.7) представляет пример операции кодирования. Рациональное кодирование позволяет значительно повысить количество информации, приходящейся на каждое сообщение (символ), или, как говорят, уменьшить избыточность источника информации. В нашем примере в первоначальной серии содержалось 418 знаков, после перекодировки их осталось 49, так что на каждый символ приходится уже примерно 0,6 бит. В общем случае кодирование рассматривается как операция преобразования последовательности сообшений от источника в последовательность сигналов, производимую передатчиком.
В свою очередь, передатчик, генерируюший сигналы, можно рассматривать как источник сообщений. Кодирование, уменьшающее избыточность, оказывается необходимым при ограниченной пропускной способности канала связи. П оп с н ю способност канала определяют к редаваемых в единицу в емени. В наиболее простых случаях сигналы в канале связи имеют одинаковую длительность т, тогда число передаваемых сигналов в единицу времени есть просто 17т.
Предположим, что физические свойства канала связи позволяют передавать за секунду 50 импульсов двух типов, соответствующих нулю и единице. Каждый из импульсов, если они равновероятны, несет 1 бит информации, таким образом пропускная способность канала 50 бит/с. Тогда в приведенном выше примере первоначальную последовательность нулей и единиц (2.6) передать по каналу за 1 с невозможно. Однако после кодирования (2.7) такая возможность появляется. Доказано обшее утверждение, что если энтропия источника сообшения равна Н (бит на символ), а канал имеет пропускную способность С (бит в секунду), то можно закодировать сообщения таким образом, чтобы передавать сообшения по каналу со средней скоростью — — е символов в секунду, где е сколь угодно с н мало. Передавать же сообшения со средней скоростью, большей чем —, невозможно.
и' Избьпочность сообщения позволяет передавать информацию при наличии шума. Наиболее простой способ устранить влияние шума — передавать сообщение несколько раз и сличать принятые сигналы. При таком способе кодирования вероятность ошибки будет тем меньше, чем больше количество повторений, т. е.
чем выше избыточность. Можно было бы ожидать, что пропускная способность канала с шумом должна зависеть от требований к точности воспроизведения сообшений, Оказывается, в дискретных системах это не так! В теории информации доказана теорема о том, что для дискретного источника, производящего за секунду энтропию, меньшую пропускной способности канала, существует такая система кодирования, которая позволяет передавать сообшения со сколь угодно малой частотой ошибок.
Для этого код должен облапать некоторой (пусть и небольшой) избыточностью. Поиск оптимальных или почти оптимальных кодов составляет важный раздел теории информации — теорию кодирования. 2.2. Сигналы с ограниченным спектром и количество информации в непрерывных сообщениях Обшее рассмотрение каналов связи с непрерывными источниками сообщений отличается большей сложностью по сравнению с дискретными каналами. Причина этой сложности в том, что в отличие от дискретного случая множество возможных сообшений бесконечно. Тем не менее в большинстве ситуаций, представляюших практический интерес, задача определения характеристик систем связи непрерывного типа по сушеству сводится к дискретному случаю. Сигналы в реальных радиофизических системах имеют спектр, сосредоточенный в конечном интервале частот.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
