Основы теории передачи информации
ГЛАВА 8. Основы теории передачи информации
8.1. Информация, сообщение, сигнал
Под информацией понимают совокупность сведений о каком - либо событии, объекте. Для хранения, обработки и преобразования информации используют условные символы ( буквы, математические знаки, рисунки, формы колебаний, слова), позволяющие представить информацию в той или иной форме. Информация, выраженная в определенной форме, предназначенная для передачи, называется сообщением. Так, при телеграфной передачи информация представляется в виде букв и цифр. Соответственно сообщением является текст телеграммы, представляющий последовательность этих знаков. В телефонных системах сообщением является речь (непрерывное изменение звукового давления). На практике часто информация представляется в двоичной форме, т.е. только двумя условными символами, например 1 и 0. Соответственно сообщением служит последовательность конечного числа двоичных символов.
Одни сообщения (речь, температура, давление) являются функциями времени, другие (текст телеграммы) - нет. Природа сообщений может быть как электрической, так и неэлектрической.
Для передачи сообщений от источника и получателю используют физические процессы, например, звуковые и электромагнитные волны, ток. Физический процесс, отображающий сообщение, называется сигналом. По своей природе сигналы могут быть электрическими, световыми, звуковыми и т.п. В РСПИ используются электрические сигналы. Поэтому при передаче сообщения неэлектрической природы предварительно преобразуются в электрические колебания с помощью преобразователей: микрофонов, передающие телевизионных трубок, датчиков температуры, давления и т.п. Эти электрические колебания обычно называют первичными сигналами.
Любой первичный сигнал является функцией времени х(t). В зависимости от области определения и области возможных значений этой функции различают следующие виды сигналов:
¨ непрерывные по уровню и по времени (рис. 8.1,а);
Рекомендуемые материалы
¨ непрерывные по уровню и дискретные по времени (рис. 8.1,б);
¨ дискретные (квантованные) по уровню и непрерывные по времени (рис.8.1,в);
¨ дискретные по уровню и по времени (рис.8.1,г).
Сигналы первого вида, называемые непрерывными, задаются на конечном или бесконечном временном интервале и могут принимать любые значения в некотором диапазоне. Примером таких сигналов являются сигналы на выходах микрофона, датчиков температуры, давления, положения и т.п. Являясь электрическими модулями физических величин, такие сигналы часто называются аналоговыми.
Сигналы второго вида задаются в определенные дискретные моменты времени и могут принимать любые значения из некоторого диапазона. Их можно получить из непрерывных сигналов путем взятия отсчетов в определенные моменты. Это преобразование называется дискретизацией во времени. Шаг дискретизации Tд (промежуток времени между двумя соседними отсчетами) может быть как постоянным, так и переменным. Обычно его значение выбирают, исходя из допустимой погрешности при восстановление непрерывного сигнала по конечному числу его отсчетов.
Сигналы третьего вида, называемые квантованными по уровню, задаются на некотором временном интервале и характеризуются тем, что принимают только вполне определенные дискретные значения. Их можно получить из непрерывных сигналов, применяя к ним операцию квантования по уровню. В результате этой операции непрерывный сигнал заменяется ступенчатой функцией. Шаг квантования ∆х (расстояние между двумя соседними разрешенными уровнями) может быть как постоянным, так и переменным. Его обычно выбирают из условия обеспечения требуемой точности восстановления непрерывного сигнала из квантованного.
Сигналы четвертого вида, называемые дискретными, задаются в определенные дискретные моменты и принимают определенные дискретные значения. Их можно получить, например, из непрерывных сигналов, осуществляя операции дискретизации по времени и квантования по уровню. Такие сигналы легко представить в цифровой форме, т.е. в виде чисел с конечным числом разрядов. По этой причине их часто называют цифровыми.
Аналогичная классификация возможна и для сообщений.
Сообщения, подлежащие передаче, являются или случайной величиной, или случайной функцией. Детерминированные (заранее известные) сообщения не содержат информации, и нет смысла их передавать. Соответственно сигнал также следует рассматривать как случайный процесс. Детерминированные сигналы не несут информацию. В технике связи они используются для изучения свойств различных радиотехнических цепей.
Множество возможных сообщений (сигналов) с заданным на нем распределением вероятностей называется ансамблем сообщений (сигналов).
8.2.Обобщенная структурная схема, основные подсистемы
Под системой связи (рис.8.2.) понимают совокупность технических средств, предназначенных для передачи информации, включая источник сообщений и получателя сообщений.
Источник сообщений- это устройство, осуществляющее выбор сообщений из ансамбля сообщений. Им может быть датчик, ЭВМ и т.п. В зависимости от типа сообщений различают дискретные и непрерывные источники.
Учитывая, что первичные сигналы часто отождествляют с передаваемыми сообщениями, в дальнейшем под источником сообщений будем понимать источник первичных сообщений разной природы и преобразователь неэлектрической величины в электрическую.
Передающее устройство предназначено для преобразования сообщения x(t) в сигнал S(t) , который может распространяться по линии связи. В общем случае оно выполняет операции кодирования и модуляции (рис.8.3.). При передаче непрерывных сообщений цифровыми методами передающее устройство осуществляет операции дискретизации по времени и квантования по уровню.
 | |||||
 | |||||
 |
В узком смысле кодирование представляет собой преобразование дискретного сообщения в последовательность кодовых символов, осуществляемое по определенному правилу. Множество всех кодовых последовательностей (кодовых комбинаций), возможных при данном правиле кодирования, образует код. Совокупность символов, из которых составляются кодовые последовательности, называют кодовым алфавитом, а их число (объем кодового алфавита)- основанием кода. Число символов в кодовой комбинации может быть одинаковым или разным. Соответственно различают равномерные и неравномерные коды. Число символов в кодовой комбинации равномерного кода называется длиной кода.
Кодирование позволяет повышать достоверность передачи информации. Предварительно отметим, что все коды делятся на простые и помехоустойчивые. Простые коды состоят из всех возможных кодовых комбинаций. Поэтому превращение одного символа кодовой комбинации в другой из-за действия помех приводит к новой кодовой комбинации, т.е. к появлению необнаруживаемой ошибки. В помехоустойчивых кодах используется лишь некоторая часть из общего числа возможных кодовых комбинаций. Благодаря этому появляется возможность обнаруживать и исправлять ошибки в принятых комбинациях, что и способствует повышению достоверности передачи информации.
В соответствии с задачами кодирования различают кодирующее устройство (кодер) для источника и кодирующее устройство для канала (рис.8.3). Задачей первого является экономное (в смысле минимума среднего числа символов) представление достоверной передачи сообщений.
Первичные сигналы, как правило, низкочастотные. Их можно передавать лишь по проводным линиям связи. Для передачи сообщений по радиолиниям используют специальные колебания, называемые переносчиками. Они должны хорошо распространяться по линии связи. В РСПИ в качестве переносчиков используются высококачественные колебания.
Сами переносчики не содержат информации о передаваемом сообщении. Для того чтобы заложить в них эту информацию, применяют операцию модуляции, которая заключается в изменении одного или нескольких параметров переносчика по закону передаваемого сообщения. Устройство, осуществляющее эту операцию, называется модулятором.
Приемное устройство. Основной задачей приемного устройства является выделение передаваемого сообщения из принятого сигнала u (t). В общем случае это достигается выполнением над принятым сигналом операций демодуляции и декодирования. Устройства, выполняющие эти операции, называются соответственно демодулятором и декодером.
Операция демодуляции заключается в преобразовании принятого модулированного сигнала, искаженного помехами, в модулирующий сигнал. В системах передачи непрерывных сообщений при аналоговой модуляции сигнал на выходе демодулятора совпадает с первичным сигналом, отображающим сообщение. Поэтому он без дальнейших преобразований поступает к получателю.
8.3. Классификация систем передачи информации
Современные РСПИ характеризуются большим разнообразием видов передаваемых сообщений, способов модуляции, принципов построения, режимов работы и т.п. Соответственно они могут быть классифицированы по многим признакам.
По числу каналов различают одноканальные и многоканальные системы. По наличию обратного канала различают системы без обратной связи и с обратной связью.
По режиму использования канала различают системы односторонней связи, симплексные и системы двусторонней связи. В первых передача осуществляется в одном направлении, в последних возможна одновременная передача в обоих направлениях. В симплексной системе возможна двусторонняя связь, но передача и прием ведутся поочередно.
По виду передаваемых сообщений различают системы передачи дискретных и непрерывных сообщений.
По назначению передаваемых сообщений различают следующие типы систем: телефонные, предназначенные для передачи речи; телеграфные, предназначенные для передачи текста; фототелеграфные, предназначенные для передачи неподвижных изображений; телевизионные, предназначенные для передачи изображений; телеметрические, предназначенные для передачи измерительной информации; системы телеуправления, предназначенные для передачи команд управления; системы передачи данных, предназначенные для обслуживания автоматизированных систем управления.
В зависимости от механизма распространения радиоволн, используемых для передачи сообщений, различают ионосферные, тропосферные, метеорные и космические системы.
Непрерывные каналы. Искажения сигналов и помехи в реальных каналах связи весьма разнообразны. Тем не менее математическая модель канала должна по возможности точно описывать основные особенности реального канала и в то же время быть достаточно простой для получения конечных результатов при анализе и синтезе систем передачи.
Идеальный канал без помех вносит детерминированные искажения, связанные с изменением амплитуды и временного положения сигнала. Переданный сигнал может быть полностью восстановлен на приемной стороне в новом временном отсчете. Эта модель используется для описания каналов с закрытым распространением малой протяженности (кабель, провод, волновод, световод и т.д.).
Канал с гауссовским белым шумом представляет собой идеальный канал, в котором на сигнал накладывается помеха
.
Коэффициент передачи 
и запаздывание 
постоянны и известны в точке приема. Такая модель, например, соответствует радиоканалам, работающим в пределах прямой видимости.
Гауссовский канал с неопределенной фазой сигнала отличается от предыдущего тем, что фаза несущего колебания в точке приема предполагается случайной с плотностью распределения 
в интервале
. Эта неопределенность вызвана двумя причинами: отсутствием устройств оценки и предсказания фазы либо ошибками в оценке фазы при их работе. Важно знать скорость флуктуаций фазы. В дискретных системах различают каналы с быстрыми флуктуациями, когда интервал их корреляции меньше длительности посылки, и с медленными, когда это условие не выполняется. При медленных фруктуациях фаза несущего колебания за длительность посылки практически не изменяется.
Гауссовский канал с неопределенной амплитудой и фазой сигнала вносит в сигнал наряду с флуктуациями фазы и флуктуации амплитуды, которые связаны с изменением во времени по случайному закону коэффициента передачи . Как и в предыдущем случае, флуктуации могут быть быстрыми и медленными. Для определения модели канала необходимо задать плотность распределения 
и корреляционную функцию флуктуаций 
.
В гауссовском канале с линейными искажениями форма сигнала изменяется из-за наличия избирательных цепей. В общем случае линейные искажения носят случайный характер. Частотная характеристика канала 
неравномерна в полосе частот сигнала 
и изменяется во времени, а импульсная характеристика 
имеет длительность 
(время памяти канала), превышающую величину 
. Такая модель полезна при анализе систем, использующих, например, каналы с рассеянием сигнала. Сигнал на выходе канала с линейными искажениями
(8.1)
В радиосистемах передачи дискретной информации, когда время памяти канала соизмеримо с длительностью посылки 
(а тем более превышает ее), имеет место межсимвольная интерференция (МСИ), которая проявляется в наложении друг на друга соседних посылок. Одной из причин возникновения МСИ является увеличение скорости передачи при ограниченной полосе пропускания канала.
В гауссовском канале с нелинейными искажениями сигнала, как и в предыдущем случае, аддитивная помеха предполагается в виде гауссовского белого шума, однако смесь сигнала и помехи, проходя по каналу, претерпевает нелинейные искажения так, что на входе приемника
, где 
- амплитудная характеристика нелинейного звена канала.
Линейный канал со сложной аддитивной помехой характеризуется тем, что на сигнал могут воздействовать помехи любого вида: сосредоточенные по спектру, по времени, гауссовские, негауссовские и т.д. Модель помех можно определить, указав способ вычисления многомерной плотности распределения вероятностей. Эта модель наиболее полно отображает реальный шум в каналах связи, однако редко используется из-за сложности. Наиболее просто задать модель сложных аддитивных помех в виде небелого гауссовского шума с изменяющейся во времени и по частоте спектральной плотностью 
, характеризуемой как случайный процесс плотностью распределения 
и корреляционными функциями во временной 
и частотной областях.
Дискретно - непрерывные каналы. Дискретно-непрерывный канал имеет дискретный вход и непрерывный выход. Примером такого канала является канал, образованный совокупностью технических средств между выходом кодера канала и входом демодулятора. Для его описания необходимо знать алфавит входных символов αr, r=1,…., m, вероятности появления символов алфавита ρ(αr), r=1, …., m , полосу пропускания непрерывного канала FΚ, входящего в рассматриваемый канал, и плотности вероятности ω[u|αr] появления сигнала u(t) на выходе канала при условии, что передавался символ αr.
Зная вероятности ρ(αr) и плотности распределения вероятностей ω[u|αr], можно найти апостериорные вероятности
(8.2)
на основе которых, как правило, и принимается решение о переданном символе.
Ширина спектра сигнала u(t) не может превышать значения Fκ. Поэтому в соответствии с теоремой Котельникова его можно представить совокупностью Μ=2FкТс отсчетов, где Тс - длительность сигнала. Соответственно условные плотности вероятности ω(u|αr), r =1,…, m, можно задать как Μ- мерные плотности вероятности совокупности Μ отсчетов сигнала u(t).
В тез случаях, когда сигнал u(t) является аддитивной смесью полезного сигнала sr(t) с известными параметрами, несущего информацию о символе [u1] αr, и шума n(t), Μ-мерная плотность вероятности ωм(u1, u2,…., uм |αr) будет плотностью вероятности шума, т.е.
,
(8.3)
где 
и 
- отсчеты сигналов 
и шума 
в момент 
.
При независимых отсчетах шума
(8.4)
Если плотность вероятности 
для любого сочетания 
и 
не зависит от времени, то канал называется стационарным.
Если выполняется условие
, (8.5)
где 
- последовательность передаваемых импульсов, то такой канал называется каналом без памяти.
Реальные каналы являются обычно нестационарными и обладают памятью. Тем не менее модель дискретно-непрерывного стационарного канала с памятью часто применяется благодаря ее простоте.
Дискретные каналы. Дискретный канал имеет дискретный вход и дискретный выход. Примером такого канала является канал, образованный совокупностью технических средств между выходом кодера канала и выходом демодулятора. Для описания дискретного канала необходимо знать алфавит входных символов 
, их вероятность появления 
, скорость передачи символов 
, и значения переходных вероятностей
, появления символа 
при условии передачи символа .
Первые две характеристики определяются свойствами источника сообщений, скорость - полосой пропускания непрерывного канала, входящего в состав дискретного канала, объем алфавита входных символов - алгоритмом работы решающей схемы, переходные вероятности 
- характеристиками непрерывного канала.
Заметим, что в общем случае в дискретном канале объемы входных и выходных символов не совпадают. Примером может быть канал со стиранием. Алфавит на его выходе содержит один добавочный символ по сравнению с алфавитом на входе. Этот добавочный символ (символ стирания) появляется на выходе тогда, когда анализируемый сигнал нельзя с большой вероятностью отождествить ни с одним из передаваемых символов. Стирание символов при применении соответствующего помехоустойчивого кода позволяет существенно повышать помехоустойчивость.
Зная вероятности и 
можно вычислить апостериорные вероятности
(8.6)
того, что при принятом символе был передан символ . Вероятности и 
позволяют определить полную вероятность ошибки в канале (или полную вероятность правильного приема) и информационные характеристики дискретного канала.
Дискретный канал называется стационарным, если переходные вероятности 
не зависят от времени. Дискретный канал называется без памяти, если переходные характеристики не зависят от того, какие символы передавались и принимались ранее.
Если в стационарном дискретном канале алфавиты на входе и выходе совпадают и
(8.7)
то такой канал называется симметричным.
Математическая модель канала должна обеспечивать возможность нахождения основных характеристик потока ошибок. К ним относятся: вероятность ошибки в приеме символа рош; распределение вероятностей Рn(r) появления ошибок r в блоке длины n; распределение длин интервалов между соседними ошибками; распределение длин серий ошибок и т.п.
Модель должна быть простой и удобной для проведения расчетов. В то же время она должна достаточно точно описывать реальный канал, т.е. находиться в хорошем соответствии с экспериментальными данными. Наиболее простой является модель стационарного симметричного канала без памяти. В таком канале ошибки возникают независимо друг от друга, т.е. между ошибками отсутствуют статистические связи. вероятность ошибки рош при передаче любого символа одинакова и не меняется во времени. Стационарный симметричный канал без памяти полностью описывается вероятностью рош. Распределение ошибок в нем подчиняется биномиальному закону
(8.8)
где n - число символов в блоке, r - число ошибочных символов.
Зная вероятность ошибки рош и используя выражение (8.8), можно найти все необходимые характеристики. В частности вероятность правильного приема блока из n символов 
вероятность приема блока, содержащего хотя бы одну ошибку, 
вероятность появления в блоке 
и более ошибок
(8.9)
Большинство реальных каналов имеют "память", которая проявляется в том, что вероятность ошибки в символе зависит от того, какие символы передавались до него и как они были приняты. Первый факт обусловлен межсимвольными искажениями, являющимися результатом рассеяния сигнала в канале, а второй - изменением отношения сигнал-шум в канале или характера помех.
При рассеянии сигнала приходящая на вход посылка является суммой некоторого числа предыдущих посылок с соответствующими весовыми коэффициентами. Поэтому вероятность ошибки в последующем символе будет зависеть от характера передаваемой информации за время рассеяния сигнала. Например, при чередовании посылок разных частот ошибка будет больше, чем внутри последовательности, состоящей из посылок одной частоты. Если менять длительность отдельных мешающих воздействий, например, в результате общих замираний сигнала или изменения уровня помех, то ошибки будут группироваться в пачки. Вероятность ошибки при приеме символа в этом случае зависит от того, была ошибка в предыдущем символе или нет. Простой моделью двоичного симметричного канала с памятью является канал, который может находиться в одном из двух состояний: d=0 и d=1. В обоих состояниях возможны независимые ошибки с вероятностями р0 и р1, где нижние индексы указывают на состояние канала.
Одним из распространенных методов описания дискретного канала с памятью, связанной с межсимвольными искажениями, является использование аппарата цепей Маркова (посимвольное описание). В этом случае последовательность состояний двоичного канала рассматривается как N-связная двоичная цепь Маркова, а значения символов на каждой позиции - как состояние цепи, где N - число символов, на которое распространяется память канала.
8.4.Основные характеристики
Любая система характеризуется рядом показателей, которые можно разделить на информационно-технические (достоверность, помехоустойчивость, скорость передачи информации, задержка, диапазон частот и т.п.) и конструктивно-эксплуатационные (объем и масса аппаратуры, энергетический КПД, мобильность, гибкость, эксплуатационная надежность, стоимость).
Достоверность передачи информации характеризует степень соответствия принятых сообщений переданным. Она зависит от параметров самой системы, степени ее технического совершенства и условий работы. Последние определяются типом и состоянием линии связи, видом и интенсивностью помех, а также организационными мероприятиями по соблюдению правил радиообмена и эксплуатации аппаратуры.
Для различных РСПИ критерии соответствия принятого сигнала переданному могут существенно отличаться. При передаче дискретных сообщений действие помех проявляется в том, что вместо переданного символа принимается другой. В этом случае достоверность передачи сообщений целесообразно характеризовать или вероятностью правильного приема 
, или вероятностью ошибки 
.
Под помехоустойчивостью СПИ понимается способность системы противостоять вредному действию помех на передачу сообщений. Она зависит от способа кодирования, модуляции, метода приема и т.п. Количественно помехоустойчивость систем передачи дискретных сообщений можно характеризовать вероятностью ошибки 
при заданном отношении средних мощностей сигнала и помехи в полосе частот, занимаемой сигналом, или требуемым отношением средних мощностей сигнала и помехи на входе приемника системы, при котором обеспечивается заданная вероятность ошибки . Помехоустойчивость систем передачи непрерывных сообщений удобно оценивать отношением средних мощностей сигнала и помехи на входе приемника системы, обеспечивающим заданные значения этих показателей. При сравнительной оценке систем часто пользуются "обобщенным выигрышем системы"
, (8.10)
В лекции "7 - Повреждение рулей и насадок" также много полезной информации.
где 
-отношение мощностей сообщения x(t) и шума на выходе приемника; 
-отношение мощностей сигнала и шума на входе приемника; 
- ширина спектра сообщения; - ширина спектра сигнала, используемого для передачи сообщения.
При передаче дискретных сообщений для характеристики быстродействия аппаратуры формирования информационных символов пользуются понятием техническая скорость. Она определяется числом символов дискретного сообщения, передаваемых в единицу времени, и измеряется в бодах.
Одной из важных характеристик системы передачи информации является задержка, под которой понимается промежуток времени между подачей сообщения от источника на вход передающего устройства и выдачей восстановленного сообщения получателю приемным устройством. Она зависит от протяженности линии связи и времени обработки сигнала в передающем и приемном устройствах.
Пусть TC - среднее время передачи одного символа. Тогда величина
R=I′(А;Y)=(1/ TC ) I(A;Y) характеризует среднее количество информации, передаваемое в единицу времени. Ее называют скоростью передачи информации. I(A;Y) - как среднее количество информации, получаемой приходом каждого символа.
[u1]ени
