Финк М. Теория передачи дискретных сообщений (1970) (1151862), страница 4
Текст из файла (страница 4)
алфавиту, представляющему множество символа У=( ..., уж), имеющему объем т<й Правило преобразования элементарных сообщений алфавита Х в символы ваго ал ав г алфавита У н наоборот называется кодом. Об ъем кодофавита т обычно называют основанием кода. меняется " В рабатах по теорвк информации тсрмкв «кодкр дкравлввс» црвввз в рвзввчвых смыслвх. В щкрокам смысле ыввщт прсобрззавзигге сообщения в сигнал. В кодированием кировские о~ гв л, узком смысле кар ' опрсхелвсгсв квк отображение дкскрепгых сообщений воследоввгельвостыо ззрвксс выбранных свмволов.
ОП втг дироввввсы. В нвсговщей книге используется второе определение, еслк вет свецввльцых оговорок. 16 Здесь необходимо ввести некоторое уточнение. На перв ервый аз~лад операция кодирования является продолы жением операции расчленения сообщения на элемент и, казалось бы, можно было бы сразу довести расчленение до об.ьема алфавита, равного т.
В принципе это, конечно, справедливо, однако разница между расчленением и кодированием существует. При расчленении сообгцения на элементы каждое из элементарных сообщений представляет неделимый отрезок, несущий сам по себе некоторую «смысловую нагрузкуь. Метод расчленения обычно задается самим источником сообщения и, как уже отмечалось, осуществляется в самом источникев.
Это значит, что инженер, занимающийся передачей сообщения по каналу связи или обработкой сообщений в электронных вычислительных устройствах, в большинстве случаев получает сообщение от источника уже в расчлененном виде, например в виде последовательности цифр или букв. Метод кодирования выбирается инженером, проектир ющим систему связи, и обусловливается как особенностями источника сообщения, так и свойствами канал а с вязи. Поэтому кодирование часто рассматривают как операцию согласования источника сообщения с каялом.
Каждому элементарному сообщению («букве» х) советствует некоторая последовательность кодированных символов йч называемая кодовой комбинацией. Кодов комбинации могут содержать определенное для данного кода число символов (равномерные коды) либо различное число символов (неравномерные коды). При приеме сигнала производится обратная операция декодирования, при которой каждая кодовая комбинация преобразуется в букву сообщения и выдается получателю. Таким образом, получатель сообщения, как правило, воспринимает последовательность элементов сообщения, по которым он восстанавливает залогкепные в ннх сведения об источнике. " Если источник соааогеггвк является по существу кецрсрыввым, превращен в дискретный путем кввятоввввв саайщеггвя по времеом кв и во содержвввщ, та рвсчлсвсние сообщввия происходит в свм, процессе двскретизвцкц.
2 — 2447 (7 Определенный элемент сигнала"" вч(1) (1=-1, ..., лч) сопоставляется каждому кодовому символу уь Таким образом, для передачи кодовой комбинации, являющейся ПОСЛЕдОВатЕЛЬНОСтЬЮ СИМВОЛОВ уп1, у<'1, ..., у(и', В КаНая посылается сигнал г(1), состоящий пз последовательности элементов сигнала гп1(1 — (о), а1з1(1 — 1,), ..., г('О(1 — 1и,), Гдс (Π— МОМЕНТ НаЧапа ПЕрЕдаЧИ КОДО- вой комбинации, 1, — момент окончания 1-го элемента 1„1 — момент окончания (и — !)-го элемента сигнала.
Длительность каждого элемента сигнала, вообще говоря, может быть различной для разных кодовых символов, а также может быть случайной величиной (с определенным распредепением вероятностей дпя каждого символа). Примерами последнего случая могут служии телеграфная передача ключом, когда длительность элемента сигнала («точки» или «тире») флюктуирует в некоторых пределах, зависящих от квалификации оператора, и стартстопиая телеграфная передача, когда длительность стопового элемента (соответствующего последнему символу каждой кодовой комбинации) может изменяться в широких пределах. Системы связи, в которых длительности всех элементов сигнала строго фиксированы и равны для всех символов (либо находятся в простых кратных отношениях), называются синхронныли системами.
Широко распространенные синхронные системы обладают многими преимуществами, и поэтому онп главным образом и будут здесь рассматряваться, Процесс преобразования последовательности кодовых символов в последовательность элементов сигнала называется в теории связи лоддляцией. Иногда применительно к радиоте,пеграфии в этом же смысле употребляют термин «манипуляция». Таким образом, преобразование сообщения (выдаваемого источником в виде последовательности элементов сообщения) в сигнал состоит из операций кодирования н модуляции. На приемном конце канала связи прш1ятый сигнал должен быть отождествлен с одним из возможных переданных сообщений.
В большинстве реальных систем связи эта операция осуществляется последовательно: спа- * В общем случае кодовому символу может соответствовать ие. сколько вариантов элемента сигнала или даже басконенюа подмио. жество множества Л, которое мы будем также обозначать в~(!). 18 чала элементы сигнала преобразуются в последоватедьность кодовых символов (демодуляция), а затем эта последовательность преобразуется в последовательность элементов сообщения (декодирование), которые воспринимаются получателем (рис.
1.3). мнк~вь~в 1 ! НатаЧНин к д МадУЛН- В З Датадр- '1 Яана- ПОЛУЧатааа аюджаний "О ад тоо О"иа латал дар ° аоода(енитт 1 1 Рно !.3, Схема преобразования сообщений в системе связи. 4.3. Количество информации в сообщении Для того чтобы иметь возможность сравнивать различные источники сообщений и различные линии и каналы связи, необходимо ввести некоторую количественную меру, позволяющую оценивать содержащуюся в сообщении и переносимую сигналом информацию. Такая мера в виде количества информации была введена К. Шепноном 11) на основе концепции выбора, что позволило ему построить достаточно общую математическую теорию связи "'.
Рассмотрим основные идеи этой теории применительно к дискретному источнику, выдатощему последонательность элементарных сообщений. Попытаемся найти удобную меру количества информации, заключенной н некотором сообщении. Основная идея теории информации заключается в том, что эта мера определяется не конкретным содержанием данного сообщения, а тем фактом, что источник в ы б и р а е т данное элементапно об1цение из конечного множества Х. Эта идея оправдана тем, что на ее основании удалось получить ряд далеко идущих и в то же время нетривиальных результатов, хорошо согласующихся с интуитивными представлениями о передаче информации.
Основные из этих результатов будут изложены далее. " !1о 1Воннона ткарифмичеокучо меру информации применил Картли, а также Фишер (при разработка аснчнтотнческих методов статистики) . 2» 19 Итак, если источник производит выбор одного элементарного сообщения хх(й= 1, ..., !) из множества алфавита Х, то выдаваемое им количество информации зависит не от конкретного содержания этого элемента, а от того, каким образом этот выбор осуществляется.
Если выбираемый элемент сообщения заранее определен, то естественно полагать, что заключающаяся в нем информация равна нулю. Поэтому будем считать, что выбор буквы хь происходит с некоторой вероятностью р(ха). Эта вероятность может, вообще говоря, зависеть от того, какая последовательность предшествовала данной букве.
Примем, что количество информации, заключенное в элементарном сообщении хм является непрерывной функцией этой вероятности ср]р(ха)], н попытаемся определить вид этой функции так, чтобы он удовлетворял некоторым простейшим интуитивным представлениям об информации. С этой целью произведем простое преобразование сообщения, заключающееся в том, что каждую пару «букв» (хь хь), создаваемых последовательно источником, мы будем рассматривать как одну укрупненную «букву». Такое преобразование назовем укрупнением алфавита Множество Х' укрупненных «букв» образует алфавиз объемом !з, так как вслед за каждым из ! элементов алфавита Х может, вообще говоря, выбираться любой из ! эпементов.
Пусть р(хь ха) есть вероятность гого, что источник произведет последовательный выбор элементов х; в ха *. Тогда, рассматривая пару хь хь как букву нового алфавита Х', можно утверждать, что в этой паре заключено количество информации срг!р(х ха)]. Естественно потребовать, чтобы ко.пичество информации, заключенное в паре букв, удовлетворяло условию аддитивности, т. е. равнялось сумме количеств информации, содержащихся в каждой из букв х~ и ха первоначального алфавита Х.
Информация, содержащаяся в букве хь равна ср]д(хз)], где р(х;) — вероятность выбора буквы х; после всех букв, предшествовавших ей. Для определения информации, содержащейся в букве хш нужно учесть вероятность выбора буквы х, после буквы хз с учетом также всех букв, предшествовавших * Эта вароитность может зависать от того, какие элементы сообщении прсдшествовали данной паре. 20 букве хь Эту условную вероятность» обозначим р(ха]х;). Тогда количество информации в букве хь выразится функцией зр(р(ха]х,)]. С другой стороны, вероятность выбора пары букв по правилу умножения вероятностей равна р(х,, хв) =-р(хс) р(хв]х,).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
