Васюков В.Н. - Теория электрическо связи - Часть 3. Теория информации и теория помехоустойчивости (1275348)
Текст из файла
НОВОСИБИРСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТВ.Н. ВАСЮКОВТЕОРИЯ ЭЛЕКТРИЧЕСКОЙ СВЯЗИЧасть III.Теория информации итеория помехоустойчивостиУчебник для студентов 2-3 курсов факультета РЭФ,обучающихся по специальностям«Средства связи с подвижными объектами»и «Многоканальные телекоммуникационные системы»Новосибирск, НГТУ2003Васюков В.Н. Теория электрической связи: Учебник / Новосиб.
гос. техн. унт. – Новосибирск, Изд-во НГТУ, 2003. – 100 с.Учебник рассчитан на студентов 2 – 3 курсов, обучающихся по специальностям «Средства связи с подвижными объектами» и «Многоканальныетелекоммуникационные системы» и может быть полезен студентам другихнаправлений и специальностей.© В.Н. Васюков, 2003© Новосибирский государственныйтехнический университет, 20032СОДЕРЖАНИЕ11.ОСНОВЫ ТЕОРИИ ИНФОРМАЦИИ511.1.Основные понятия и термины511.2.Энтропия и информация811.3.Кодирование источника1511.4.Помехоустойчивое кодирование2611.5.Информативность непрерывных источников сообщений37ВОПРОСЫ И ЗАДАЧИ3912.
ОСНОВЫ ТЕОРИИ ПОМЕХОУСТОЙЧИВОСТИ ПЕРЕДАЧИДИСКРЕТНЫХ СООБЩЕНИЙ4212.1.Основные понятия и термины4212.2.Бинарная задача проверки простых гипотез4812.3.Приём полностью известного сигнала (когерентный приём)5112.4.Согласованная фильтрация5612.5.Потенциальная помехоустойчивость когерентного приёма6212.6.Некогерентный приём6612.7.Потенциальная помехоустойчивость некогерентного приёма71ВОПРОСЫ И ЗАДАЧИ7413.
ОСНОВЫ ТЕОРИИ ПОМЕХОУСТОЙЧИВОСТИ ПЕРЕДАЧИНЕПРЕРЫВНЫХ СООБЩЕНИЙ7513.1.Основные понятия и термины7513.2.Оптимальное оценивание параметров сигнала7613.3.Оптимальная фильтрация случайного сигнала84ВОПРОСЫ8714.88ЦИФРОВАЯ ПЕРЕДАЧА НЕПРЕРЫВНЫХ СООБЩЕНИЙ14.1.Основные понятия и термины8814.2.Импульсно-кодовая модуляция8914.3.Кодирование с предсказанием923ВОПРОСЫ94ЛИТЕРАТУРА95411.ОСНОВЫ ТЕОРИИ ИНФОРМАЦИИ11.1.
Основные понятия и терминыИнформация относится к предельно широким понятиям, которымтрудно или невозможно дать строгое определение, поэтому приходится прибегать к интуиции, объясняя термин «информация» через синонимичные понятия – «данные», «сведения» и т.п. Однако для решения инженерных задачтребуется количественное определение информации. В теории и технике связи в настоящее время используется определение количества информации,предложенное К.
Шéнноном1.Для введения этого определения необходимо абстрагироваться от физического воплощения источника и семантического (смыслового) содержания сообщений. Дискретный источник сообщений тогда полностью определяется набором символов (алфавитом) Α = {α1,...,α K } и распределением ве-роятностей P(a) , заданным на множестве всех возможных последовательностей символов a = (a1,..., an ) , ai ∈ Α произвольной длины. В простейшемслучае источника без памяти символы в последовательности являются независимыми, и распределение P(a) полностью определяется набором априорных вероятностей отдельных символов{ p(α k ), k = 1,..., K } .
В более сложныхмоделях источников с памятью условная вероятность появления в последовательности определенного символа зависит от того, какие символы емупредшествуют. Например, в тексте телеграммы на русском языке после буквы «щ» можно ожидать букв «а», «у», «е», но не «ю», «я», «й» и т.п. Далее,как правило, рассматриваются источники без памяти.В процессе передачи информационная последовательность символов,представляющая собой сообщение, может быть заменена другой, кодовой по-1Клод Элвуд Шеннон (1916 – 2001) – американский математик и инженер, один из основоположников теории информации5следовательностью, состоящей из символов кодового алфавита. Целью кодирования может быть более полное использование канала связи (экономноекодирование) или повышение достоверности передачи (помехоустойчивоекодирование).
Естественно, кодовые последовательности характеризуютсядругими распределениями вероятностей, нежели информационные последовательности.Канал связи (дискретный) формально описывается входным и выходным алфавитами X = { x1,..., xL } и Y = { y1,..., yM } разных в общем случаеобъемов L и M и условным распределением вероятностей P(y | x) , заданным для всех возможных последовательностей y и x произвольной, но одинаковой длины. Условное распределение P(y | x) описывает вероятностныймеханизм действия помех в канале. В простейшем случае канала без памятираспределение P(y | x) полностью определяется набором условных вероятностей для всех пар отдельных символов P( y j | xi ) , xi ∈ X , y j ∈ Y .Информация, согласно современным представлениям, – это свойствосообщения снимать (или уменьшать) неопределенность относительно исходанекоторого случайного опыта (например, относительно переданного символа).
Действительно, во всех реальных случаях получатель сообщения что-тознает о некотором объекте или событии до опыта (“a priori”), но ему известноне всё, иначе не было бы необходимости передавать сообщение. Например,футбольный болельщик знает, с кем сегодня играла его любимая команда, ноне знает, кто победил. Таким образом, до опыта (до получения сообщения)налицо некоторая неопределенность. После получения сообщения неопределенность исчезает (или, по крайней мере, уменьшается) вследствие получения информации.
Количество получаемой информации, очевидно, должнобыть связано со степенью снимаемой неопределенности. Так, получая сообщение о событии, которое достоверно известно, информации мы не получаем.6Количественная мера информации должна удовлетворять следующиминтуитивно очевидным требованиям:− если исход опыта единствен (достоверное событие), то количествоинформации в сообщении о нем должно быть равно нулю;− количество получаемой информации тем больше, чем более не-ожиданным является исход;− общее количество информации в нескольких сообщениях об исхо-дах опытов, независимых в вероятностном смысле, должно равнятьсясумме количеств информации в отдельных сообщениях (аддитивность информации).Мера неожиданности сообщения a в виде 1/ P(a) удовлетворяет второму требованию, однако она не равна нулю для достоверного события и необладает свойством аддитивности: неожиданность двух независимых сообщений a1 и a 2 равна, очевидно, 1/[ P(a1) P (a 2 )] .
Чтобы обеспечить выполнение всех требований, необходимо определить частное (индивидуальное) количество информации в сообщении выражениемlog m1= − log m P(a) .P (a)Основание логарифма может быть произвольным и определяет лишьмасштаб (единицу измерения). Общепринятым является основание 2, приэтом единица называется битом2. Учитывая это, в дальнейшем всюду используется двоичный логарифм и его основание явно не указывается.Поскольку событие, состоящее в выдаче сообщения a , случайно и происходит с вероятностью P(a) , то и количество информации, связанное с этимсообщением, также является случайной величиной. Введем величинуI (α i ) = − log p(α i ) ,называемую собственной информацией символа α i .2В литературе упоминаются единицы нат и хартли, соответствующие основаниям логарифма е и 10.7Информационная производительность дискретного источника характеризуется средним количеством информации на символ, которое определяется,как математическое ожидание этой случайной величины.
Рассматривая дляпростоты источник без памяти, запишем среднее количество информации,приходящееся на один символ и называемое энтропией дискретного источника Α в видеKH ( Α) = − ∑ p(α k )log p (α k ) .(1)k =1Пример 1. Предположим, что передается сообщение о карте, вытащенной наугад из идеально стасованной колоды в 32 карты (вероятность вытащить любую карту равна при этих условиях 1/32). Очевидно, это сообщениенесет количество информации, равное 5 битам. Если это сообщение разбитьна два, так, что вначале сообщается масть карты, а затем ее достоинство, тоэто количество информации будет передано частями – сначала 2 бита, затемеще 3. (Убедитесь, что это действительно так!) ♦11.2. Энтропия и информацияРассмотрим основные свойства энтропии.1. Энтропия любого источника Α неотрицательна H ( Α) ≥ 0 .
Это следует из того, что вероятность любого события неотрицательна и не превосходит единицы. Равенство нулю энтропии источника имеет место в томслучае, если один из символов имеет вероятность 1, а остальные – 0. Неопределенность, возникающая вследствие того, что log p → −∞ при p → 0 ,может быть раскрыта с применением правила Лопиталя:log1/ plog q1/ q log e= lim= lim= 0.1p →0 1/ pq →∞ qq →∞lim (− p log p ) = limp →02. При заданном объеме алфавита K энтропия максимальна, если всесимволы равновероятны p (α k ) = pk = 1/ K .8Составим целевую функцию по методу неопределенных множителейЛагранжаK KΦ ( p1,..., pK ) = − ∑ pk log pk + λ ∑ pk − 1k =1 k =1и запишем условие достижения ее экстремума K∂ K − ∑ pk log pk + λ ∑ pk − 1 = 0 .∂pi k =1 k =1 Решая уравнение относительно pi , получаем− pi1 1 ln pi1−+λ =0⇒−(1 + ln pi ) + λ = 0 ,ln 2 pi ln 2ln 2откуда pi = exp(λ ln 2 − 1) независимо от i , а это и означает равновероятностьсимволов.
Максимальное значение энтропии равно H max = log K . В частности, при K = 2 энтропия максимальна при p1 = p2 = 1/ 2 и равна 1 биту. Таким образом, 1 бит – это количество информации, доставляемое одним издвух равновероятных символов, вырабатываемых источником без памяти.Два источника Α и Β , рассматриваемые в совокупности, характеризуются совместной энтропиейH ( Α, Β) = −∑ ∑ p (α i , β j ) log p (α i , β j ) ,ijгде p (α i , β j ) – совместная вероятность символов; суммирование проводитсяпо всем возможным значениям индексов. Совместная энтропия характеризуется свойством коммутативности H ( Α, Β) = H (Β, Α) , что прямо следует изравенства p (α i , β j ) = p ( β j ,α i ) .Используя выражение для совместной вероятности, перепишем совместную энтропию в видеH ( Α, Β) = − ∑∑ p (α i ) p ( β j | α i )log p (α i ) p( β j | α i ) =i j9= −∑∑ p (α i ) p( β j | α i )log p(α i ) − ∑∑ p(α i ) p ( β j | α i )log p ( β j | α i ) .i ji jЗаметим, что∑ p(α i ) p( β j | α i ) = ∑ p(α i , β j ) = p(α i ) , тогда первое слаjjгаемое принимает вид −∑ p (α i )log p (α i ) = H ( Α) , а второе слагаемое предiставляет собой условную энтропию−∑∑ p (α i , β j )log p ( β j | α i ) = H (Β | Α) .i jТаким образом, совместная энтропияH ( Α, Β) = H ( Α) + H (Β | Α) = H (Β) + H ( Α | Β) .(2)Если источники статистически независимы, тоH ( Α, Β) = H ( Α) + H (Β) ,что согласуется с интуитивным представлением об аддитивности информации от независимых источников.Рассмотрим более подробно понятие условной энтропии.
Характеристики
Тип файла PDF
PDF-формат наиболее широко используется для просмотра любого типа файлов на любом устройстве. В него можно сохранить документ, таблицы, презентацию, текст, чертежи, вычисления, графики и всё остальное, что можно показать на экране любого устройства. Именно его лучше всего использовать для печати.
Например, если Вам нужно распечатать чертёж из автокада, Вы сохраните чертёж на флешку, но будет ли автокад в пункте печати? А если будет, то нужная версия с нужными библиотеками? Именно для этого и нужен формат PDF - в нём точно будет показано верно вне зависимости от того, в какой программе создали PDF-файл и есть ли нужная программа для его просмотра.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
