Главная » Просмотр файлов » Финк М. Теория передачи дискретных сообщений (1970)

Финк М. Теория передачи дискретных сообщений (1970) (1151862), страница 6

Файл №1151862 Финк М. Теория передачи дискретных сообщений (1970) (Финк М. Теория передачи дискретных сообщений (1970)) 6 страницаФинк М. Теория передачи дискретных сообщений (1970) (1151862) страница 62019-07-07СтудИзба
Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 6)

Для характеристики алфавита источника сообщения представляет интерес сравнение энтропии Н, определяемой выражением (1.10), с максимально возможной при данном алфавите энтропией Низа,=!Оп1. С этой целью вводят понятие об избыточности алфавита в данном источнике сообщения (или, как часто говорят, избыточности сообщения) «,=-! — = !— Н(х! Н(х! и,.„, — 1оп! ' Из сказанного выше ясно, что причинами избыточности могуг являться неодинаковые вероятности элементов сообщения и наличие вероятностных связей между близко расположенными элементамн. Приведем простой пример.

Пусть алфавит источника состоит из двух элементарных сообщеяий, которые обозначим А и Б. Тогда максимальная энтропия такого источииха, достигаемая при независимом выборе Л и Б с равными вероятностями, выраженная в двоичных свининах, Нмггг=-1ояг2='1. Если элементы выбираются источником независимо, но с неодинаковыми вероятностями р(А) = =03 и р(Б) =07, то энтропия на элемент равна Нг= — 03 !ояг03— — 07 !ояг 07=052+036=088 дв. ед.

В таком источнике избыточность алфавита равна О,!2. Пусть теперь вероятности выбора зависят от одного прелшествующего элемента, а именно: р(А(А)=р(Б)Б)=08 и р(А!Б)= =р(Б!Л)=02. Здесь р!А!Б) обозначает вероятность выбора элемента Л при условии, что предыдущим был элемент Б и т. д. Легко убедиться, что безусловные вероятности обоях элементов в таком источнике одинаковы и равны 0,5. Этот источник имеет два состоюшя, определяемые последним выбранным элементом, причем оба состояния имеют вероятности, равные 0,5. Тогда из (1.!0) полУчим Н = — 0 5. 0 8 !ояг 0 8 — О 5 ° О 2 1спг О 2 — О 5 ° 08 1ояг О 8 — О 5 Х Х0,2 1ояг0,2=0,722 дв.

ед.; избыточносгь алфавита, вызванная вероятностиыяи связями в таком источнике, « =0278. Рассмотрим теперь глучай, когда имеются вероятностныс связи, а безусзовные вероятности элементов не одинаковы. Пусть р(А(А)=03, р(Б)А)=07, р(А!Б)=0! и р(Б)Б) 00. Нетрудно подсчитать безусловные вероятности т, которые ока.

зываются равными р(А) =-0,(25 н Р(Б) =0,875. Таковы лге, очевидно, вероятности двух возможных состояний источника. Из (!.(О) получим и= — 0,(25(08 (оп, 03+07 )опт 07! — 0875(0,! !оят О,!+ +09 (окт09)=052 дв, ед н избыточность алфавита г„=038. Для многих практических задач интерес представляют источштки, выдающие сообщения в виде текста, написанного па каком-либо языке.

В частности, для русского языка, считая число бука в алфавите"" равным 32, имеем Нмзкс=!одз32=3 дв. ед. Если учесть неравные вероятности появления букв в тексте и зависимость этих вероятностей от ранее предшествовавших букв, то по данным различных авторов энтропия, приходящаяся на одну букву, находится в пределах от 1 до 2,3 дв. ед. Такой значительный разброс результатов вызван трудностью учета всех вероятностных связей, простирающихся на значительное число последовательных букв. К тому же величина энтропии в некоторой степени зависит от характера текста.

Исходя из этих данных, избыточность русского алфавита лежит в пределах от О,б до 0,8. По-видимому, вторая цифра ближе к действительности вэ*. Близкис к этим данные получены и для алфавитов л!ногих других языков. Определенная выше энтропия источника на элемент сообщения зависит от того, каким образом сообщения расчленяются на элементы, т. е. от выбора алфавита.

Однако энтропия обладает важным свойством аддитивности. Пусть источник сообщения с объемом алфавита 1, имеет энтропию на элемент сообщения (с учетом всех вероятностных характеристик), равную Н!. Произведем е Лля этого хзо>кно использовать формулу полной вероятности Р(Л) = Р(А) Р(А (Л) +(! — Р(А)!Р(А (Б) и реп(ить полученное уравнение относительно Р(А). ** П число букв алфавита нужно вклк1 шть пробел между словами. Прн этом (=--82, если твердый и мягкий знаки считать за одну букиу. т*~ Следует помнить, что эти результаты относятся к источникам.

выдавшим текст в аиде осмысленных русских фраз, связанных определенным содержанием. Если русские б>кяы используются в качестве условных обозначений каких-.тибо событий, сведения о кото. рых сообшает источник. то энтропия на букву должна аз|числиться исходя из вероятностных характеристик источника и может прини. мать любое значение„вплоть до Навяз=5 дв. ед. 28 Нх=лН, Определим избыточность вторичного алфавита г„,.

Максил!алызая энтропия для алфавита объемом 1,= — 1" равна Н,„„„е =1031,= и !оп1„ откуда, учитывая (1,!3), Н, емзтс пН, Н, =!в = гхт л (о8 (з (Нивке (!.14) Из выражения (1.4) следует, что избыточность при укрупнении алфавита не изменяется. Отметим, что при укрупнении алфавита ослабляются взаимные вероятностные связи между элементами сообщения. Если выбрать величину л значительно превосходящей протяженность действия вероятностных связей между элементами первичного алфавита, то вероятностными связями между укрупненными элементами можно пренебречь. Поскольку избыточность в процессе укрупнения не изменяется, то она должна практически полностью определяться неравномерностью распределения ве- 29 ;крупнение алфавита, считая каждую последовательность из любых и букв первичного алфавита одним элементом нового, вторичного, алфавита.

Очевидно, что объем вторичного алфавита 1,=1". Покажем, что энтропия на один элемент вторичного алфанита Нх равна пНь Из определения количества информации оп!дует, что в некотором конкретном элементе вторичного алфавита содержится ровно столько же информации, сколько ее содержится в и элементах первичного алфавита, входящих в его состав, Количество информации в одном конкретном элементе первичного алфавита !р является случайной величиной, принимающей различные значения для различных элементов. Количество информации в элементе вторичного алфавита Ф является суммой а случайных величин чь ..., гР . Математическое олсиДаиие величины Ф, равное по определеншо Нь как известно ()!), равно сумме математических ожиданий слагаемых тра(м=), ..., и), а так как каждое из последних равно Н!, то (!.13) роятностей элементов вторичного алфавита.

Таким образом, операция укрупнения алфавита может служить для «декорреляции» элементов сообщения, т. е. для устранения взаимных вероятностных связей между ними. Для источников с фиксированной скоростью важной характеристикой является производительность, т. с. среднее количество информации, выдаваемое в единицу времени. Есчн в среднем каждое элементарное сообщение занимает время Т, то производительность источ.шка Г(Х)=- Т Н (х) (1.15) Если в системе связи передаются сообщения от источника с управляемой скоростью, то среднее время Т.

затрачиваемое на передачу элементарного сообщения, определяется передающим устройством. В этом случае величину И'(х), определяемую выражением (1.15), следует называть производительностью передающего устройства. Различие между этими двумя случаями заключается в том, что производительность источника с фиксированной скоростью не может быть изменена при проектировании системы связи, тогда как при источнике с управляемой скоростью производительность передающего устройства выбирается проектировщиком в соот. ветствии с различными техническими и экономическими требованиями, предъявляемыми к системе.

Легко убедиться, что производительность источника пе изменяется при операции укрупнения алфавита. т.». Помехи и искажения а канапе В каналах сигналы передаются в виде некоторых процессов конечной длительности. Последовательность элементов сообщения х преобразуется в последовательность кодовых символов у.

Каждому кодовому символу уа соответствует определенный элемент сигнала, т. е. некоторая определенная на конечном отрезке времени функция г(1) (или некоторое множество таких функций). Если бы сигнал на выходе канала представлял такую ж функцию л(1), какая была подана па вход, то можно было бы с полной достоверностью восстановить на выходе переданную последовательность кодовых символов, зо а затем и декодировать ее, т.

е. восстановить переданное сообщение. То же самое было бы справедливо, если бы и канале существовали только регулярные обратимые искажения, т. е. если бы сигнал на выходе канала г'(1) представлял функцию сигнала на входе г(1) =1(х(1)), причем существовала бы обратная функция 1 — '(ьл(()1=- е а(~), которая позволила бы в точности восстановить переданный сигнал. В реальных каналах наряду с такими регулярнымь искажениями имеют место нерегулярные искажения, в результате которых нарушается взаимно однозначное соответствие между сигналами на входе и выходе кана,ла. Совокупность всех причин, вызывающих неопределенность принимаемого сигнала, обычно называют шумами или полеехами. Термин «помеха» применяется также в более узком смысле как совокупность напряжений, поступающих на вход приемного устройства помимо сигнала.

Такие помехи линейно складываются с сигналом и поэтому часто называются аддитивными. Помимо аддитивных помех в реальных каналах имеют место неаддитивные. Они представляют собой случайные искажения сигнала, вызываемые тем, что параметры, характеризующие носитель сигнала, в процессе передачи сообщения флюктупруют, т. е. вид функции г'(1) =([а(1)) нерегулярным образом изменяется во времени. На основании наблюдений за различными реальными каналами связи (в частности, различными радиоканалами) зависимость между принимаемым сигналом ' з'(1) и передаваемым а(1) можно представить в более общем виде так: к д'(1).=~~ 1ьвз(1 — тв)+и(1).

Смысл этого выражения заключается в следующем. Сигнал г(1) приходит по К различным путям, причем на каждом нз этих путей сигнал по-разному затухает, что хаРактеРизУетсЯ коэффициентами пеРедачи 1сл, ' Пгпиимаемым сигналом мы будеьс длв сокращения называть сумму сагаала, подвергнутого ыскажеиывм в канале, и аддитивиых помех. 32 " Попитие о ширине спектра сигиааа буд . р ет ассмотреио ниже. а также запаздывает на различное вр и емя г .

На входе ва наблюдается сумма сигналов,пришедших по р о разным путям, и аддитнвных помех, выржаемых членом и (г). Величины ра и гж вообще говоря, изменяютс~ во времени. В многих случаях имеет место только один путь расо многих с о (1.16) можно написать п остранения сигнала и вместо ( . >) пр с г'(Г) =1>з(! — г) ->гв(!). (1.17) б ет показано ниже„к этому же выражению Как улет и пбли>кенно свести и случай приход а сигнала по можно при л б с качений та очень мал по многим путям, если разброс зна~ н " сравнению с длительностью элемента сигнала и с „—., где Л! †эффективн ширина спектра сигнала"". Те случаи, когда мо будем называть «однолучевым распр тр (1.16), б ем называть «многолучевым и т в большей части реальных канат асп остранением».

Характеристики

Список файлов книги

Свежие статьи
Популярно сейчас
Зачем заказывать выполнение своего задания, если оно уже было выполнено много много раз? Его можно просто купить или даже скачать бесплатно на СтудИзбе. Найдите нужный учебный материал у нас!
Ответы на популярные вопросы
Да! Наши авторы собирают и выкладывают те работы, которые сдаются в Вашем учебном заведении ежегодно и уже проверены преподавателями.
Да! У нас любой человек может выложить любую учебную работу и зарабатывать на её продажах! Но каждый учебный материал публикуется только после тщательной проверки администрацией.
Вернём деньги! А если быть более точными, то автору даётся немного времени на исправление, а если не исправит или выйдет время, то вернём деньги в полном объёме!
Да! На равне с готовыми студенческими работами у нас продаются услуги. Цены на услуги видны сразу, то есть Вам нужно только указать параметры и сразу можно оплачивать.
Отзывы студентов
Ставлю 10/10
Все нравится, очень удобный сайт, помогает в учебе. Кроме этого, можно заработать самому, выставляя готовые учебные материалы на продажу здесь. Рейтинги и отзывы на преподавателей очень помогают сориентироваться в начале нового семестра. Спасибо за такую функцию. Ставлю максимальную оценку.
Лучшая платформа для успешной сдачи сессии
Познакомился со СтудИзбой благодаря своему другу, очень нравится интерфейс, количество доступных файлов, цена, в общем, все прекрасно. Даже сам продаю какие-то свои работы.
Студизба ван лав ❤
Очень офигенный сайт для студентов. Много полезных учебных материалов. Пользуюсь студизбой с октября 2021 года. Серьёзных нареканий нет. Хотелось бы, что бы ввели подписочную модель и сделали материалы дешевле 300 рублей в рамках подписки бесплатными.
Отличный сайт
Лично меня всё устраивает - и покупка, и продажа; и цены, и возможность предпросмотра куска файла, и обилие бесплатных файлов (в подборках по авторам, читай, ВУЗам и факультетам). Есть определённые баги, но всё решаемо, да и администраторы реагируют в течение суток.
Маленький отзыв о большом помощнике!
Студизба спасает в те моменты, когда сроки горят, а работ накопилось достаточно. Довольно удобный сайт с простой навигацией и огромным количеством материалов.
Студ. Изба как крупнейший сборник работ для студентов
Тут дофига бывает всего полезного. Печально, что бывают предметы по которым даже одного бесплатного решения нет, но это скорее вопрос к студентам. В остальном всё здорово.
Спасательный островок
Если уже не успеваешь разобраться или застрял на каком-то задание поможет тебе быстро и недорого решить твою проблему.
Всё и так отлично
Всё очень удобно. Особенно круто, что есть система бонусов и можно выводить остатки денег. Очень много качественных бесплатных файлов.
Отзыв о системе "Студизба"
Отличная платформа для распространения работ, востребованных студентами. Хорошо налаженная и качественная работа сайта, огромная база заданий и аудитория.
Отличный помощник
Отличный сайт с кучей полезных файлов, позволяющий найти много методичек / учебников / отзывов о вузах и преподователях.
Отлично помогает студентам в любой момент для решения трудных и незамедлительных задач
Хотелось бы больше конкретной информации о преподавателях. А так в принципе хороший сайт, всегда им пользуюсь и ни разу не было желания прекратить. Хороший сайт для помощи студентам, удобный и приятный интерфейс. Из недостатков можно выделить только отсутствия небольшого количества файлов.
Спасибо за шикарный сайт
Великолепный сайт на котором студент за не большие деньги может найти помощь с дз, проектами курсовыми, лабораторными, а также узнать отзывы на преподавателей и бесплатно скачать пособия.
Популярные преподаватели
Добавляйте материалы
и зарабатывайте!
Продажи идут автоматически
6367
Авторов
на СтудИзбе
310
Средний доход
с одного платного файла
Обучение Подробнее