Главная » Просмотр файлов » Финк М. Теория передачи дискретных сообщений (1970)

Финк М. Теория передачи дискретных сообщений (1970) (1151862), страница 10

Файл №1151862 Финк М. Теория передачи дискретных сообщений (1970) (Финк М. Теория передачи дискретных сообщений (1970)) 10 страницаФинк М. Теория передачи дискретных сообщений (1970) (1151862) страница 102019-07-07СтудИзба
Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 10)

(1.40) До сих пор мы считали, что принятый сигнал г'(!) имеет только дискретный ряд значений. Рассмотрим теперь более реальный случай, когда г'(!) принимает непрерывный ряд значений, характеризуемый плотностью вероятностей в (г') и условной плотностью вероятностей вч(г'1хь) при известном переданном сообщении. Представив приближенно рч (г'и) = тпч (г'„) Лг', рч (х>п г'„) =рч(ха)точ(г')х>)Лг' и т.

д. и произведя затем предельный переход Лг — ьО, получим из (1.36) следующее интегральное выражение: 1(х, г') = = ~)~ ~Т) ~ Р,р,(хя)г)тэ,,(г) 1ой' Р' х" '1 с(г', (!.41) А к~ где интегрирование производится по всему множеству 7'. Таким образом, мы получили выражение для количества информации, содержащейся в непрерывном сигнале г' о дискретном сообщении х.

Хотя мы рассматрпаасм источники только дискрстиыт сообщений, нам а иекоторык случаях потребуется пыражеине для количсстпа информации, содержащейся и одном пепрерыапои процессе х'(1) относительно другого непрерыапого процесса х(1). Для этого 4Б а. *'пч,',, ~ю*. ахч в(х, а'1 в (х) ге(е'1 Х ' Если среднее время, затрачиваемое на выбор одного элементарного сообщения, равно Т, то количество информации, передаваемое по каналу связи в единицу времени, или скорость передачи информации по линии связи 1'(х, г') == ~ И(х) — 7 И(х(г') =.— Н'(х) — Н'(х(г'), (1.44) где И' (х) = — И (х) — производительность источника Т или передающего устройства, 1 Н'(х)г') == — И(Х1г') — ненадежность, отнесенная к единице времени.

4.8. Пропускная способность канала Г!усть задан некоторь>й канал связи, т. е. определено множество сигналов (г(!)), которые мокнут подаваться на вход канала, множество (г'(1)) сигналов на выходе* и условное распределение вероятностей гэ(г')г) сигналов на выходе при известном сигнале на входе. Если задаться каким-либо априорным распределением вероятностей входных сигналов, например плотностью щ(г), то можно определить скорость передачи ин- * Оба зтн мпожестпа могут быть как дискретными, так и пепрсрыпаыми Ниже асе формулы по избежание поаторсинй записаны для непрерыанык мпожестп сигпалоп. В случае дискретных множеств нужно заменить плотности распределений аероятиостяин, а интегрирование — суммированием. 4 — 2447 49 зп, которая в соответствии <рор рмапии по каналу связи, с (1.43) и (1.44) равна и> (г г') ь.*>= — '![ ь.*)~ „ы..

<. ~ (г ')=т ! я лительность элемента сигнала, Здес — ср днян д е говоря, от в(г), а вхо в р ыражение плотности в(г') (г') ивг, м: лить по заданным плотностя в (г, г') = в (г) в (г'[г), в (г') = ~ в (г, г') бг. ч Полученное значение скорое р ии сти пе едачи информации от п оизвольно выбранного распределения Роет!'осте!' входных передачи информации по всем допустимым раси ных сигналов (или, то ( ., чиее, наи- ниям вероятностей входны ч пнформая г ань скорости передачи и меньшая верхняя гр " способностью канала: ции) С называется пропускной спасо н С=вцрР(г, г). Р Ф (1.46) ч (ь! е еленин канала накладыва!ется доИногда при определении к ния на возможные распределе- полнительныс ограничения ых сигналов, ак, на Т, ап ример, ния вероятностей входи можно потребовать, чтой р бы с еднее значение ь гощиости заданной величины ли о б чтобы сигнала не превышало з ь опчеделзнное конечное число эле- использо алесь лишь м, ментарных сигнало в из множества г и т.

б я по всем воз- в фо муле (1Лб) верхняя грань берется по можпым в( ), удовле (1), творяющим наложенным огранипрактически интерес ь канала является конечно вел ная способность кана; да, когда сигналы Она ра~на нулю д да, оъ Распрел~ленив этом Р(г, г') =О при любом априори входных сигналов. 50 Основная теорема теории информации (теорема кодирования), впервые сформулированная К. Шешюном [1), заключается в том, гго сообщения всякого дискретн„.о источника могут быть закодированы сигналами канпла гЯ и восстановлены по сигнплам на выходе „-инала г'(!) с вероятностью оишбки, сколь угодно близкой к нулю, если Н'(х)<С Если же Н'(х))С, то такое кодаровпние невозможно, Здесь Н'(х) — производительность источника с фиксированной скоростью либо производительность передающего устройства для источника с управляемой скоростью. Поскольку в последнем случае величину И'(х) можно выбирать произвольно, то для источника с управляемой скоростью эту теорему удобнее сформулировать так: сообщения источника с управляемой скоростью можно зпкодаровпть сигналами г(!) и восстанотсгь по сигналам г'Я на выходе канала так, чтобы вероятность ошибка была сколь угодно близка к нулю, и средняя скорость передачи — сколь угодно близка с к = сообщений в секунду, где Н(х) — энтропия иси (х) то~ника на однг> сооби(ение.

Теорема кодирования в настоящее время строго доказана при некоторых несущественных для практики ограничениях, наложенных па свойства источника и канала. Такие доказательства можно найти в работах по теории информации, например (1, 3, 18). Не пытаясь изложить здесь'подробный ход этих доказательств, отметим лишь основные этапы, необходимые для понимания последующего. Ограничимся для упрощения случаем источника с управляемой скоростью. Рассмотрим всевозможные последовательности из и элементарных сообщений источника, Таких различных последовательностей может быть 1", где ! — объем алфавита источника и каждая из них имеет определенную вероятность, определяемую статистическими свойствами источника.

Расположим их в порядке убывающей вероятности и назовем первые [2"г>! !) типичными последовательностями, а остальные — нетипичными. Здесь И(х) — энтропия источника, отнесенная к элементар- номУ сообп!ению в двоичных единицах, а квадратные скобки обозначают целую часть заключенного в них числа. Пусть Р„--суммарная вероятность всех нетипич- 4Ф 5! ных последовательностей сообщений, а й — любое положительное число. Исходя из закона больших чисел при очень широких предположениях об источнике, можно доказать существование такого числа пь что при и'> и, (1.47) Р <б. Рассмотрим далее все допустимые для данного капала сигналы а(г) длительностью Т. Выберем из них йг<2от разггичных си~палов, где С вЂ” пропускная способность в двоичных единицах в секунду, не оговаривая пока, как этот выбор произведен.

Пусть на выходе канала принимаемые сигналы г'(г), имеющие также длительность Т, поступают на решающую схему, определяющую по критерию максимально~о правдоподобия, какой из выбранных сигналов передавался. При агом с некоторой вероятностью р решающая схема будет ошибаться. Доказывается, опять таки при очень широких предположениях о канале, что прн любом д>0 существует такое значение Ть что при Т>Т, можно осуществить выбор йг сигналов так, чтобы вероятность ошибки р была меньше ть Этого нельзя сделать, если Н>2от Теперь при тлюбоы а)Оатможно положить о=а/2 и найти соответствующее значение гго Затем, положив т = = а/2, определим соответствующее значение Т,.

Далее выберем значение Т, болыпее Т, и в то же время большее п,гг' (к) , что всегда возможно. Тогда можно определить величину йг, удовлетворяющую условию 2анрл йг < 2от (1.48) где гг)п, и Т >То Выберем йг сигналов з(1) так, чтобы вероятность ошибки не превышала и =-а/2. Каждой из типичных последовательностей сообщений источника сопоставим один из выбранных сигналов.

Так как таких последовательностей (2ящю), то найдется по меньшей мере один неиспользованный сигнал из выбранных. Этот сигнал будем посылать в канал всякий раз, когда источник выдает нетипичную последовательность, вероятность чего меньше 6=а/2, примирившись с тем, что нетипичные последова- яя гельпости будут приниматься ошибочно а. Тогда полная вероятность ошибочного приема последовательности сообщений не превысит в. Легко видеть, что при этом в секунду передается и/Т сообщений, причем величина и/Т может быть сколь угодно близка к С/гт (х), что и утверждает теорема кодировагшя. Примерно по такой же схеме строится доказательство для источника с фиксированной скоростью.

Следует подчеркнуть, что чем ближе Н'(х) к С н чем меньше допустимая вероятность ошибки, тем больше должна бьыь длина блока (последовательности сообщений) и. С увеличением а возрастает величина задержки между моментом выдачи сообщения источником и получения его получателем. Важно отметить, что всличгина этой задержки остается конечной. Для большей части каналов извсстно только доказательство существования описанного способа кодирования (т. е. возможности выбора йг сигналов, различаемых решающей схемой со сколь угодно малой вероятностью ошибки). Лишь для отдельных частных случаев имеются конструктивные доказательства теоремы, показывающие, как эти сигналы выбирать.

т.9. Основные задачи теории передачи дискретной инФормации В самом общем виде задача теории передачи дискретной информации может быть сформулирована так. Задан некоторый источник сообщенгия. Требуется определить наилучший способ передачи этого сообщения получателю. Однако в такой общей постановке задача недостаточно определена. Необходимо договориться отом, в каком смысле способ передачи следует считать наилучшим. Если бы заданными были не только источник сообщения, но и способ преобразования сообщения в сигнал (кодирование в широком смысле), а также характер помех в канале, то задача свелась бы к выбору решаю- а Возможна н другая схема коднровання, прн которой нстнпнчпмс послсдоваггльвостн псрсдагогся правильно ценой некоторого увслнчсння вадсржкн (Ц.

Характеристики

Список файлов книги

Свежие статьи
Популярно сейчас
Зачем заказывать выполнение своего задания, если оно уже было выполнено много много раз? Его можно просто купить или даже скачать бесплатно на СтудИзбе. Найдите нужный учебный материал у нас!
Ответы на популярные вопросы
Да! Наши авторы собирают и выкладывают те работы, которые сдаются в Вашем учебном заведении ежегодно и уже проверены преподавателями.
Да! У нас любой человек может выложить любую учебную работу и зарабатывать на её продажах! Но каждый учебный материал публикуется только после тщательной проверки администрацией.
Вернём деньги! А если быть более точными, то автору даётся немного времени на исправление, а если не исправит или выйдет время, то вернём деньги в полном объёме!
Да! На равне с готовыми студенческими работами у нас продаются услуги. Цены на услуги видны сразу, то есть Вам нужно только указать параметры и сразу можно оплачивать.
Отзывы студентов
Ставлю 10/10
Все нравится, очень удобный сайт, помогает в учебе. Кроме этого, можно заработать самому, выставляя готовые учебные материалы на продажу здесь. Рейтинги и отзывы на преподавателей очень помогают сориентироваться в начале нового семестра. Спасибо за такую функцию. Ставлю максимальную оценку.
Лучшая платформа для успешной сдачи сессии
Познакомился со СтудИзбой благодаря своему другу, очень нравится интерфейс, количество доступных файлов, цена, в общем, все прекрасно. Даже сам продаю какие-то свои работы.
Студизба ван лав ❤
Очень офигенный сайт для студентов. Много полезных учебных материалов. Пользуюсь студизбой с октября 2021 года. Серьёзных нареканий нет. Хотелось бы, что бы ввели подписочную модель и сделали материалы дешевле 300 рублей в рамках подписки бесплатными.
Отличный сайт
Лично меня всё устраивает - и покупка, и продажа; и цены, и возможность предпросмотра куска файла, и обилие бесплатных файлов (в подборках по авторам, читай, ВУЗам и факультетам). Есть определённые баги, но всё решаемо, да и администраторы реагируют в течение суток.
Маленький отзыв о большом помощнике!
Студизба спасает в те моменты, когда сроки горят, а работ накопилось достаточно. Довольно удобный сайт с простой навигацией и огромным количеством материалов.
Студ. Изба как крупнейший сборник работ для студентов
Тут дофига бывает всего полезного. Печально, что бывают предметы по которым даже одного бесплатного решения нет, но это скорее вопрос к студентам. В остальном всё здорово.
Спасательный островок
Если уже не успеваешь разобраться или застрял на каком-то задание поможет тебе быстро и недорого решить твою проблему.
Всё и так отлично
Всё очень удобно. Особенно круто, что есть система бонусов и можно выводить остатки денег. Очень много качественных бесплатных файлов.
Отзыв о системе "Студизба"
Отличная платформа для распространения работ, востребованных студентами. Хорошо налаженная и качественная работа сайта, огромная база заданий и аудитория.
Отличный помощник
Отличный сайт с кучей полезных файлов, позволяющий найти много методичек / учебников / отзывов о вузах и преподователях.
Отлично помогает студентам в любой момент для решения трудных и незамедлительных задач
Хотелось бы больше конкретной информации о преподавателях. А так в принципе хороший сайт, всегда им пользуюсь и ни разу не было желания прекратить. Хороший сайт для помощи студентам, удобный и приятный интерфейс. Из недостатков можно выделить только отсутствия небольшого количества файлов.
Спасибо за шикарный сайт
Великолепный сайт на котором студент за не большие деньги может найти помощь с дз, проектами курсовыми, лабораторными, а также узнать отзывы на преподавателей и бесплатно скачать пособия.
Популярные преподаватели
Добавляйте материалы
и зарабатывайте!
Продажи идут автоматически
6489
Авторов
на СтудИзбе
303
Средний доход
с одного платного файла
Обучение Подробнее