Баскаков С.И. Радиотехнические цепи и сигналы (3-е издание, 2000), страница 97

Впервые зту задачу поставил и решил американский инженер Хартли в конце 20-х годов. Хартли предложил вычислять количество информации, содержащейся в сообщении, по формуле гл = 1ойа Рлю где логарифм может быть взят при любом основании.

В дальнейшем оказалось, что удобнее всего пользоваться двоичными логарифмами. При этом ел 1ойа Р ° Хотя с физической точки зрения величина т безразмерна, ее стали измерать в условных еднницах, называемых битами (англ. Ьйиегу сйй!г — двоичная единица). Выбор двоичных логарифмов дихтуется тем, что сообщение в технически реализуемых каналах связи чаще всего принимает форму отдельных групп (кодовых слов), состоящих только из двух символов, которые можно трактовать ках 0 и 1.

Каждая тахая группа кодирует, например, буквы того или иного естественного языка, из которых составляются отдельные слова. Логарифмический харахтер формулы (16.68) обусловлен тем, что при этом достигается аддитивность информации, завпоченной в последовательно расположенных символах. 16.6. Оценка информационных параметров радиоканала Действительно, если А и  — два независимых события, то сложное событие С„состоящее в том, что происходит как А, так и В, будет иметь вероятность Рс=Р„-Рн, а значит, гсс»!а+!и.

Ншсонец, логарифмическая функция строго монотонна на отрезке изменения аргумента от нуля до единицы; сообщение о наступлении маловероятного собтия содержит в себе большую информацию, в то время как сообщение о наступлении достоверного события (Р„=1) несет нулевую информацию. Првмер 16.5. 1змеетсн одна странияа текста, нанисаиного иа русском языке. Стрекоча содернсит 30 строк и но 60 букв в казкдоп строке.

Овезтть обьем ингбормации в данном теконе. Будем полагать, что алфавит языка состоит из 32 букв. Если считать дла простоты, что появление любой буквы в тексте равновероятно, то каждая буква содержит информацию 1 1взз — 1ояз — = 5 бит. 32 Отсюда общая ниформациовнан емкость страницы текста состават 1=50 30 60 9000 бит=9 кбвт. Следует заметить, что подобный расчет является лишь ориентировочным, прежде всего потому, что не учитывается разница между всроатиостамн появления различных букв. В действительности же буквы «а» вля «и» встречаются гораздо чаще, нежели буквы «ф» ялв «ц».

Кроме того, здесь вгпорврустся факт сильной корреляцвн между отлельвыми свмеонаык алфавита (напрнмер, сочетание букв «са» е русском юыке встречается гораздо чаще, нежели сочетание «сщ». Энтропии источника сообщений. Развивая идеи Хартлн, К. Шеннон ввел очень важное понятие энтропии источника. Пусть сообщения в канале связи строятся из символов некоторого алфавита; полное число символов (букв) в алфавите составляет М. Предположим, что известны все величины Р; (! = 1...Ф) — априорные, т.е.

известные до опьпа вероятности появления любого из символов. Энгнронией источника сообщений называют среднее значение количества информации, приходицееся на один символ алфавита (бнт/символ): и Н= — ~> Р!1обхР» (16.69) ! 1 Здесь статистическое усреднение проводится в соответствии с принципом, изложенным в и.

6.1, применительно к дискретной случайной величине. Содержательный смысл понятия энтропии состоит в то, что она характеризует степень исходной неопренделенности, которая присуща элементам алфавита, выбранного для передачи сообщений. Афавнт с малой энтропией, как правило, мало пригоден для практического использования. Глава 16. Вопросы творим помехоустойчивости релиопрмсма 450 0.5 р Теперь предположим, что источник сообщений создает символы алфавита в некотором постоянном темпе и пусть г— скорость их появления.

Тогда величину Я=гН, (16.70) можно называть информационной лроизводительастью не|ноч- ника (бнт/с). Пример 16.7. Аудиоинформация записывается на оюпический диск /СР-КОМ) в виде последователышсти о|нече|нных значемий звукового сигнала с частотой дискретизации 44.1 кГц. Казкдый отсчет предс|павлен 16-разрядным двоичным числом, Здесь первичным алфавитом слуи:ит множество аз двух равиовероятных символов 0 и 1; энтропия такого ансамбля равна 1 бвт.

При работе системы происходит переход к новому алфавиту. Его вбуквамим служат 16-разрядные кодовые слова; общее число различвых слов составляет 2 в. Легко видеть, что энтропия этой системы Н 16 бит/символ. Так как г 4.41 10ь символ/с, то по формуле (16.70) получаем величину информационной производительности Я 16 4.41 10 =7.056 10 =705.6 кбвт/с. Пропускная способность радиоканала при наличии шума. Интуитивно ясно, какими свойствами должен обладать радиоканал, эффективно осуществляющий передачу информации от источника к потребителю. Во-первых, такой канал обеспечить поддержку заранее заданной скорости информационного потока, Во-вторых, нужно гарантировать невозможность ошибочного приема символов, либо свести вероатность таких ошибок к приемлемо низкому уровню.

Если бы в канале связи полностью отсутствовали шумы, то сама постановка задачи о пропускной способности теряла смысл — любые объемы информации можно было бы передать за достаточно малый отрезок времени, полностью избежав каких-либо ошибок в принятом сообщении. Действительно, взяв один единственный отсчет сигнала и представив его двоичным числом (кодовым словом) достаточной длины, можно с помощью этого числа закодировать сколь угодно длинное сообщение. Пример 16.6.

Пусть передача ведется с помощью двоичного алфавита, состоящего ншлько из двух символов, например, 0 и 1. Вероятность появления первого символа равна Р, в |по время как вероятность появления всторого символа сос|мавляет 1 — Р. Исследовать зависимость энтропии данного источим|а сообщений о|п численного значения вероятное|пи Р. Ка основании формулы (16.69) имеем: Н вЂ” Р)ой, Р— (1 — Р) 1ой, (1 — Р).

График зависимости Н(Р), построенный ио этой формуле, показывает, что максимальное значение эвтровви, равное 1 бит/символ, достигается при раввовсроатиом воявлевии обевх букв алфавита. ИШа5 Если же Р приблииаетса в нулю или к едиивце, эвтропия источника становится весьма низкой, что говорит о малой информативиости выбранного алфавита.

Сообщешщ превращаются, по сути дела, в летсрмивврованиые последовательности свмволов. 16 6. Оценка ннформацнонных параметров радиоканала 451 Неизбежное присутствие в канале связи шумов различного происхождения в корне меняет ситуацию. Интенсивность информационного потока жестко ограничивается такими техническими параметрами, как ширина полосы частот, занимамых каналом, а также отношением средней мощности полезного сигнала к средней мощности шума на входе приемника. Разумно предположить, что канал связи тем совершеннее, тем шире полоса частот и чем больше мощность полезного сигнала в сравнении с мощностью шума. Впервые количественные оценки, дающие возможность решить данную проблему, были получены в классической работе К.

Шеннона. Суть его подхода состоит в следующем. Предположим, что имеется некоторый радиоканал с шириной полосы пропускания П, Гц в частотной области. Пусть Р,— средняя мощность полезного сигнала на входе приемника. Предположим также, что в канале присутствует белый гуссовский шум, мощность которого на входе приемника составляет величину Р . Длн надежного различения одного сигнала от другого необходимо, чтобы данные, получаемые при взятии отсчетов, отличались друг от друга на достаточную величину, например, не менее чем на среднеквадратическое отклонение, обесловленное шумом. Следует помнить, что дисперсии стационарных случайных колебаний прямо пропорциональны их мощностям.

Тогда приходим к выводу, что число «хорошо различимых» значений при взатии каждого отсчета составит — — 1+ —. Будем полагать, что передача информации длится Т секунд. По теореме Котельникова при этом берется по крайней мере 27П отсчетных значений. Общее число различных сигналов, которые могут быть пострены описанным способом, М= 1+— (16.7 1) Все они равновероятны, и вероятность выбора одного конкретного сигнала равна 1/М. Число битов информацше.

которое можно безошибочно передать за время Т, составит— 1ойз(1/М) =1ойзМ. Достигаемая при этом скорость передачи информации (бнт/с) получила название пропускной способности канала (англ. с/нюне! сарасйу): (16.72) Данное соотношение является важным ннструментом при проектировании разнообразных радиоканалов. Из формулы (16.72) следует, в частности, вывод о том, что сущствуют два пути повышения пропускной способности. Первый путь— расширить полосу частот канала, второй путь — повысить Глава !6.

Вопросы теории помехоустойчивости рвпиоприсма 452 отношеыие сигнал/шум. Этн ыути неравноценны, поскольку пропускная способность пропорциональна первой степени ширины полосы и логарифму отношения снгнал/шум. Поэтому реализовать ыа практике узкополосный канал с высокой пропускной способностью за счет повышения мощности передатчика и снижения мощыости шума удается далеко не всегда. Пример 16.8.

Один кадр черно-белого телевизионного изображения содержит 3 10з точечных элементов, тах называемых пихселей. Кадый такой элемент требует 256 градаций яркости изображения. За одну секунду передается 25 кадров. Отношение сигнал/шум составляет 30 дБ. Определить минимальное значение ширины полосы частот канала П, которое обеспечивает подобный темп передачи информации.