Книга: Теория информации

Содержание

• 1.2 Этапы обращения информации
• Рис.1.1 Этапы обращения информации
• 1.3 Информационные системы
• 1.4 Система передачи информации
• 1.5 Задачи и постулаты прикладной теории информации
• H). Эту избыточность можно устранить, если перейти к кодированию достаточно большими блоками. Пример20: Рассмотрим процедуру эффективного кодирования по методике Шеннона - Фано сообщений, образованных с помощью алфавита, состоящего всего из двух знаков x1 и x2 с вероятностями появления соответственно Р(х1) = 0,9; P(x2) = 0,1. Так как вероятности не равны, то последовательность из таких букв будет обладать избыточностью. Однако, при побуквенном кодировании мы никакого эффекта не получим. Действительно, на передачу каждой буквы требуется символ либо 1, либо 0, в то время как энтропия равна , т.е. оказывается При кодировании блоков, содержащих по две буквы, получим коды: Таблица 3.4. Блоки Вероятности Кодовые комбинации номер разбиения 1 2 3 x1x1 0,81 1 x1x2 0,09 0 1 x2x1 0,09 0 0 1 x2x2 0,01 0 0 0 Так как знаки статистически не связаны, вероятности блоков определяют как произведение вероятностей составляющих знаков. Среднее число символов на блок а на букву 1,29/2 = 0,645, т.е. приблизилось к Н = 0,47 и таким образом удалось повысить эффективность кодирования. Кодирование блоков, содержащих по три знака, дает еще больший эффект: Таблица 3.5. Блоки Вероятность Pi кодовые комбинации номер разбиения 1 2 3 4 5 x1x1x1 0,729 1 x2x1x1 0,081 0 1 1 x1x2x1 0,081 0 1 0 x1x1x2 0,081 0 0 1 x2x2x1 0,009 0 0 1 1 x2x1x2 0,009 0 0 0 1 0 x1x2x2 0,009 0 0 0 0 1 x2x2x2 0,001 0 0 0 0 0 Среднее число символов на блок равно 1,59, а на знак - 0,53, что всего на 12% больше энтропии. Следует подчеркнуть, что увеличение эффективности кодирования при укрупнении блоков не связано с учетом все более далеких статистических связей, т.к. нами рассматривались алфавиты с независимыми знаками. Повышение эффективности определяется лишь тем, что набор вероятностей получившихся при укрупнении блоков можно делить на более близкие по суммарным вероятностям подгруппы. Рассмотренная методика Шеннона - Фано не всегда приводит к однозначному построению кода, т.к. при разбиении на подгруппы можно сделать большей по вероятности как верхнюю, так и нижнюю подгруппы:
• Таблица 4.7.
• Таблица 4.9.
• 4.9.1 Общие понятия и определения
• 4.9.2 Математическое введение к циклическим кодам
• 4.9.3 Требования, предъявляемые к образующему многочлену
• 4.10.1 Обнаружение одиночных ошибок
• 4.10.2 Исправление одиночных или обнаружение двойных ошибок
• 4.10.3 Обнаружение ошибок кратности три и ниже
• 4.10.5 Обнаружение и исправление пачек ошибок
• 4.10.7 Матричная запись циклического кода
• 4.10.8 Укороченные циклические коды
• 4.11.1 Линейные переключательные схемы