Горяинов В.Т., Журавлев А.Г., Тихонов В.И. Статистическая радиотехника - примеры и задачи. Под ред. В.И.Тихонова (2-е издание, 1980) (1092036), страница 75

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 75)

При этом Н (Х, У) = Н (Х) + И (!'). (17.2!а) Средняя взаимная информация /(Х; У) связана с энтропией соотноше- ниями /(х; у) = и(х) — и(х; у) = и(у) — и(у!Х) = и(х)+ и(у)— — Н(Х, У), (17.22) ! (Х; У) = Н(Х), /(Х; У) ю Н(У). (17.23) Энтропия Н вЂ” удобная мера неопределенности закбиов распределения вероятностей, особейно в тех случаях, когда распределения являются асимметричными, многовершинными н когда использование таких числовых характеристик, как среднее значение, дисперсия и моменты высших порядков, теряет всякую наглядность. Выражения для энтропия некоторых дискретных законов распределения вероятностей приведены в табл. 17.1.

Для характеристики величины, на которую удлиняются сообщения на данном языке по сравнению с минимальной длиной, необходимой для передачи той же информации, вводят специальный параметр /7 — избыточностгп !7 1 — Н Пой и 1 — Н,ь/Не 1 — (ь, О < // < 1, (17.2ч) где и — число разлнчнык букв используемого алфавита; Н вЂ” энтропия, ~» приходящаяся иа одну букву смыслового текста при учете всех многобуквеииых сочетаний; Нэ !ой Н вЂ” максимальная энтропия, приходящаяся иа Таблица !7.2 с !р с,о !а в !л Бук иа (тирс) О.О4О!О,ОЗВ О, 062!О, 062 0.053 0.053 О,ОЗ5 О.О45 Чистить 0,175 О,О72 0.090 ь.ъ б Буква 0,026! О,О!4 О.О)4 о,о!3 0,016 0,023 0,021 0,016 0.016 Чистота о.огв 0,026 ч !в Буква О.О)г!О.О)О О,ООЗ О.О02 0.007 0,006 9.006 0.004 о.ооз Частота 0,009 (тирс) Буква 6,065 О,О 54 0,0664 0,063 0,059 0,052 0,047 о,О72 О.)О6 Частота О, 2 Буква О.

0226!9.0326 О, 021 0.0176 Частота О, 035 0.012 О,ОГ2 О,О)1 0 029 О.Огв ° ! ! ° Букса ! Ь с 0.002 !0,001 !О,ОО! Частота О, 0105 о,оов о,ооз О.оо! НР и, и, Н, би35 4,03 Русский текст Английский текст 5,00 6,75 3,00 3,10 3,52 3,32 1,80 й Ж й и о и Д и х й Ф и х о сь о) Относительные частоты появления букв в русском тексте Таблица 173 Относительные частоты появления букв в английском тексте Таблица 17А Значения энтропий Н) првхоиецвхсв нв окну букву с учетом различйых буквенных сочетаний *) Н,— автрииия иа букву текста ири учете вероятности ваиаиааии даукбукаамвм сечетаава. букву, когда буквы независимы и равновероятны; Р— коэффициент сжатия текста.

Избыточность наиболее распространенных европейских языков превыша: ет 50%. Некоторые статистические данные о структуре различных языков приведены в табл. 17.2 — 17.4 [1, !5!. Во многих случаях выгодно первоначальное сообщение источника представить при помощи другого алфавита путем кодирования. Характеристиками кода ввлвются значность и его основание. Значность кода и — число символов в кодовом слове (кодовой комбинации), а основание Ь вЂ чис различных символов кода. Наиболее распространены двоичные (бинарные) коды с основанием Ь = 2. Равномерным является такой код, у которого значность кода длв всех кодовых слов одинакова (например, код Вода). При кодировании сообщений, передаваемых по каналам связи без помех, необходимо выполнить два условия; 1) кодовые слава должны быть различимы и однозначно связаны с соответствующими соабщениими; 2) применаемый способ кодирования должен обеспечить максимальную экономичность (краткость) кода, при которой на передачу данного сообщении затрачивается минимальное время.

Код, удавлетворвющий второму из этих условий, называют оптимальным. Если [и<), 1=1, 2, ..., Н,— ансамбль взаимно независимых сообщений с априорными вероатнастими р (и;), а (р/), /=1, 2, ..., 5,— ансамбль символов кода и 5иН, то число кодовых слов по и символов в каждом слове М=Ьа. При /а >э Н, где и — наименьшее целое число, дли которого выполняется это неравенство, ансамбль сообщений (пг) можно однозначно закодировать при помощи Л/ различных кодовых слов по и символов в слове. Среднее числа <и> символов кода, приходящихся на одно сообщение, л ( и '> =- ~ пг р (иП, (17.25) г=! причем Н (У)/!ой 5 щ <и> < Н (У)/!ой 5 -1- 1, (17.26) где ы Н(У) = и.; р(и;) !ай р (иг) г=> — энтропии ансамбля сообщений.

При кодировании целыг кблокоа», а не отдельных сообщеаий Н (У)/1ой /. <х <и> ( Н (У)/1ой Е + 1/ч, (17. 27) где и — число статистически независимых символов в блоке. Дли двоичного кода Н ( У) < <л> ( Н ( У) + 1/ч, (17.28) Примерами двоичных кодов, близких к оптимальным, являются код Шениона — Фана и код Хаффмена [1, 2, 109, 110). Экономичность кодировании сообщений — одна из важных характеристик работы системы связи. Другими ее характеристиками являются скорость передачи, пропускнаи способность, достоверность приема информации и т.

д. Пусть имеется дискретный стационарный канал связи без памяти (без последствия) с заданными характеристиками (рис. 17.1), причем все символы к; закодированного сообщения" и соответствуюпгие им элементарные сигналы у/ имеют одинаковую длительность т, где Г = 1/т — частота посылки символов. Канал без памяти полностью описывается априорными вероятностями Р(кг), характеризующими структуру закодированных сообп<ений, и условными вероитностимн р (у/! кг), определяющимися характеристиками канала.

500 г [ КратиПиП<иин ригнили Лг Пиния алязи еуинрегилруеиия ригнили Пиния руязи Рнс 17.! Канал связи с помехами Скорость передачи Уь — среднее количество информации, получаемое за единицу времени: Уь Р / (Х; У) Р [Н (Х) — Н (Х ! У)[ Г[Н (У) — Н (У ! Х)). (17.29) При отсутствии помех множества событий Х и У статистически полаостью взаимозависимы, т. е.

Н (Х ! У) = Н (У [Х) = О. Следовательно, Уапык = РН (Х) — ГН (1'). (17.29а) Пропускная способность канала свизи С вЂ” максимальная скорость передачи информации, которая может быть достигнута выбором оптимального распределения вероятностей передачи р (к;) символов сообщения: С=Мах Г/(Х; У)=.Мах Р[Н(Х) — Н(Х![У))= р (к,.) р (к.) = Мах Р [Н (У) — Н (У ! Х)) . р (кг) При отсутствии помех [Н (Х ! У) Н (У [ Х) = О[: (17.30) С=Сее=Мах Р/ (Х; У) =Мах РН(Х) =Мах РН(У). (17.30а) р (к.) р (кг) р(к;) Дли двоичного симметричного канала связи С Р [1 + (1 Ре) 1ой (1 — Ре! + Ре !ой Ре) (17.31) где Р» — вероятность ошибочного приема.

При отсутствии помех (Р, = О) (17.31а) С Р. (17.32) (17.33) /7» - 1 — [ой 54„/[оа М, КО- Ф(<)+ <)ь), 501 На рис. 17.2 приведены зависимости относительной пропускной способности от отношения сигнал/шум при оптимальных методах приема радиотелеграфных сигналов [1); сплошные кривые относятся к детерминированным сигналам, а штриховые — к сигналам со случайной начальной фазой; Е— энергия сигнала, Не — спектральная плотность белого шума.

Дли повышения достоверности приема дискретной информации используют корректирующие коды (коды с обнаружением ошибок и коды с обна ружением и исправлением ошибок). Методьгпомехоустойчивого кодирования основаны на введении в код некоторой избыточности, достаточной дли компенсации помех [109 — 115). Экономичность и эффективность кодов с обнаружением ошибок определают коэффициент избыточности /<а и коэффициент обнаружении Ке [114): Рнс.

17.2. Пропускная способность различных систем радпотелеграфпн пра приеме детерминированных сигналов (сплошные линнп) и сигналов со случайной начальной фазой !штриховые линии) на фоне белого шума ьг'ьт а УУУ 7 ггдрг!лг)=г1 рпс. 17.3. ддвоичный симлгетрпчпый канал связи с номехамп РГлгд= гаг 3, Рдлгд —;лг Уг РГУг!лг)-у 7 У 7а еи УУ И гб,тУл 2. ПРИМЕРЫ Так как р (хд) р 1 уз) хд) Р (хг! Уг) = р (уг) то где М = 2" — общее число кодовых слов, которое можно получить в и-злементном коде; Мд — количество используемых комбинаций; Я вЂ” общее количество искаженных комбинаций, ошибка в которых может быть обнаружена; Яд — общее число искаженных комбинаций, ошибка в которых не поддается обнаружению.

17Л. В партии 100 радиоламп, из них 5% бракованных. Из партии выбирают наугад 5 радиоламп для контроля. Какое количество информации содержится в сообщенги о том, что в случайной выборке оказалось ровно 3 бракованных радиолампы? Реп!ение: Случайная величина Х вЂ” число бракованных радиоламп в выборке из 5 радиоламп — может принять значения х, = О, х, = 1, хз = 2, х, =- 3, х, = 4, х, = 5. Распределение вероятностей величины Х подчинено гипергеометрическому закону (см.

табл. 2.1): Рпг(Х=й) =С» С" —" /Сп. В нашем случае /дд = 100, и = 5, М = 100 0 05 = 5, й =- 3. Следовательно, вероятность Р, (3) того, что в случайной выборке будет ровно три бракованных радиолампы, равна Ра (3) = СЙ С дев' — и/С1 во = .— — ~ — ~ 0,000953. 5! 951 Г 1001 3121 21 931 ( 51951 Используя формулу (17.2), получаем 1 (ха) = — 1он р (ха) = — 1оя Р, (3) ж 10,7 дв. ед. 17.2. По двоичному симметричному каналу связи с помехами (рис. 17,3) передаются сигналы х, и х, с априорными вероятностями р (х,) = 3/4 и р (х,) = 1/4. Из-за наличия помех вероятность правильного приема каждого из си~палов (х, и х,) уменьшается до 7/8.

Характеристики

Список файлов книги