62497 (Квантование сообщений. Ошибки квантования. Энтропия источника сообщений), страница 2
Описание файла
Документ из архива "Квантование сообщений. Ошибки квантования. Энтропия источника сообщений", который расположен в категории "". Всё это находится в предмете "коммуникации и связь" из , которые можно найти в файловом архиве . Не смотря на прямую связь этого архива с , его также можно найти и в других разделах. Архив можно найти в разделе "рефераты, доклады и презентации", в предмете "коммуникации и связь" в общих файлах.
Онлайн просмотр документа "62497"
Текст 2 страницы из документа "62497"
, i = 1, K. (12)
Энтропия, как количественная мера информативности источника, обладает следующими свойствами:
1. Энтропия есть величина вещественная, ограниченная и неотрицательная. Эти ее свойства вытекают из вида выражения для Н(), а также с учетом того, что 0 < P(i) < 1.
2. Энтропия детерминированных сообщений равна нулю, то есть Н() = 0, если хотя бы одно из сообщений имеет вероятность, равную единице.
3. Энтропия максимальна, если сообщения i равновероятны, то есть
P(1) = P(2) =... ... . P(k) = 1/K, и тогда
(13)
Как видно из последнего выражения, в случае равновероятных сообщений энтропия растет с увеличением объема алфавита источника (ростом числа сообщений). При неравновероятных элементарных сообщениях i энтропия, соответственно, уменьшается.
4. Энтропия двоичного источника (K = 2) может изменяться от нуля до единицы. Действительно, энтропия системы из двух сообщений 1 и 2
(14)
Из последнего выражения видно, что энтропия равна нулю при P(1) = 0; P(2) =1, или P(1) = 1; P(2) = 0; при этом максимум энтропии будет иметь место, когда P(1) =P(2) =1/2 и ее максимальное значение будет равно 1 бит.
ЛИТЕРАТУРА
-
Лидовский В.И. Теория информации. - М., "Высшая школа", 2002г. – 120с.
-
Метрология и радиоизмерения в телекоммуникационных системах. Учебник для ВУЗов. / В.И. Нефедов, В.И. Халкин, Е.В. Федоров и др. – М.: Высшая школа, 2001 г. – 383с.
-
Цапенко М.П. Измерительные информационные системы. - . – М.: Энергоатом издат, 2005. - 440с.
-
Зюко А.Г., Кловский Д.Д., Назаров М.В., Финк Л.М. Теория передачи сигналов. М: Радио и связь, 2001 г. –368 с.
-
Б. Скляр. Цифровая связь. Теоретические основы и практическое применение. Изд.2-е, испр.: Пер. с англ. – М.: Издательский дом "Вильямс", 2003 г. – 1104 с.