Лекции

МОСКОВСКАЯ ГОСУДАРСТВЕННАЯ АКАДЕМИЯ
ПРИБОРОСТРОЕНИЯ И ИНФОРМАТИКИ

КАФЕДРА АВТОМАТИЗИРОВАННЫХ СИСТЕМ ОБРАБОТКИ

ИНФОРМАЦИИ И УПРАВЛЕНИЯ (ИТ-7)

ДИСЦИПЛИНА "Теория информации"

Методические указания к курсу лекций.

Специальность 22.02.03 "Автоматизированные системы обработки

информации и управления"

Москва, 2002

УТВЕРЖДАЮ

Проректор по учебной работе

____________Проф. Соколов В.В.

" " 2002

АННОТАЦИЯ

Методические указания соответствуют программе курса “Теория информации” для студентов специальности 22.02.03. Рассматриваются следующие понятия: информация, сигал дискретный и непрерывный, канал, пропускная способность канала, спектр одиночного и периодического сигнала. Приводится теорема Котельникова. Понятия иллюстрируются многочисленными примерами, схемами, графиками. Целью методических указаний является помощь студентам при выпол­нении лабораторных и контрольных работ.

Авторы: Морозова Т.Ю.

Научный редактор: проф. Петров О.М.

Рецензент:____________________________________

Рассмотрено и одобрено на заседании кафедры ИТ-7

"__"____________2002 г. Зав. кафедрой __________О.М. Петров

Ответственный от кафедры за выпуск учебно-методических материалов

Неравенство Рао - Крамера

Пусть из результатов эксперимента необходимо найти некоторый параметр.

x – результат;

α - параметр

Неравенство Рао – Крамера отвечает на вопрос:

Какова предельная точность оценки параметра?

Полное описание эксперимента P(x, α )-это вероятность получить данный результат x эксперимента при конкретном значении искомого параметра α.

Пример: Студент предлагает измерять высоту небоскреба H₀, карабкаясь по стене и последовательно прикладывая к ней барометр, длина которого L.

Предполагается , что L ~ N (L₀, σ²), n- число раз , которое барометр уложится на высоте. Тогда n*L- результат измерения, H₀- искомый параметр.

P(n*L, H₀)=

Второй предлагаемый способ: бросить барометр с крыши и засечь время между моментом броска и звуком удара. Цена деления секундомера - 1 с.

Если пренебречь другими источниками погрешности,

1) P(t, H₀)=1, при ,

2) P(t, H₀)=0 при

(g - ускорение свободного падения, V- скорость звука).

Выражения 1) и 2) это примеры полного описания эксперимента при различных физических принципах измерения и различных типах погрешностей.

Доказательство неравенства Рао-Крамера

Пусть - оценка искомого параметра . Матожидание оценки M , находим его , используя известную функцию P(x,α)

α=

1= ( по определению) В дальнейшем опускаем пределы интегрирования, они везде -бесконечности.

1=

0= ( Функцию под интегралом можно умножить и поделить на Р , от этого ничего не изменится , но выражения преобразуются.

1= =

Обозначим:

, =z

, т.к. |r|1,

DX*Dz, и т.к.

, получаем:

– Неравенство Рао-Крамера.

g _{α α} - это количество информации по Фишеру.

Путем непосредственных вычислений можно показать , что эту величину можно преобразовать и к другому виду

Если величина α однократно измерена прибором, погрешность которого распределена нормально со средним 0 и дисперсией ² и получен отсчет х, то

.

Если имеем два независимых измерения, то:

~

~

т. е. информация в независимых экспериментах складывается.

Если в эксперименте определяется несколько величин α ( и соответственно результатов х должно быть не меньше), то такому эксперименту соответствует таблица величин

G_ij-элементы информационной матрицы Фишера.

Если задача решается методом наименьших квадратов ,то

G_ij=(A^TWA)_ij, где А- матрица планирования, W- обратная ковариационная матрица погрешностей эксперимента. Если эксперименты независимы и оценка дисперсии одного отсчета S²_y , то матрица G - диагональна

Неравенство Рао-Крамера становися равенством , т.е. решение методом наименьших квадратов даёт наименьшую погрешность в оценке результата измерений.

Понятие информации по Шенону .

Рассмотрим некоторую систему: если эта система может находится

в состояниях: А₁ А₂ А₃ ……………… А_m

с вероятностями: р₁ р₂ р₃ ………………. р_m,

то мы можем сказать что эта система обладает энтропией

Если же состояние этой системы определено, то можно сказать о том, что мы получили количество информации, равное энтропии системы

Единицей информации может служить один бит – информация о системе из двух равновероятных состояний:

- ½ ln ½ - ½ ln ½ = 1

Если система находится в одном из N равновероятных состояний, то количество информации равно:

Информация в независимых экспериментах складывается:

А₁ А₂…………… А_m B₁ B₂ ……………. B_n

P₁ P₂ …………… P_m P^'₁ P^'₂ …………… P^'_n

Пусть имеем K независимых систем. Каждая система имеет m состояний. При каком числе m энтропия будет максимальной , если Km=a ( постоянно)

,

lnm=1, т.е. наивыгоднейшее m= e=2.7. Технически удобно m=2, однако известны и "троичные" машины , элементы которых имеют по 3 устойчивых состояния.

Можно также показать, что система , имеющая N состояний обладает максимальной энтропией если её состояния равновероятны.

Получение информации о системе A в опыте B

,

где один из n исходов опыта .

- называется средней условной энтропией системы А при условии В.

Рассмотрим систему, состоящую из A : A₁…A_m и B: B₁…B_n , причем все A_i , i=1..m, не совместны друг с другом и B_j , j=1..n, не совместны друг с другом, но A_i и B_j , для любого i и j, связаны между собой.

Система может находится в любом из состояний .

Из курса «Теория вероятности» известно, что

(*)

и

.

Отсюда непосредственно следует, что

.

Рассмотрим энтропию такой системы:

. (**)

Из (*) и (**) получим, что

Таким образом

, т.к. А и В можно поменять местами.

Отсюда, в частности следует , что

Выведем формулу для количества информации, которую мы можем получить о системе A из опыта B.

Отсюда вытекает очень важное свойство, а именно:

Пример: по конвейеру идут детали A₁-хорошие и A₂ – бракованные: вероятность встретить хорошую деталь p(A₁)=0.8 и бракованную – p(A₂)=0.2. На конвейере установлен робот, который проверяет качество деталей: он может не забраковать (событие B₁) или забраковать (событие B₂) деталь. Вероятность не забраковать хорошую деталь p(B₁/A₁)=0.9, забраковать хорошую - p(B₂/A₁)=0.1 и забраковать бракованную - p(B₂/A₂)=1.

Из рисунка теперь видно, что

P(A₁B₁)=0.72

P(A₁B₂)=0.08

P(A₂B₁)=0

P(A₂B₂)=0.2

P(A₁)=0.8

P(B₁)=0.72

P(A₂)= 0.2

P(B₂)=0.28

Рассмотрим теперь случайную величину с непрерывной плотностью вероятности . Разобьем ось X на отрезки , таким образом вероятность попадания в интервал будет .

Если , то , где - дифференциальная энтропия.

Рассмотрим равномерное распределение.

Энтропия при равномерном распределении:

Из всех распределений с фиксированными концами равномерное имеет наибольшую энтропию.

Рассмотрим теперь нормальное распределение.

Пусть , тогда энтропия

Примечание:

Из всех распределений с фиксированной дисперсией нормальное распределение имеет наибольшую энтропию.

Пример 1: Во сколько раз мощность равномерно распределенного сигнала (с параметром ) должна быть больше нормально распределенного (c параметрами и , чтобы они имели одинаковую энтропию?

Пусть , тогда , где - средняя мощность сигнала.

Для нормального распределения: .

Для равномерного : .

Отсюда видно, что

Пример 2:
x -истинное значение сигнала.

- измеряемое значение сигнала.

, где .

Величина называется «эпсилон энтропия».

Пример 3:

-истинное значение сигнала.

- измеряемое значение сигнала.

- при условии, что и независимы.

_{Поскольку}

EMBED Equation.3 ,

то

. ( информация , содержащаяся в одном отсчете сигнала , среднее значение которого равно 0, если Р_пол- мощность полезного сигнала, Р_шум- мощность шума).

Информационные характеристики источников информации и каналов связи.

Последовательность знаков можно рассматривать как сообщение.

Если у нас источник вырабатывает определённый набор знаков, то это источник дискретных сообщений.

При этом, если появление каждого знака независимо от того что было до него, то это источник с независимыми знаками.

Если вероятность появления любого знака не зависит от времени, то источник носит название стационарного.