Лекции (1086291)

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла

МОСКОВСКАЯ ГОСУДАРСТВЕННАЯ АКАДЕМИЯ
ПРИБОРОСТРОЕНИЯ И ИНФОРМАТИКИ

КАФЕДРА АВТОМАТИЗИРОВАННЫХ СИСТЕМ ОБРАБОТКИ

ИНФОРМАЦИИ И УПРАВЛЕНИЯ (ИТ-7)

ДИСЦИПЛИНА "Теория информации"

Методические указания к курсу лекций.

Специальность 22.02.03 "Автоматизированные системы обработки

информации и управления"

Москва, 2002

УТВЕРЖДАЮ

Проректор по учебной работе

____________Проф. Соколов В.В.

" " 2002

АННОТАЦИЯ

Методические указания соответствуют программе курса “Теория информации” для студентов специальности 22.02.03. Рассматриваются следующие понятия: информация, сигал дискретный и непрерывный, канал, пропускная способность канала, спектр одиночного и периодического сигнала. Приводится теорема Котельникова. Понятия иллюстрируются многочисленными примерами, схемами, графиками. Целью методических указаний является помощь студентам при выпол­нении лабораторных и контрольных работ.

Авторы: Морозова Т.Ю.

Научный редактор: проф. Петров О.М.

Рецензент:____________________________________

Рассмотрено и одобрено на заседании кафедры ИТ-7

"__"____________2002 г. Зав. кафедрой __________О.М. Петров

Ответственный от кафедры за выпуск учебно-методических материалов

Неравенство Рао - Крамера

Пусть из результатов эксперимента необходимо найти некоторый параметр.

x – результат;

α - параметр

Неравенство Рао – Крамера отвечает на вопрос:

Какова предельная точность оценки параметра?

Полное описание эксперимента P(x, α )-это вероятность получить данный результат x эксперимента при конкретном значении искомого параметра α.

Пример: Студент предлагает измерять высоту небоскреба H₀, карабкаясь по стене и последовательно прикладывая к ней барометр, длина которого L.

Предполагается , что L ~ N (L₀, σ²), n- число раз , которое барометр уложится на высоте. Тогда n*L- результат измерения, H₀- искомый параметр.

P(n*L, H₀)=

Второй предлагаемый способ: бросить барометр с крыши и засечь время между моментом броска и звуком удара. Цена деления секундомера - 1 с.

Если пренебречь другими источниками погрешности,

1) P(t, H₀)=1, при ,

2) P(t, H₀)=0 при

(g - ускорение свободного падения, V- скорость звука).

Выражения 1) и 2) это примеры полного описания эксперимента при различных физических принципах измерения и различных типах погрешностей.

Доказательство неравенства Рао-Крамера

Пусть - оценка искомого параметра . Матожидание оценки M , находим его , используя известную функцию P(x,α)

α=

1= ( по определению) В дальнейшем опускаем пределы интегрирования, они везде -бесконечности.

1=

0= ( Функцию под интегралом можно умножить и поделить на Р , от этого ничего не изменится , но выражения преобразуются.

1= =

Обозначим:

, =z

, т.к. |r|1,

DX*Dz, и т.к.

, получаем:

– Неравенство Рао-Крамера.

g _{α α} - это количество информации по Фишеру.

Путем непосредственных вычислений можно показать , что эту величину можно преобразовать и к другому виду

Если величина α однократно измерена прибором, погрешность которого распределена нормально со средним 0 и дисперсией ² и получен отсчет х, то

.

Если имеем два независимых измерения, то:

~

~

т. е. информация в независимых экспериментах складывается.

Если в эксперименте определяется несколько величин α ( и соответственно результатов х должно быть не меньше), то такому эксперименту соответствует таблица величин

G_ij-элементы информационной матрицы Фишера.

Если задача решается методом наименьших квадратов ,то

G_ij=(A^TWA)_ij, где А- матрица планирования, W- обратная ковариационная матрица погрешностей эксперимента. Если эксперименты независимы и оценка дисперсии одного отсчета S²_y , то матрица G - диагональна

Неравенство Рао-Крамера становися равенством , т.е. решение методом наименьших квадратов даёт наименьшую погрешность в оценке результата измерений.

Понятие информации по Шенону .

Рассмотрим некоторую систему: если эта система может находится

в состояниях: А₁ А₂ А₃ ……………… А_m

с вероятностями: р₁ р₂ р₃ ………………. р_m,

то мы можем сказать что эта система обладает энтропией

Если же состояние этой системы определено, то можно сказать о том, что мы получили количество информации, равное энтропии системы

Единицей информации может служить один бит – информация о системе из двух равновероятных состояний:

- ½ ln ½ - ½ ln ½ = 1

Если система находится в одном из N равновероятных состояний, то количество информации равно:

Информация в независимых экспериментах складывается:

А₁ А₂…………… А_m B₁ B₂ ……………. B_n

P₁ P₂ …………… P_m P^'₁ P^'₂ …………… P^'_n

Пусть имеем K независимых систем. Каждая система имеет m состояний. При каком числе m энтропия будет максимальной , если Km=a ( постоянно)

,

lnm=1, т.е. наивыгоднейшее m= e=2.7. Технически удобно m=2, однако известны и "троичные" машины , элементы которых имеют по 3 устойчивых состояния.

Можно также показать, что система , имеющая N состояний обладает максимальной энтропией если её состояния равновероятны.

Получение информации о системе A в опыте B

,

где один из n исходов опыта .

- называется средней условной энтропией системы А при условии В.

Рассмотрим систему, состоящую из A : A₁…A_m и B: B₁…B_n , причем все A_i , i=1..m, не совместны друг с другом и B_j , j=1..n, не совместны друг с другом, но A_i и B_j , для любого i и j, связаны между собой.

Система может находится в любом из состояний .

Из курса «Теория вероятности» известно, что

(*)

и

.

Отсюда непосредственно следует, что

.

Рассмотрим энтропию такой системы:

. (**)

Из (*) и (**) получим, что

Таким образом

, т.к. А и В можно поменять местами.

Отсюда, в частности следует , что

Выведем формулу для количества информации, которую мы можем получить о системе A из опыта B.

Отсюда вытекает очень важное свойство, а именно:

Пример: по конвейеру идут детали A₁-хорошие и A₂ – бракованные: вероятность встретить хорошую деталь p(A₁)=0.8 и бракованную – p(A₂)=0.2. На конвейере установлен робот, который проверяет качество деталей: он может не забраковать (событие B₁) или забраковать (событие B₂) деталь. Вероятность не забраковать хорошую деталь p(B₁/A₁)=0.9, забраковать хорошую - p(B₂/A₁)=0.1 и забраковать бракованную - p(B₂/A₂)=1.

Из рисунка теперь видно, что

P(A₁B₁)=0.72

P(A₁B₂)=0.08

P(A₂B₁)=0

P(A₂B₂)=0.2

P(A₁)=0.8

P(B₁)=0.72

P(A₂)= 0.2

P(B₂)=0.28

Рассмотрим теперь случайную величину с непрерывной плотностью вероятности . Разобьем ось X на отрезки , таким образом вероятность попадания в интервал будет .

Если , то , где - дифференциальная энтропия.

Рассмотрим равномерное распределение.

Энтропия при равномерном распределении:

Из всех распределений с фиксированными концами равномерное имеет наибольшую энтропию.

Рассмотрим теперь нормальное распределение.

Пусть , тогда энтропия

Примечание:

Из всех распределений с фиксированной дисперсией нормальное распределение имеет наибольшую энтропию.

Пример 1: Во сколько раз мощность равномерно распределенного сигнала (с параметром ) должна быть больше нормально распределенного (c параметрами и , чтобы они имели одинаковую энтропию?

Пусть , тогда , где - средняя мощность сигнала.

Для нормального распределения: .

Для равномерного : .

Отсюда видно, что

Пример 2:
x -истинное значение сигнала.

- измеряемое значение сигнала.

, где .

Величина называется «эпсилон энтропия».

Пример 3:

-истинное значение сигнала.

- измеряемое значение сигнала.

- при условии, что и независимы.

_{Поскольку}

EMBED Equation.3 ,

то

. ( информация , содержащаяся в одном отсчете сигнала , среднее значение которого равно 0, если Р_пол- мощность полезного сигнала, Р_шум- мощность шума).

Информационные характеристики источников информации и каналов связи.

Последовательность знаков можно рассматривать как сообщение.

Если у нас источник вырабатывает определённый набор знаков, то это источник дискретных сообщений.

При этом, если появление каждого знака независимо от того что было до него, то это источник с независимыми знаками.

Если вероятность появления любого знака не зависит от времени, то источник носит название стационарного.

Характеристики

Тип файла документ

Документы такого типа открываются такими программами, как Microsoft Office Word на компьютерах Windows, Apple Pages на компьютерах Mac, Open Office - бесплатная альтернатива на различных платформах, в том числе Linux. Наиболее простым и современным решением будут Google документы, так как открываются онлайн без скачивания прямо в браузере на любой платформе. Существуют российские качественные аналоги, например от Яндекса.

Будьте внимательны на мобильных устройствах, так как там используются упрощённый функционал даже в официальном приложении от Microsoft, поэтому для просмотра скачивайте PDF-версию. А если нужно редактировать файл, то используйте оригинальный файл.

Файлы такого типа обычно разбиты на страницы, а текст может быть форматированным (жирный, курсив, выбор шрифта, таблицы и т.п.), а также в него можно добавлять изображения. Формат идеально подходит для рефератов, докладов и РПЗ курсовых проектов, которые необходимо распечатать. Кстати перед печатью также сохраняйте файл в PDF, так как принтер может начудить со шрифтами.

Список файлов лекций