Введение (Учебник - информационные системы), страница 5

I = ln n или .

где P - вероятность события. Из этой формулы следует, что если сообщение очевидно (или событие точно произойдет), то P = 1 и I = 0. Интересно, что это выражение оказалось с точностью до константы тождественным знамени­тому соотношению Л. Больцмана для энтропии термодинамической системы Ş, под которой понимается величина равная логарифму числа состояний n, которые может принимать сис­тема: Ş = k ln n. Кон­станту k позднее ввел М. Планк, назвав ее именем Больцмана, k = 1,38 10^-23 Дж/⁰С. В интерпретации Больцмана, энтропия равна нулю в случае полностью упорядоченной струк­туры. Заметим, что информация и энтропия имеют разные знаки: рост информации приводит к уменьшению энтропии системы.

Если сообщения (или события) неравновероятны, то формула К. Шеннона принимает вид:

.

Здесь P_i - вероятность того, что система находится в  i-ом состоянии (i = 1, 2 ... N). Основание логарифма определяет единицу измерения величины I.

Таким образом, информация является вероятностной (ста­тистиче­ской) характеристикой процесса, а ее количественной мерой служит величина устраненной неопределенности в результате совершения сис­темой некоторых действий в этом процессе (напри­мер, при получении сообщения). Тогда, под полной информацией будем понимать то ее количество, которое приобретается одной системой (назовем ее приемником) при абсолютном выяснении состояния другой системы (назовем ее источ­ником). Этот процесс может интерпретироваться как дешифрация полученного сообщения. Полная информация численно равна энтропии второй сис­темы. Полезная информация - это количество информации, содержащееся в отдельном сообщении и уменьшающее неопределен­ность сведений о системе-источ­нике. В этом смысле, отрица­тель­ное значение полезной инфор­мации есть дез­инфор­мация.

Количественная оценка эффективности передачи информации от одной системы к другой представляет собой трудную задачу. Более простое решение основано на применении негэнтропийного прин­ципа Л. Бриллюэна, согласно которому носителем информации в измерительной системе является энергия [ ]. Получение данных о каком-либо событии или процессе связано с затратой энергии. Для иллюстрации этого подхода вернемся к обобщенной информационной системе, представленной на рис. В.8 и состоящей из двух преобразователей R и Q. Каждый из преобразователей описывается функциональным оператором Ф(R) и Ф(Q) соответственно, переводящими их из одного сос­­тояния в другое. Для однозначной системы операторы могут быть заменены функциями преобразования F (R). Применительно к данному примеру имеем: F (x, r_i, t, T⁰) и F (y, q_i, t, T⁰) - функции преобразования информационных элементов R и Q; t и T⁰ - влияющие факторы (время и температура), x, y, z - сигналы. При этом, каждый из преобразователей системы, удовлетворяя единой целевой функции, может оптимизироваться по собственному частному критерию качества, учитывающему назначение и структуру отдельного преобразователя.

Процесс измерения, выполненный некоторым устройством, представляет собой соответствующее пре­обра­зование информации, содержащейся в сигналах x, y, z. Это преобразование сопровождается оп­ределенной поте­рей информации DI, которая, например, для устройства R равна:

DI_R = I_{вых R} – I_{вх R}

Потеря информации в устройстве соответствует его «энтропийному вкладу» в процесс измерения. Л. Бриллюэн предложил оценивать эффективность преобразования информации с помощью информационного КПД h_I. По Бриллюэну количество информации на выходе устройства I_{вых R}, зависит от характеристик последнего, а также внешних влияющих факторов (на­водок, помех и т.д.). Следовательно, потеря информации в преобразователе R характеризуется его собственной погрешностью e₀, и дополнительной «флюк­туа­ционной погрешностью» в из­мерение e_ф, которую вносят влияющие факторы.

Информационный КПД h_I = 1/k_e, где параметр k_e, называемый коэффициентом потери точ­­ности, показывает насколько собственный вклад в потерю точности, превышает дополнительный:

k_e = e_о/e_ф = ÖW_å/W₀,

где W₀ и W_å - полезная (использованная) и полная (по­требляемая) энергия, соответственно.

С другой стороны, информационный КПД однозначно определяется величиной потерь информации DI:

lg h_I² = -2 DI

Поскольку энергетический КПД устройства h_W = W₀/W_å , то справедливо

h_W = 1/k_e² = h_I²

и, следовательно

h_W = 1/10^2DI.

Данное выражение указывает на связь информационных и энергетических процессов в измерительном устройстве. Рассмотренный подход, описывающий систему с точки зрения информационно-энергетических процессов, получил название информационного. В последние годы жизни этот подход развивал и Шеннон, введя в обиход основополагающую формулу, связывающую информационную пропускную способность C с полосой частот f, используемых при передаче информации:

где P_с и P_ш - мощности сигнала переносящего информацию и шумов, соответственно.

Вопросы для самостоятельной подготовки

1. Являются ли датчиком электронные часы?

2. Как изменяется энтропия воды при фазовых превращениях?

3. Почему единицей информации выбран бит?

4. Чему равно информационное сообщение при выпадении сообщения «6» на игральной кости?

5. Зависит ли выходной сигнал датчика от его импеданса?

34