Конспект лекций Губарь (839213), страница 5
Текст из файла (страница 5)
Во-вторых,при наличии нескольких источников общее количество информации,получаемой от них, равно сумме количеств информации от каждогоисточника:I(n1, n2, …, nn) = I(n1) + I(n2) + … + I(nn).Тогда становится понятным другое название меры Хартли – аддитивнаямера, поскольку слово addition с английского переводится как суммирование.Статистический подход, принятый в теории информации, учитываетсодержаниеинформационногосообщенияиоснованнатом,чтопредставления получателя информации о наступлении того или иногособытия недостоверны и выражаются вероятностями, с которыми он ихожидает. Эта мера неопределенности зависит от указанных вероятностей, аколичество информации в сообщении определяется тем, насколько даннаямерауменьшаетсясполучениемсообщения.Есливсесообщенияравновероятны, а их число конечно, то в качестве меры неопределенностииспользуется мера Хартли.К.
Шеннон обобщил эту ситуацию на случай, когда количествоинформации зависит не только от n, но и от вероятностей выбора того илииного сообщения или получения сигнала,введя уже рассмотренное намипонятие энтропии H, то есть меры неопределенности ситуации видаnH = – ∑ pi log2 pi,i=1где pi – вероятности возможных событий.Данное соотношение иначе можно получить следующим образом.Попробуем определить среднее значение количества информации Iср.,получаемой при одном опыте, если предполагается N его возможных исходовn разных типов, а i-й исход повторяется ni раз и предоставляет количествоинформации, равное Ii. Тогда при данных обозначениях получимIср.
= (n1I1 + n2I2 + …+ nnIn)/N.Количество информации, выражаемое в битах и получаемое от каждогоисхода опыта, К. Шеннон связал с вероятностью его появления pi следующимсоотношением:Ii = log2(1/pi) = – log2pi.Тогда с учетом того, что pi = ni/N, так как соответствующие отношенияпредставляют собой частоты повторения исходов опытов и могут бытьзаменены их вероятностями, получимIср. = p1(– log2p1) + p2(– log2p2) + … + pn(– log2pn),и окончательно:nIср. = H = – ∑ pi log2 pi.i=1Если все события равновероятны и независимы, то оценки количестваинформации, полученные при структурном и статистическом подходах,совпадают.
В случае неравных вероятностей статистический подход даетменьшее значение. Этот вывод иллюстрируется следующим примером.Т а б л и ц а 1.1Частотные вероятности русских буквi123456789101112СимволПробелОЕЁАИТНСРВЛpi0,1750,0900,0720,0720,0620,0620,0530,0530,0450,0400,0380,035i131415161718192021222324СимволКМДПУЯЫЗЬЪБГpi0,0280,0260,0250,0230,0210,0180,0160,0160,0140,0140,0140,013i25262728293031323334СимволЧЙХЖЮШЦЩЭФpi0,0120,0100,0090,0070,0060,0060,0040,0030,0030,002В таблице 1.1 указаны вероятности частоты употребления различныхсимволов русского алфавита, полученные путем анализа весьма объемныхтекстов.Сначалаподсчитаемколичествоинформации,связанноеспоявлением любого символа в сообщениях, записанных на русском языке, поформуле Хартли:I = log234 5 бит.Полученная величина I является максимальным количеством информации,которое могло бы приходиться на один символ.
Если подсчитать этот жепараметр с учетом приведенных в таблице вероятностей по формулеШеннона, то получим I = H 4,72 бит.Следует подчеркнуть, что первые результаты, связанные с измерениемколичества информации и оказавшиеся очень полезными при решении рядапрактических задач, были получены Р. Хартли.
Однако предложенная им мерастепени неопределенности, в то же время, часто оказывается мало пригодной,так как она совершенно не учитывает различие между имеющимисяисходами эксперимента: ведь почти невероятному исходу придается такое жезначение, как и очень правдоподобному.К.Шеннонустранилэтотнедостаток,предложивучитыватьвероятностный характер рассматриваемых процессов и введя понятиеэнтропии в теорию информации. При таком подходе в качестве мерынеопределенности H () всего эксперимента принимается среднее значениенеопределенности отдельных исходов.
Этот результат, оказавшийся весьмапродуктивным для многих приложений, связанных, прежде всего, спередачей сообщений по линиям связи, однако, также не может претендоватьна универсальность. Ведь полученная мера H () зависит лишь отвероятностей различных исходов опыта, но не учитывает «природу» этихисходов, другими словами, являются ли они в некотором смысле «близкими»или «далекими» друг от друга. Например, рассматриваемая «степеньнеопределенности» оказывается одинаковой для оценки предполагаемоговыступления шахматиста в двух турнирах, в обоих из которых его две партиизакончатся ничейным исходом, но оставшиеся восемь партий он в первомтурнире выиграет, а во втором – проиграет.1.4.
Информация и энтропияПонятие энтропии в XIX веке в научный обиход ввел Р. Клаузиус – одиниз основателей термодинамики и молекулярно-кинетической теории теплоты,чтопозволилосформулироватьследующиепостулаты:длявсякойматериальной системы энтропия есть мера близости системы к состояниюравновесия; если энтропия в системе максимальна, то никакая работа в нейне может совершаться. Затем Л. Больцман дал кинетическое обоснованиевторого закона термодинамики, экспериментально доказав, что энтропия Hзамкнутого пространства определяется соотношением:NH = – (1/N) ∑ ni ln(ni/N),i=1где N – общее число молекул в данном пространстве;ni – число молекул, обладающих скоростью ui + ∆ui.Поскольку pi = ni/N есть вероятность того, что молекула имеет указаннуюскорость, выражение для H примет следующий вид:NH = –∑ pi lnpi,i=1Полученная формула эквивалентна формуле Шеннона – в обоих случаяхвеличина энтропии характеризует степень разнообразия системы.Теперь становится понятным, почему Шеннон полученную им мерунеопределенности назвал энтропией.
Однако надо осторожно относиться квыявленной формальной аналогии, поскольку формула Больцмана определяетэнтропию статистической системы материальных частиц, а формулаШеннона была получена специально для решения некоторых практическихвопросов, связанных с передачей сообщений по линиям связи, поэтому онаоказалась особенно удобна именно для такого технического использования.Энтропия обладает следующими свойствами:1. Она всегда неотрицательна, так как вероятности 0 ≤ pi ≤ 1, а их логарифмыне больше нуля.2. Она равна нулю, когда одна из вероятностей pi = 1, а все остальныевероятности равны 0.
Это соответствует случаю, когда неопределенностьситуации отсутствует, и результат опыта не дает никакой информации (онзаранее известен).3. Она имеет наибольшее значение, когда все вероятности равны междусобой, то есть все pi = 1/k, и Hmax = log2k. При этом ясно, что источник сдвумя возможными сообщениями, вероятность каждого из которых равна1/2, обладает энтропией в один бит.Характер зависимости величины энтропии от значений вероятностей дляситуации с двумя возможными исходами представлен на рисунке 1.2.Рис. 1.2.
Зависимость энтропии от вероятностей для ситуациис двумя возможными исходами4. Энтропия сложного события (например, рассмотренный ранее сложныйэксперимент , заключающийся в одновременном выполнении двухнезависимых опытов и ) определяется следующим правилом сложенияэнтропий:H () = H () + H ().5. Для более общего случая, когда опыты и не являются независимыми,энтропия сложных событий также определяется правилом сложенияэнтропий, которое теперь выглядит так:H () = H () + H (),где H () – условная энтропия опыта при условии выполнения опыта .Эта величина является неотрицательным числом.
H () = 0 в том и тольков том случае, если при любом исходе результат становится полностьюопределенным, при этом, конечно, H () = H (). Если же и являютсянезависимыми, то H () = H (), и получается предыдущая формуласложения;причемдляусловнойэнтропиивсегдаимеетместосоотношение:0 ≤ H () ≤ H ().Введенное понятие условной энтропии позволяет трактовать разностьН() – H () следующим образом.
Она показывает, насколько обоснованнеемы можем судить об исходе опыта , осуществив опыт . Следовательно,выражениеI (,) = Н() – H ()определяет количество информации о , содержащейся в , и появляетсявозможность численного измерения информации.Итак, получая информацию в результате некоторого процесса познания,ее потребитель тем самым уменьшает степень своего незнания, то естьнеопределенность ситуации для него становится меньше.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
