Конспект лекций Губарь (839213), страница 4
Текст из файла (страница 4)
Количество информацииСобственно говоря, рассматривая ситуацию с угадыванием числа, мыуже затронули вопрос о подсчете количества информации. Однако следуетотметить, что специфика примера позволила нам формально подойти крешению этой задачи. Ведь ясно, что в реальных условиях поступленияинформации всегда надо учитывать вероятностный характер этого процесса:те или иные сведения могут быть получены или нет в силу целого рядаразличных причин. Поэтому в целях дальнейшего изложения сначалапридется кратко коснуться основных положений теории вероятностей,вернувшись к ситуации с подбрасыванием монеты.Теория вероятностей – это математическая дисциплина, изучающаязакономерности случайных процессов.
Ее центральным понятием являетсявероятность – числовая характеристика степени возможности наступленияпри определенных условиях случайного события, то есть отношение числанаступивших событий к общему числу всех возможных событий. Такиесобытияинтерпретируютсякакрезультатыопыта,воспроизводимогомногократно. Пусть в нашем примере было произведено N подбрасываниймонеты, из которых она n1 раз упала «орлом» вверх и n2 – «решкой», причемвсе эти испытания являются независимыми.
Под независимостью испытанийв данном случае понимается тот факт, что необходимо разнообразить условияпроведения опыта: подбрасывать монету с разной силой, с разной высоты ит.д., то есть обеспечить случайный характер протекания данного процесса.Тогда p1 = n1/N – вероятность выпадения «орла» и p2 = n2/N – вероятностьвыпадения «решки». Важно отметить, что поскольку n1 + n2 = N, тоp1 + p2 = 1.Изопределениявероятноститакжеследует,чтоонавсегданеотрицательна и не больше 1.В двух крайних случаях, когда p = 0 и p = 1, соответствующихситуациям, когда случайное событие никогда не происходит или, наоборот,всегда имеет место, неопределенность ситуации отсутствует.
Очевидно, чтомы сталкиваемся с наибольшей неопределенностью, когда в нашем примереоба из двух возможных результатов опыта равновероятны, то есть p1 = p2 =0,5.Рассмотрим еще два примера. Вы подбрасываете игральную кость –кубик, на шести гранях которого «закодированы» числа от одного до шести.Пусть событие состоит в том, что выпало четное число. Очевидно, чтовероятность этого события p= 0,5, так как четных и нечетных чисел – равноеколичество – по три.Наконец, снова пример с подбрасыванием монеты.
Какова вероятностьтого, что при трехкратном ее подбрасывании один раз выпадет «орел»? Всеговозможны восемь исходов такого бросания. С учетом введенных обозначенийони будут выглядеть так: 000, 001, 010, 011, 100, 101, 110 и 111.Следовательно, три исхода 001, 010 и 100 соответствуют однократномувыпадению «орла». Теперь становится понятным, что искомая вероятностьp= 3/8.Итак, вероятность события, наступившего в результате некоторогоэксперимента,естьблагоприятствующихотношениенаступлениючислаисходовданногоэтогособытия,эксперимента,кчислувсехвозможных исходов проводимого эксперимента.Теперь можно перейти к рассмотрению понятия количества информации,под которым понимается мера величины информации, содержащейся в однойслучайной величине относительно другой.
Это понятие тесно связано спонятием энтропии – количественной меры неопределенности ситуации.Ведь уже отмечалось, что получение информации уменьшает степеньнеполноты наших знаний. Насколько бóльший объем знаний мы получаем впроцессе познания, настолько уменьшается наше незнание в конкретнойпредметной области.
Другими словами, в ходе этого процесса уменьшаетсянеопределенность ситуации, поэтому на практике необходимо уметьчисленно оценивать степень неопределенности разнообразных опытов, чтобыможно было сравнивать их по этому параметру.Сначала рассмотрим эксперимент, имеющий k равновероятных исходов.Ясно, что степень неопределенности такого опыта определяется именночислом k: при k = 1 единственный исход не является случайным, то естьнеопределенность ситуации отсутствует или равна нулю, а с ростом kколичество разных исходов также увеличивается и предсказать результатэксперимента весьма сложно, так как неопределенность ситуации возрастает.Следовательно, искомая числовая характеристика степени неопределенностипредставляется в виде функции f (k) числа k, причем она обладаетследующими свойствами: при k = 1 f (k) = 0, а с ростом k функция такжевозрастает.Теперь рассмотрим ситуацию с двумя независимыми опытами и ,независимыми в том смысле, что любые сведения об исходе первого из нихникак не влияют на вероятности исходов второго опыта.
Пусть они имеют k иl равновероятных исходов соответственно. Проанализируемсложныйэксперимент , который заключается в одновременном выполнении опытов и . Неопределенность исхода такого сложного опыта будет больше, чемнеопределенность опыта , ведь к последней здесь необходимо еще добавитьнеопределенность исхода опыта .
Естественно предположить, что степеньнеопределенности рассматриваемого сложного эксперимента равна сумменеопределенностей опытов и . Эксперимент имеет kl равновероятныхисходов, поскольку каждый из k возможных исходов опыта комбинируетсяс l исходами опыта . Таким образом, в данном случае искомая функциядолжна удовлетворять следующему условию:f (kl) = f (k) + f (l).Это выражение позволяет принять за меру неопределенности опыта,имеющего k равновероятных исходов, величину logak, так как хорошоизвестно, что loga(kl) = logak + logal. Так же известно, что логарифмическаяфункция является единственной непрерывной функцией аргумента k, котораяудовлетворяет полученному условию и для которой f (1) = 0 и f (k) > f (l) при k> l (a > 1). Отметим также, что выбор основания системы логарифмов вданном случае не является существенным, потому что в соответствии сформулойlogbk = logba logakпереход от одной системы логарифмов к другой сводится лишь к умножениюнайденной функции f (k) = logak на постоянный множитель logba, называемыймодулем перехода.
Другими словами, этот процесс равносилен простомуизменению единицы измерения степени неопределенности.Полученная общая неопределенность эксперимента, имеющего kравновероятных исходов, равна logak, поэтому можно считать, что каждыйотдельный исход, вероятность которого равна 1/k, вносит неопределенность(1/k) logak = – (1/k) loga(1/k).Пусть теперь k = 3, а соответствующие вероятности трех исходов равны1/2, 1/3 и 1/6. Тогда можно считать, что в результат такого опыта эти исходывносят неопределенность, равную соответственно – (1/2) loga(1/2), – (1/3) loga(1/3) и – (1/6) loga(1/6), а общая неопределенность этого опыта будетравна– (1/2) loga(1/2) – (1/3) loga(1/3) – (1/6) loga(1/6).Аналогично этому можно положить, что в общем случае для эксперимента свероятностями его исходов p1, p2, …, pk мера неопределенности H (),называемая энтропией эксперимента , равна:H () = – p1 logap1 – p2 logap2 – … – pk logapk.Приведенные рассуждения позволяют перейти к рассмотрению двухподходов к измерению количества информации, широко используемых насинтаксическомуровневинформатикеиразличныхтехническихприложениях.Структурный метод не учитывает содержания сообщения и связан сподсчетом числа символов в нем, то есть с его длиной.
Если m – количествосимволов, принятых для представления информации (или основаниесистемы счисления), а n – количество позиций, необходимых и достаточныхдля представления чисел заданной величины, то N = mn – количество чисел,которые можно представить при наличии данных параметров. Введялогарифмическую меру, количество информации I(n) можно вычислить так:I(n) = nlogam.Это – формула Р. Хартли, которая получена при условии равнойвероятности всех возможных событий. Если в качестве основания логарифмапринять a = m, то I(n) = n. В этом случае при m = 10 единицей измеренияинформации является дит, а для двоичной системы имеем m = a = 2, приэтом искомая величина количества информации эквивалентна количеству всообщении двоичных символов 0 или 1 и измеряется в битах. Следовательно,1 бит информации соответствует одному элементарному событию, котороеможет произойти или нет.
Другими словами, за единицу измерения степенинеопределенности в этом случае (при a = 2) принимается неопределенность,содержащаяся в эксперименте, имеющем два равновероятных исхода, как этобыло в опыте с подбрасыванием монеты. Кстати отметим, что один дитпримерно в 3,3 раза больше одного бита, так как в данном случаеупомянутый модуль перехода равен log210 3,32.Итак, количество информации в двоичном сообщении длиной n как разравно n битам. Используя формулу n = log22n = nlog22, мы можем определитьколичество информации в сообщении длиной n из m произвольных символов(число m-итов): I(n) = nlogmm. Таким образом, формула Хартли являетсяобобщением упомянутого факта, когда за основание логарифма беретсяпроизвольное a.Следуетотметить,во-первых,чтополученнаямераколичестваинформации удобна тем, что ею можно оперировать как числом.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
