Философская Энциклопедия том 5 (1184486), страница 165
Текст из файла (страница 165)
В Т, и. н ее техннч, приложениях цептральньыш явля!отея понятии количества ивфармацни и его меры. Эти понятия в лзвестной степени соответствуют интуитивным представлениям а количеств. оцеш е информации, к-рая естественно связывается с числом воаможных вариантов сообщения и со степенью его неожлдаиносн!. Т. и. воаникла как реаультат осмысления процессов передачи сообщеплй, выаванлого запросами практики: раавитне технпч. средств алеитросвязн требовало количественных крвтерпев для сравнения разнородных способов передачи (телеграф, телефон, тгчевиде<ше).
В 1928 амер. специалист по гвяан Р, Хартли предложил меру информации, к-рал пе аависела от способов передачи и формы снгнзлои в передающих каналах, а также от содержания в психолагич, аспектов передаваемых сообщений. Он воспольаовался универсальным свойством процессов свнаи: каждое сообщение — независимо от его природы, содержания н вааначенил— в<збирается отправителем из заранее иавестного получателю множества возможных раалнчных сообщений; поэта»<у на приемном конце важно анать тилько результат (случавного для получателя) выбора, а неопределенность результата до выбора сообщения при прочих равных уславпнх зависит от общего числа возможных сообщений — и.
Т. о., количество информации может быть измерено мерой неопределенности вз«бора, к-ран упичтожаетсн пас<ге выбора сообщения. Хартлл предложил лагарифмич. меру неопределенности выбора: Н .=- !. 1ойвт (й — коэффнциент пропорциональности), к-рая обладает напевным свойстиом аддитинности и сводит процесс измерении информации к линейному сравнению с едиппцеи меры, т. к. длядвух различных ьшожоствсообщш<ий!ойв(и, те) . =.
!одвт<-'!.!айви»=-Н< —; Не Выбор основании легар!<ф- ма а обусловливается обласню применения меры ипформац<ш; н т. к. с развитиеи эычисллт. техники л новых средств связи распространение получила двоичная система счисления, то часто принимают й- — -1, с — 2. Наиболее простой выбор — выбор между двуми ровнымп маз»иикпостнми, дает одну двоичную едишщу информации, пли бит (сокр. от англ.
Ь<пагу й)ВВ); при т=2, 1ойе 2 -1. Концоицпн выбора была раавпта и получила сграгое метем. обосвопакие в трудах ал<ер. ученого К. Э. Шеннона (1948). Б его т<юрип псе разнообразные случаи передачи информации сводятсн к абстрактной схеме: «источник саоби!енпй -- передатчик — канал— приемник — получатель», е исе качественно разнородные сообщения преобразуются в единую абстрактную метем.
форму. Эта удается сделать всегда, если прилить во внимание принципиально ограниченную разрешающую способность получателя (любой физпч. процесс намерения всегда ограничен точностью способов памере<шя) и то сообщения, к-рые пе различаются получателем, рассматривать как одно сообщение. Тогда сообщения любых реальных источвиков информации, дискретных пли непрерывных, можно представить конечным набором чисел пли кодовых знаков, выбранных иа конечного алфавита. Напр,, испольаун двоичную систему счислопил, все сааб<ценна мозно представить (плп аакодпровать) последовательностью па иудеи и единиц. В этом случае источник в абстрактной модели с~емы свяаи бзудет иметь алфавит иа двух символов, но тем не мелев полностью опишет работу реального источника с алфавитом из т символов, а задача измерении информации сведется н определению минимально необходлмого для такого нодпровання числа нулей и едвшщ.
Это число занисит от меры неопределенности выбора символа пз алфанита. Поскольку процесс создания сообщений источником заключается в последовательном и случайном длн получателя выборе спиволов, неопределенность выбора зависит но только ог т, но и от вероятностей выбора символов и вероятностных вааимосвяаей между ними. 1!оэтому вычисление меры лнфорыации базируется па вероятностных оценках. Вели рг — нероитность выбора 1-го символа алфавита вп то Ь1= = †!ой р; есть количество с о б с т в е и и о й, плп н н д и э и д у а л ь н о й, информации в событии понвленпя символа »;.
Но В; — величина случайная, т.к, ее аваченпе зависит от осуществления случаи- ного события вп Удобнее пользоваться др. оценкой— количеством информации, приходящейся в среднем < ь< «=к на символ алфавита: Н=- ~, р; Ь< — — ~ рг !ой рп т. е. « < просто матем. ожиданием собств. информации Ьо Эта формула усложняется при учете вероятностных свизей между снмволамл.
Когда состояние неопределенности заменяется состоннием полного ананпя, т, е. веронтностн выборов всех символов, кроме одного, равны нулю, а вероятность выбора атого одиночного символа равна 1, то Н=-О. Полное отсутствие знаний, напр., когда выбор производится из иеиавестного получател!о алфавита, также исилючает передачу информации. Максиму»< велнчинь< Н достигается прп равно- вероятных символах р,— --рз — —...=рм= ., что дает меру Ха!»тлн: Нмв„с= — — !08 р=-йзйк<. По матем. выражеишо, мера количества инфор»<вцни совпадает с известной мерой зитропии и статистич.
механике, введенной Больцмапом. Это дало повод назвать ее энтропией источш<ка сообщений, нлп энтропией символов. По своему фиаич. смыслу энтропия источника сообщений — это минимально необходимое число знаков нок-рого кода (определяемого единицей намерения, т. е. выбором основании логарифма е), ТЕОРИЯ ИНФОРМЛЦИИ 211 к-рое иапо затратить в среднем иа один символ реального алфавита источника, когда оп посредством операции кодирования замеинется своим отображением в абстрактной схеме связи. !!риведеиные подходы к оценке информации не нвляи<тся е,<инственными н сноел< роде.
Р. Л. Ф<пиер (см. его «Т)<е бевйи о1' ехрег!пни<э». 5 еб., 1!<!!и,— !., 1949) предложил (1921) принять за меру информации, догтавляемои результатом одиночного измерения, в физич. эксперименте величину, обратно пропорциональную дисперсии результатов <тмерения, когда опшбки измерения подчинены нормальному закону. На возможность иных, не специально стасистических, подходов к оиределенивл инфорл<ацип указа<< Колмогоров (си.
сб, «Проблемы передачи информации», т. 1, вып. 1, М., 1965). Так, напр., сушествув<т задачи, в к-рых по заданному объекту А надо построить связанный с пим обьект Н. Тогда количество информацш< н объекте А относительно объекта Н л<ожно определить как меру сложности алгоритма преобразовании А н Н.
По существу, зта операция сводится к наиболее экоиомноыу нуморованию всех символов алфавита, причем номер каждого символа доли<си н среднем содержать как минимум Н бит, если принят бинарный код. Надо иметь в аиду, что численное значение эитршши символов иринциииил<,по зависит от свойств получателя различат<, сообщения и что н реальных системах свяан ио линиям связи передаются в качостве реаультатов выбора, конечно, ие екодовые намерз», а сами сообщения, преобразованные в физич.
сигваг<ы. Такой иерой служит, в частности, минимально необходимое число операций, или «длина» программы, к-рая указывает, как произвести это преобразование. Этот подход получил название а л г о р и т м и ч ее к о г о. Топологич, подход коц<нкениформации, когда количество информации определяется как мера топологнч, различия структур, т. е, как мерв тех различий, к-рые остаются инвариантнычи при тополопш.
преобразованиях, намечен рашевским. Дальнейшны развнтном этих подходов явились попытки оценить количество семантпч. информации. В семантическон Т.и. пытаются преодолеть специфику абстрактных подходов н ввести количестн. оценки содержательности, нажностн, ценности н полезности информации, т, е, в известном смысле найти количеств. меру семантпч. характернстл<к сообщений (предложений, высказываний). В отличие от матом.
Т. н., различные нарнанты теории семантпч. информации иытвютсн охарактериаовать «меру информации» гл. обр. с помощью средств логич. семантики, а также логики индуктивной и подав»кой логики. Хоти ни один из предложенных н наст, зрел<они вариантов теории семантич. информации не претендует на сколь- но-иибудь исчерпывающее решение проблел<ы нахождении точных оценок сеыантич. информации, век-рые нз этих <и<длодов уже дали нозл<ожность пе только развить формальный матем. аппарат (как пранило, вира<ем, совсеы простой; такова, напр., концепции семвитич.
информации Р. Кармана и И. Бар-Хиллелз, сочетающая чисто семаитнч. рассмотрения, базирующиеся ка аналнае языков прикладных предикатов иечиелекий, с характерными длн шенноновской теории алгебр<окомбинаторнымн схемами, предложенная имп в работе «Зеп<аи!!с !и!оппаИои», в журн. «Вп<. 1. Р1п1оз. Зс!.», 195;1, лч 4, ечй 14, р. 147 — 57), но и применить его к различным логнч., лпнгвнстнч. и испхологнч.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
