Шмидт, Тевс (ред.) - Физиология человека - т.1 (947488), страница 72
Текст из файла (страница 72)
В качестве примера можно сравнить буквы алфавита и азбуки Морзе (рис. 7.2) или преобразование давления на кожу в частоту разрядов механорецептора (см. рнс. 7.5, рецептор МА). В приемнике передаваемая информация декодируется и поступает к пользователю в своем первоначальном виде. Одна из задач теории информации-разработка кодов, оптимальных для передачи данных по конкретному каналу н сводящих к минимуму информационные потери, вызываемые поме- Измерение количества информации В теории информация сам этот термин применяется именно к измеримой, описываемой математически стороне сообщения [б, 7.
81. Например, когда вы бросаете игральную кость, выпадает одно из шести равновероятных чисел. Вероятность выпадения каждого из них составляет. р = 1,'6. Таким образом, при каждом броске игрок устраняет одно и то же количество иеопределевиости, т.е. у каждого броска одинаковое измеримое информационное содержание. Обобщая, можно сказать, что информачия — это выраженное количественно уменьшение неанределенности а знаниях о собыьнии. Следовательно, чем необычнее некоторое событие, т.е. чем меньше его вероятяость р, тем больше уменьшается неопределенность„когда оно цронсходит.
Поэтому ннформашюнное содержание (1) удобно выражать как величину, обратную этой вероятности: 1 = 1/р. Имеет смысл также условиться, что, когда событие точно произойдет (т.е. его вероятность р = 1), его информационное содержание 1 = О. Соответственно, измеримое вкформацвоняое содержание 1 сообгцения определяется следующим образом: 1 1 1= Ьй,— = Ы-. (1) Р р В этой формуле Ы означает двоичный логарифм, т, е. логарифм по основанию 2 (1б = 1ой ). чАсть и.
двиГАтельные и интеГРАтивные Функции неРвной системы сиам»мы огамвврг- при»гор мимам мого кива 1лаагп ивчвчавг бюсам в вмяв амвкчючвокиа ОМГМВМОВ в ивюиова К»пг»ГГРО «амвю» 0»мю«мм Осююоимв и в ввгвгвгй така пвирммммив в иро- твивбюммвм гртбкв смтсмаввма воле ммм м»косо- гюмвюртаг вигкм юапсмгма» ВОлны вюгм Там»ревмя »»кровом Рава С»мамам нейронов цвмн»мам»с в цнс ваги»рквм Свмвелы с веолиммпяигй вереапюстьвв вщаяпмя.
Прм выаолс уравнения (2) упрощенно допуаалась, что ясе и состояний источника информация раввааероатпьс р= 1/п. Зто верно. например„прм бросцщи агральнай кости. Оливка обычно отдельные свпщолы нлн состояния источника инфармацки не равновероятны. Например, а текстах на английском язьпн буква «е» встречается чаще прочих, а буква мт» -сравнительна редко. Хотя такая неодинаковая вероятность сигналов-наябовме распространенный случай, мы не будем его рассматривать лля прастапв изложения. В приведенном вылив количественном определении информации никак не оговарвввегся ее заачвввесвь Ллв пользввввепя. Например, при игре в кости розные выпадающие числа аоспрнинмаютсв игроком отнюдь не одинаково: все завщит от характера игры, ее правил, предыдущего результата, результатоа другах игроков и т.п.
Зги аспекты, называемые спамничвеквмв, теорией информации игнарируютсв. А В С о -" Е е 6 —— н "" Рис. 7.2. Фрагмент азбуки Морзе кек пример кода, Буквы алфавита представлены здесь сочетаниями коротких (тачки) и длинных (тире) символов. Их можно передавать разными техническими способамн-сввтоаыым, звуковыми. злектрмчвскнми ммпупьсамм разной дпмт»лопасти. Справа: запись азбукой Морзе сигнала бедствия на море (ВОЗ) Двоичные и недвоичнме символьц бвт. В просгейпгем случае информацию можно передавать с помощью всего двух символов, в так называемой двоичвой системе (например, нулями и единицами). Прн этом источник информации сигнализирует о выборе вгглгду двумя пвьтгрщтшяплви (например, гога»/«нет»).
Двоичные системы особенно удобны с точки зрения технической реализации (свет/темнота, включено/пыключеио, сильное/слабое магнитное поле н т.д.). В этом одна нз причин выбора в качестве злйментариай едниацы ниформацив информационного содержания двоичного символа: 1 = = 102 = 1. Количество информации, передаваемое одним двоичным символом, называется одев бвт. Вычислим теперь информационное содержание кщкдого броска юральной кости: 1чм!д1/(1/6) = = Ыб = 2,58 бнт.
Что такое «бит», мы рассмотрим ниже. Поскольку у карманных калькуляторов обычно нет программы ллв вычисления двончнога логарифма, мохспо попользовать следующую формулу перевала: Ы и = 1ойвоп/)ойво2 = 3,32 1ойгогь Вообще говоря, вероятносп появления каждого яз множества и возможньгх снмиолов (или состояний источника информации) составляет р= 1/и. Следовательно, уравнение (!) можно преобразовать к виду 1 =Ып. (2) Иными словами, информационное содержание 1 — зто двоичньгй логарифм числа и всех символов или возможных состояний источника информации. Ноже мы применим такое соотношение к нейрафизиологии (с.
173 и далее). Бит -зто очень мало информации. Если в такой системе требуется передать достаточно длинные сообщения, глана нуваю составлять, абьединяа по несколько сямволоа. Длина слова (число в пем лаоичных символов) непосредственно выражает количество информации а битах. Число слов, которые можно образовать из двух дванчньгх снмаолав. Раааа 2* = »2 00, 01, )О. П. Из трех символов составлмотся 2в = 8 слов-комбнвацпйг 000, 001, Рис. 7ОЕ Основные понятия теории ммформацим (ееерлу) с прммерамм апемвпгоа информационной цепи а технических и биологических системах ГЯАВА т. КеРВИАя системА с тОчки 3Рения теОРии инФОРмАции 173 010, О11, 100, 1О1, 110, 111. Если в слове ш двоичных с«ыволоа, получи«зев о = 2 таких сочетав«й.
Другнын словвын, в этом случае можно послать и = 2 раэлнчньп сигналов с ннфорыацнонныы содержанием в ш бнт у каждого. Предложенное выше определение информационного содержания не зависит от природы используемых в качестве носителя символов: любой их набор можно представить в вице двоичного кода. Для однозначного соотвстствня между ц различных символов и обозначающими их двоичными словамв длина последних должна составлять в среднем ш=!дц двоичных символов. Попробуйте придумать примеры, иллюстрирующие это положение; предложите, в частности, двоичный код для букв от А до 3 или чисел от 1 до 16. Когда произвольный символ заменен двоичным словом, можно сказать, что их информационное содержание (в битах) одинаково, поэтому в среднем у любого символа из и оно определяется формулой 1 = 1г) ц. Перед нами уравненне (2), выведенное выше из определения информационного содержания.
Разбирая основные понятия теории информации. ыы значительно уцростнлн вопрос, в частности, допусти» равную вероятность появления любого символа нэ нх множества. Более подробное н строгое юложенне теории информации можно найти в специальной литературе. Избыточиосп . При кодировании, передаче и декодировании могут возникать помеха (рис. 7.1). Например, наводки от электросети иногда проявляются при записи на магнитную ленту в виде гудения частотой 50 или 60 Гц; телефонные сигналы ослабляются из-за повреждения изоляции кабеля, а телевизионное изображение искажается, если сигнал от удаленного передатчика слишком слаб. В таких случаях некоторое количество информации теряется.
В технике способы защиты информацви от помех основаны на концепции нзбыточвостя. В качестве ишпострацин этого понятия рассмотрим пример иэ области лингвистики. Попытайтесь расшифровать следующее неполное предложение (пропущенные буквы в нем заменены точками): И..орм.ц..н... с..е.жа..е с.об.е.и. из.е.и.о Смысл понятен, хотя не хватает 49«ггв букв. Иными словами, в тексте больше символов, чем необходимо для передачи содержания. Это и называют избыточностью; она измеряется в битах. Исходя нэ частоты повеления а словах каждой нэ 26 букв английского алфавита, можно показать, что среднее информационное солержынне буквы не превышает 1,5 бнт. Теоретически, если не учвгывать разной вероятности повеления букв, оно ссспшнло бы И 26 = 4,7 бнт.
поэтому ь данном случае средняя избыточность равна 4,7 бнт. 1,5 бнт = 3,2 бнт на букву. На первый взгляд такое количество символов кажется расточительным, однако преимущества его становятся очевидными, когда иа канал передачи воздеяствуют помехи, например при плохой телефонной связи, глушении радиоприема или в случае неразборчивого почерка: избыточность нивка обеспечит понимание смысла текста даже при частичной идентификации символов. Теория информацяи количественно объясняет следутощий факт: чвм избыточнее кодирование, тем сильнее эагции)вио от помех передаваемое сообщение.
К простым способам введения избыточности относятся передача сигналов по множеству параллельных каналов, передача каждого символа несколько раэ подряд, добавление контрольных «битов четности» к сигналу, записанному а двоичном коде. В нервной системе также используется принцип избыточности. 7.2. Теория информации в сенсорной ФИЗИОЛОГИИ Применим теперь рассмотренную выше концепцию (рис. 7.1) к передаче информации в нервной системе !5, 11, 14, 151.
Возьмем для примера рецептор с его афферентным волокном. В этом случае информация кодируется носледоввтелыюепло нервных вмиулъсов и в таком виде передается. Ее источник (рис. 7.1) — внешние стимулы, передатчики — рецепторные клетки сенсорного органа, канал передачи — нервные волокна, приемник — группа центральных нейронов, а пользователь-ЦНС в целом. Едтппппл информации здесь — количественные параметры стимулов (например, давление на итаку, местоположение раздражителя на периферической сенсорной поверхности, длина световых или звуковых волн). Во многих рецепторах интенсввность стимула кодируется средней частотой импульсации нейрона.
Такой способ аналогичен частотной модуляции, используемой в системах связи, и известен в любой сенсорной модальности. Мъппечные веретена, кожные рецепторы давленая, хеморецепторы языка и фоторецепторы сетчатки-все они сигвализируют об интенсивности соответствующего им стимула средней частотой импульсации своих нервных волокон. ттастпота нейронной импульсацииупиверс ильпый носитель информации. Поскольку афферентные волокна сенсорньгх рецепторов обычно соедипшотся со специфичными ассоциативными нейронными системами в ЦНС, информация, передаваемая последовательностью импульсов, однозначно и адекватно интерпретируется.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
