AdInf2 (Лекции по информатике)

ДОПОЛНЕНИЕ 2.

КЛОД ЭЛВУД ШЕННОН.

Клод Элвуд Шеннон (Shannoif (1916 — 2001) — американский инженер и математик. Человек, которого называют отцом современных теорий информации и связи.

Осенним днем 1989 года корреспондент журнала “ScientificAmerican” вошел в старинный дом с видом на озеро к северу от Бостона. Но встретивший его хозяин, 73-летний стройный старик с пышной седой гривой и озорной улыбкой, совсем не желал вспоминать "дела давно минувших дней "и обсуждать свои научные открытия 30-50-летней давности. Быть может, гость лучше посмотрит его игрушки?

Не дожидаясь ответа и не слушая увещеваний жены Бетти, хозяин увлек изумленного журналиста в соседнюю комнату, где с гордостью 10-летнего мальчишки продемонстрировал свои сокровища: семь шахматных машин, цирковой шест с пружиной и бензиновым двигателем, складной нож с сотней лезвий, двухместный одноколесный велосипед, жонглирующий манекен, а также компьютер, вычисляющий в римской системе счисления. И не беда, что многие из этих творений хозяина давно сломаны и порядком запылены, — он счастлив.

Кто этот старик? Неужели это он, будучи еще молодым инженером Bell Laboratories написал в 1948 году 'Великую хартию" информационной эры — "Математическую теорию связи"? Его ли труд назвали "величайшей работой в анналах технической мысли"? Его ли интуицию первооткрывателя сравнивали с гением Эйнштейна? Да, это все о нем. И он же в тех же 40-х годах конструировал летающий диск на ракетном двигателе и катался, одновременно жонглируя, на одноколесном велосипеде по коридорам Bell Labs. Это Клод Элвуд Шеннон, отец кибернетики и теории информации, гордо заявивший: "Я всегда следовал своим интересам, не думая ни о том, во что они мне обойдутся, ни об их ценности для мира. Я потратил уйму времени на совершенно бесполезные вещи."

Клод Шеннон родился в 1916 году и вырос в городе Гэйлорде штата Мичиган. Еще в детские годы Клод познакомился как с детальностью технических конструкций, так и с общностью математических принципов. Он постоянно возился с детекторными приемниками и радиоконструкторами, которые приносил ему отец, помощник судьи, и решал математические задачки и головоломки, которыми снабжала его старшая сестра Кэтрин, ставшая впоследствии профессором математики. Клод полюбил эти два мира, столь несхожие между собой, — технику и математику.

Будучи студентом Мичиганского университета, который он окончил в 1936 году, Клод специализировался одновременно и в математике, и в электротехнике Эта двусторонность интересов и образования определила первый крупный успех, которого Клод Шеннон достиг в свои аспирантские годы в Массачусетском технологическом институте. В своей диссертации, защищенной в 1940 году, он доказал, что работу переключателей и реле в электрических схемах можно представить посредством алгебры, изобретенной в середине XIX века английским математиком Джорджем Булем. "Просто случилось так, что никто другой не был знаком с этими обеими областями одновременно!" — так скромно Шеннон объяснил причину своего открытия.

В наши дни совершенно излишне объяснять читателям компьютерного издания, что значит булева алгебра для современной схемотехники В 1941 году 25-летний Клод Шеннон поступил на работу в Bell Laboratories В годы войны он занимался разработкой криптографических систем, и позже это помогло ему открыть методы кодирования с коррекцией ошибок. А в свободное время он начал развивать идеи, которые потом вылились в теорию информации. Исходная цель Шеннона заключалась в улучшении передачи информации по телеграфному или телефонному каналу, находящемуся под воздействием электрических шумов. Он быстро пришел к выводу, что наилучшее решение проблемы заключается в более эффективной упаковке информации.

Но что же такое информация? Чем измерять ее количество? Шеннону пришлось ответить на эти вопросы еще до того, как он приступил к исследованиям пропускной способности каналов связи. В своих работах 1948-49 годов он определил количество информации через энтропию — величину, известную в термодинамике и статистической физике как мера разупорядоченности системы, а за единицу информации принял то, что впоследствии окрестили "битом", то есть выбор одного из двух равновероятных вариантов. Позже Шеннон любил рассказывать, что использовать энтропию ему посоветовал знаменитый математик Джон фон Нейман, который мотивировал свой совет тем, что мало кто из математиков и инженеров знает об энтропии, и это обеспечит Шеннону большое преимущество в неизбежных спорах. Шутка это или нет, но как трудно нам теперь представить, что всего полвека назад понятие "количество информации" еще нуждалось в строгом определении и что это определение могло вызвать какие-то споры.

На прочном фундаменте своего определения количества информации Клод Шеннон доказал удивительную теорему о пропускной способности зашумленных каналов связи. Во всей полноте эта теорема была опубликована в его работах 1957-61 годов и теперь носит его имя. В чем суть теоремы Шеннона?

Всякий зашумленный канал связи характеризуется своей предельной скоростью передачи информации, называемой пределом Шеннона. При скоростях передачи выше этого предела неизбежны ошибки в передаваемой информации. Зато снизу к этому пределу можно подойти сколь угодно близко, обеспечивая соответствующим кодированием информации сколь угодно малую вероятность ошибки при любой зашумленности канала.

Эти идеи Шеннона оказались слишком провидческими и не смогли найти себе применения в годы медленной ламповой электроники. Но в наше время высокоскоростных микросхем они работают повсюду, где хранится, обрабатывается и передается информация: в компьютере и лазерном диске, в факсимильном аппарате и межпланетной станции. Мы не замечаем теорему Шеннона, как не замечаем воздух.

Кроме теории информации, неуемный Шеннон приложился во многих областях. Одним из первых он высказал мысль о том, что машины могут играть в игры и самообучаться. В 1950 году он сделал механическую мышку Тесей, дистанционно управляемую сложной электронной схемой. Эта мышка училась находить выход из лабиринта. В честь его изобретения IEEE учредил международный конкурс "микромышь", в котором до сих пор принимают участие тысячи студентов технических вузов. В те же 50-е годы Шеннон создал машину, которая "читала мысли" при игре в "монетку": человек загадывал "орел" или "решку, а машина отгадывала с вероятностью выше 50%, потому что человек никак не может избежать каких-либо закономерностей, которые машина может использовать.

В 1956 году Шеннон покинул Bell Labs и со следующего года стал профессором Массачусетского технологического института, откуда ушел на пенсию в 1978 году. В числе его студентов был, в частности, Марвин Мински и другие известные ученые, работавшие в области искусственного интеллекта.

Труды Шеннона, к которым с благоговением относятся деятели науки, столь же интересны и для специалистов, решающих сугубо прикладные задачи. Шеннон заложил основание и для современного кодирования с коррекцией ошибок, без которого не обходится сейчас ни один дисковод для жестких дисков или система потокового видео, и, возможно, многие продукты, которым еще только предстоит увидеть свет.

В МТИ и на пенсии им полностью завладело его давнее увлечение жонглированием. Шеннон построил несколько жонглирующих машин и даже создал общую теорию жонглирования, которая, впрочем, не помогла ему побить личный рекорд — жонглирование четырьмя мячиками. Еще он испытал свои силы в поэзии, а также разработал разнообразные модели биржи акций и опробовал их (по его словам — успешно) на собственных акциях.

Но с начала 60-х годов Шеннон не сделал в теории информации практически больше ничего. Это выглядело так, как будто ему всего за 20 лет надоела созданная им же теория. Такое явление — не редкость в мире науки, и в этом случае об ученом говорят одно слово: перегорел. Как лампочка, что ли? Мне кажется, более точным было бы сравнение ученых со звездами. Самые мощные звезды светят не долго, около ста миллионов лет, и кончают свою творческую жизнь вспышкой сверхновой, в процессе которой происходит нуклеосинтез: из водорода и гелия рождается вся таблица Менделеева. Мы с вами состоим из пепла этих звезд, и так же наша цивилизация состоит из продуктов быстрого сгорания самых мощных умов. Есть звезды второго типа: они горят ровно и долго и миллиарды лет дарят свет и тепло населенным планетам (по крайней мере, одной). Исследователи такого типа тоже очень нужны науке и человечеству: они сообщают цивилизации энергию развития. А звезды третьего сорта — красные и коричневые карлики — светят и греют чуть-чуть, лишь себе под нос. Таких ученых хватает, но в статье о Шенноне говорить о них просто неприлично.

В 1985 году Клод Шеннон и его жена Бетти неожиданно посетили Международный симпозиум по теории информации в английском городе Брайтоне. Почти целое поколение Шеннон не появлялся на конференциях, и поначалу его никто не узнал. Затем участники симпозиума начали перешептываться: вон тот скромный седой джентльмен — это Клод Элвуд Шеннон, тот самый! На банкете Шеннон сказал несколько слов, немного пожонглировал тремя (увы, только тремя) мячиками, а затем подписал сотни автографов ошеломленным инженерам и ученым, выстроившимся в длиннейшую очередь. Стоящие в очереди говорили, что испытывают такие же чувства, какие испытали бы физики, явись на их конференцию сам сэр Исаак Ньютон.

Клод Шеннон скончался в 2001 году в массачусетском доме для престарелых от болезни Альцгеймера на 84 году жизни.

По материалам статьи С. Серого в газете “Компьютерные вести”.
N 21, 1998 г.

ДОПОЛНЕНИЕ 2.

КЛОД ЭЛВУД ШЕННОН.

Клод Элвуд Шеннон (Shannoif (1916 — 2001) — американский инженер и математик. Человек, которого называют отцом современных теорий информации и связи.

Осенним днем 1989 года корреспондент журнала “ScientificAmerican” вошел в старинный дом с видом на озеро к северу от Бостона. Но встретивший его хозяин, 73-летний стройный старик с пышной седой гривой и озорной улыбкой, совсем не желал вспоминать "дела давно минувших дней "и обсуждать свои научные открытия 30-50-летней давности. Быть может, гость лучше посмотрит его игрушки?

Не дожидаясь ответа и не слушая увещеваний жены Бетти, хозяин увлек изумленного журналиста в соседнюю комнату, где с гордостью 10-летнего мальчишки продемонстрировал свои сокровища: семь шахматных машин, цирковой шест с пружиной и бензиновым двигателем, складной нож с сотней лезвий, двухместный одноколесный велосипед, жонглирующий манекен, а также компьютер, вычисляющий в римской системе счисления. И не беда, что многие из этих творений хозяина давно сломаны и порядком запылены, — он счастлив.

Кто этот старик? Неужели это он, будучи еще молодым инженером Bell Laboratories написал в 1948 году 'Великую хартию" информационной эры — "Математическую теорию связи"? Его ли труд назвали "величайшей работой в анналах технической мысли"? Его ли интуицию первооткрывателя сравнивали с гением Эйнштейна? Да, это все о нем. И он же в тех же 40-х годах конструировал летающий диск на ракетном двигателе и катался, одновременно жонглируя, на одноколесном велосипеде по коридорам Bell Labs. Это Клод Элвуд Шеннон, отец кибернетики и теории информации, гордо заявивший: "Я всегда следовал своим интересам, не думая ни о том, во что они мне обойдутся, ни об их ценности для мира. Я потратил уйму времени на совершенно бесполезные вещи."

Клод Шеннон родился в 1916 году и вырос в городе Гэйлорде штата Мичиган. Еще в детские годы Клод познакомился как с детальностью технических конструкций, так и с общностью математических принципов. Он постоянно возился с детекторными приемниками и радиоконструкторами, которые приносил ему отец, помощник судьи, и решал математические задачки и головоломки, которыми снабжала его старшая сестра Кэтрин, ставшая впоследствии профессором математики. Клод полюбил эти два мира, столь несхожие между собой, — технику и математику.

Будучи студентом Мичиганского университета, который он окончил в 1936 году, Клод специализировался одновременно и в математике, и в электротехнике Эта двусторонность интересов и образования определила первый крупный успех, которого Клод Шеннон достиг в свои аспирантские годы в Массачусетском технологическом институте. В своей диссертации, защищенной в 1940 году, он доказал, что работу переключателей и реле в электрических схемах можно представить посредством алгебры, изобретенной в середине XIX века английским математиком Джорджем Булем. "Просто случилось так, что никто другой не был знаком с этими обеими областями одновременно!" — так скромно Шеннон объяснил причину своего открытия.

В наши дни совершенно излишне объяснять читателям компьютерного издания, что значит булева алгебра для современной схемотехники В 1941 году 25-летний Клод Шеннон поступил на работу в Bell Laboratories В годы войны он занимался разработкой криптографических систем, и позже это помогло ему открыть методы кодирования с коррекцией ошибок. А в свободное время он начал развивать идеи, которые потом вылились в теорию информации. Исходная цель Шеннона заключалась в улучшении передачи информации по телеграфному или телефонному каналу, находящемуся под воздействием электрических шумов. Он быстро пришел к выводу, что наилучшее решение проблемы заключается в более эффективной упаковке информации.

Но что же такое информация? Чем измерять ее количество? Шеннону пришлось ответить на эти вопросы еще до того, как он приступил к исследованиям пропускной способности каналов связи. В своих работах 1948-49 годов он определил количество информации через энтропию — величину, известную в термодинамике и статистической физике как мера разупорядоченности системы, а за единицу информации принял то, что впоследствии окрестили "битом", то есть выбор одного из двух равновероятных вариантов. Позже Шеннон любил рассказывать, что использовать энтропию ему посоветовал знаменитый математик Джон фон Нейман, который мотивировал свой совет тем, что мало кто из математиков и инженеров знает об энтропии, и это обеспечит Шеннону большое преимущество в неизбежных спорах. Шутка это или нет, но как трудно нам теперь представить, что всего полвека назад понятие "количество информации" еще нуждалось в строгом определении и что это определение могло вызвать какие-то споры.