Хайкин С. - Нейронные сети (778923), страница 14
Текст из файла (страница 14)
Такая последовательная обработка, скорее всего, объясняется последовательной природой естественных языков и логических заключений, а также структурой машины фон Неймана. Нельзя забывать о том, что классические системы искусственного интеллекта зародились практически в ту же интеллектуальную эру, что и машина фон Неймана. В отличие от них, концепция обработки информации в нейронных сетях проистекает из принципа параллелизиа (рата!!ейзш), который является источником их гибкости.
Более того, параллелизм может быть массовым (сотни тысяч нейронов), что придает нейронным сетям особую форму робастности. Если вычисления распределены между множеством нейронов, практически не важно, что состояние отдельных нейронов сети отличается от ожидаемого. Зашумленный или неполный входной сигнал все равно можно распознать; поврежденная сеть может продолжать выполнять свои функции на удовлетворительном уровне, а обучение не обязательно должно быть совершенным.
Производительность сети в пределах некоторого диапазона снижается достаточно медленно. Кроме того, можно дополнительно повысить робастность сети, представляя каждое свойство группой нейронов [4591. 3. Сгпруктура представления (гергеаепгабопа1 зптзсшге). В классических системах искусственного интеллекта в качестве модели выступает язык мышления, поэтому символьное представление имеет квази-лингвистическую структуру.
Подобно фразам обычного языка, выражения классических систем искусственного интеллекта, как правило, сложны и составляются путем систематизации простых символов. Учитывая ограниченное количество символов, новые смысловые выражения строятся на основе композиции символьных выражений и аналогии между синтаксической структурой и семантикой. 74 Глава 1. Введение С другой стороны, в нейронных сетях природа и структура представления являются ключевыми проблемами.
В марте 1988 года в специальном выпуске журнала Сода!г!он [300) были опубликованы критические замечания по поводу вычислительной адекватности нейронных сетей при решении когиитивиых и лиигвистических задач. Оии аргументированы тем, что нейронные сети ие удовлетворяют двум основным критериям процесса познания: природе мысленного нредставления (шепш1 гергезеп!айоп) и мыслительных нроцессов (шспш! ргосезз). В соответствии с этой работой следующие свойства присущи именно системам искусствеиного интеллекта и ие присущи нейронным сетям. ° Мысленное представление характеризуется комбииаториой избирательной структурой и комбииаториой семантикой.
° Мыслительные процессы характеризуются чувствительностью к комбииаториой структуре представления, с которым оии работают. Таким образом, символьные модели искусственного интеллекта — это формальные системы, основанные иа использовании языка алгоритмов и представлении даииых по принципу "сверху вниз" (1ор-дознп), а нейронные сети — это параллельные распределеииые процессоры, обладающие естественной способностью к обучению и работающие по принципу "снизу вверх" (Ъоцош-пр). Поэтому при решении когиитивиых задач целесообразно создавать структурированные модели на основе связей (затзс!атее соппес1!оп!з! шопе!з) или гибридные системы (ЬуЬпд зузгегп), обьедиияющие оба подхода. Это обеспечит сочетание свойств адаптивности, робастиости и единообразия, присущих нейронным сетям, с представлениями, умозаключениями и универсальностью систем искусственного интеллекта [293),[1108).
Для реализации этого подхода были разработаны методы извлечения правил из обученных нейрониых сетей [61]. Эти результаты ие только позволяют интегрировать нейронные сети с интеллектуальными машинами, ио и обеспечивают решение следующих задач. ° Верификация нейросетевых компонентов в программных системах. Для этого внутреннее состояние нейронной сети переводится в форму, понятную пользователям. ° Улучшение обобщающей способности нейронной сети за счет выявления областей входного пространства, ие достаточно полно представленных в обучающем множестве, а также определения условий, при которых обобщение невозможно. ° Выявление скрытых зависимостей иа множестве входных данных. ° Интеграция символьного и коииекциоиистского подходов при разработке интеллектуальиых машин. ° Обеспечение безопасности систем, для которых оиа является критичной.
1.9. Историческая справка 75 1.9. Историческая справка Эта вводная глава не может обойтись без небольшой исторической справки7. Современная эра нейронных сетей началась с новаторской работы Мак-Каллока и Питца [714]. Мак-Каллок по образованию был психиатром и нейроанатомом и более 20 лет занимался вопросами представления событий в нервной системе. Питц был талантливым математиком; он присоединился к исследованиям Мак-Каллока в ! 942 году.
Согласно 1868], в статье Мак-Каллока и Питца описаны результаты, полученные в течение 5 лет группой специалистов по нейромоделированию из университета Чикаго, возглавляемой Рашевским (Вяз]аечс[су). В своей классической работе Мак-Каллок и Питц описали логику вычислений в нейронных сетях на основе результатов нейрофизиологии и математической логики. Формализованная модель нейрона соответствовала принципу "все или ничего".
Ученые показали, что сеть, составленная из большого количества таких элементарных процессорных единиц, соединенных правильно сконфигурированными и синхронно работающими синаптическими связями, принципиально способна выполнять любые вычисления. Этот результат был реальным прорывом в области моделирования нервной системы. Именно он явился причиной зарождения таких направлений в науке, как искусственный интеллект и нейронные сети. В свое время работа Мак-Каллока и Питца широко обсуждалась. Она остается актуальной и сегодня.
Эта работа оказала влияние на идеи фон Неймана, воплощенные в конструкции компьютера Е[3ЧАС (Е!ес!гоше [3]зсге!е ЧапаЫе Ап!оп!або Сопзрп!ег), разработанного на основе устройства Е]ч]!АС (Е[есггошс ]Чшпейса! [п[ейгагог апд Сошри!ег) (74]. Е]ч](АС был первым компьютером общего назначения. Он создавался с 1943 по 1946 год в университете штата Пенсильвания. Фон Нейман постоянно излагал теорию формальных нейронных сетей Мак-Каллока-Питца во второй из своих четырех лекций, которые он читал в Университете штата Иллинойс в 1949 году. В 1948 году была издана знаменитая книга Винера (%е[пег) под названием Кибернетика. В ней были описаны некоторые важные концепции управления, коммуникаций и статистической обработки сигналов. Вторая редакция этой книги вышла в 1961 году.
В нее был добавлен материал, касающийся обучения и самоорганизации систем. Во второй главе обоих изданий этой книги Винер подчеркнул физическую значимость статистических механизмов в контексте излагаемой проблемы. Однако только через 30 лет в работах Хопфилда (Норйе]б) был построен мост между статистическими механизмами и обучаемыми системами. " Историческая справка в основном (но не полностью) основывается на [481, 153], [681, «74], [227], [390], [868], [9[61, [9 !9], [964], [! 042], [! !421 76 Глава 1. Введение Следующей важной вехой в развитии нейронных сетей стал выход в свет в 1949 году книги Хебба (НеЬЬ) Тйе Ог8ап1хайоп о7' Вепатог (Организация поведения).
В ней приводится четкое определение физиологического правила обучения для синаптической модификации (зупарйс шод)йса1!оп). В частности, Хебб предположил, что, по мере того как организм обучается различным функциональным задачам, связи в мозге постоянно изменяются и при этом формируются ансамбли нейронов (пепгоп аззешЫу). Знаменитый постулат обучения (розш1аге о1!еапппй) Хебба гласит, что эффективность переменного синапса между двумя нейронами повышается при многократной активации этих нейронов через данный синапс. Эта книга оказала влияние на развитие психологии, но, к сожалению, практически не возымела влияния на сообщество инженеров.
Книга Хебба стала источником вдохновения при создании вычислительных моделей обучаемых и адаптивных систем (1еагпшй апд адарбче зузгеш). Первой попыткой использования компьютерного моделирования для проверки формализованной теории нейронов, основанной на постулате обучения Хебба, была, пожалуй, «894]. Результаты моделирования четко показали, что для полноты этой теории к ней следует добавить торможение. В том же году Атгли (Пп!еу) «1069] продемонстрировал, что нейронные сети с изменяемыми синапсами можно обучить классификации простейших двоичных образов (растровых изображений). Он ввел понятие и активации нейрона, которое было формально проанализировано Кайанелло (Саин!е!о) в 1961 году «167).
В своей более поздней работе (1979) Аттли высказал гипотезу о том, что эффективность переменного синапса в нервной системе зависит от статистических связей между переменными состояниями на другом конце синапса, связав, таким образом, теорию нейронных сетей с теорией информации Шеннона (БЬаппоп). В 1953 году вышла в свет книга, которая не потеряла своей актуальности и сегодня «573). Идея, представленная в этой работе, состояла в том, что адаптивное поведение является не врожденным, а приобретенным, и с помощью обучения можно улучшить поведение животного (системы).
Эта книга фокусировала внимание исследователей на динамических аспектах живого организма как системы и на понятии устойчивости. В 1954 году Минский (М!пз1су) написал докторскую диссертацию в Принстонском университете, посвященную теории нейроаналоговых систем обучения с подкреплением и ее применению в задачах моделирования мозга «743). В 1961 году была опубликована его работа, посвященная искусственному интеллекту [742]. Она называлась Бгерв Тон ап1 Апфс1а! 1пге(ййепсе (На пути к искусственному интеллекту). Эта работа содержала большой раздел, посвященный области, которая сейчас называется теорией нейронных сетей. В своей работе Сотршайоп: Япйе апа' 1пЯпйе Масп1пев (Вычисления: конечные и бесконечные машины) «741] Минский расширил результаты, полученные в 1943 году Мак-Каллоком и Питцом, и поместил их в контекст теории автоматов и теории вычислений. 1.9. Историческая справка 77 В том же 1954 году Габор (ОаЬог), один из пионеров в теории коммуникации и первооткрыватель голографии, предложил идею нелинейного адаптивного фильтра (поп!шеаг адарбке бйег) [330).
Со своими единомышленниками ои создал машину, которая обучалась иа примере стохастического процесса [331). В 1950-х годах Тейлор (Та!!ог) инициировал работы по исследованию ассоииативной памяти (аьяос!айне шешогу) [1044], а в 1961 году Стейнбах (8ге!пЬпсЬ) разработал матрицу обучения (1еаппп8 ша!пх), состоящую из плоской сети переключателей, объединявшей массивы сенсорных рецепторов и моторных исполнительных механизмов [1015).
В 1969 году была опубликована хорошая работа по иеголографической ассоциативной памяти [1158). В ией представлены две модели: простая оптическая модель корреляционной памяти и нейросетевая модель, реализованная в виде оптической памяти.
Среди других работ, которые внесли заметный вклад в раииее развитие ассоциативной памяти, следует отметить [501, [580), [771), в которых независимо друг от друга в одном и том же году описана идея памяти на основе матрицы корреляции (сопе1айоп шапзх шепюгу), которая строится иа обучении по правилу внешнего произведения (оп!ег ргоппс! 1еаппп8). Одной из самых известных фигур в науке первой половины ХХ века был фои Нейман. Архитектура фон Неймана (Чоп Ыешпапп агсййес!пге) является основой для создания цифровых компьютеров, названных в его честь.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
