Хайкин С. - Нейронные сети (778923), страница 6
Текст из файла (страница 6)
Например, адаптивная система с параметрами, быстро изменяющимися во времени, может также быстро реагировать и на посторонние возбуждения, что вызовет потерю производительности. Для того чтобы использовать все достоинства адаптивности, основные параметры системы должны быть достаточно стабильными, чтобы можно было не учитывать внешние помехи, и достаточно ~ибкими, чтобы обеспечить реакцию на существенные изменения среды. Эта задача обычно называется дилеммой стабильности — пластичности (зГаЬРйгу-р!азбсйу д!1епппа) [389). 1.1. Что такое нейронные сети Зб 4.
Очевидность ответа (еч!деп!!а! гезропзе). В контексте задачи классификации об- разов можно разработать нейронную сеть, собирающую информацию не только для определения конкретного класса, но и для увеличения достоверности (сопбдепсе) принимаемого решения. Впоследствии эта информация может использоваться для исключения сомнительных решений, что повысит продуктивность нейронной сети. 5. Контекстная информация (сопгехШа! !пГоппа1!оп).
Знания представляются в са- мой структуре нейронной сети с помощью ее состояния активации. Каждый нейрон сети потенциально может быть подвержен влиянию всех остальных ее нейронов. Как следствие, существование нейронной сети непосредственно связано с контекстной информацией. 6. Отказоустойчивость (Гап!1 1о!егапсе). Нейронные сети, облаченные в форму элек- тропики, потенциально отказоустойчивы.
Это значит, что при неблагоприятных условиях их производительность падает незначительно. Например, если поврежден какой-то нейрон или его связи, извлечение запомненной информации затрудняется. Однако, принимая в расчет распределенный характер хранения информации в нейронной сети, можно утверждать, что только серьезные повреждения структуры нейронной сети существенно повлияют на ее работоспособность.
Поэтому снижение качества работы нейронной сети происходит медленно. Незначительное повреждение структуры никогда не вызывает катастрофических последствий. Это — очевидное преимущество робастных вычислений, однако его часто не принимают в расчет. Чтобы гарантировать отказоустойчивость работы нейронной сети, в алгоритмы обучения нужно закладывать соответствующие поправки [557). 7. Эффективная реализуемость на СБИС вЂ” сверхбольших интегральньп схемах (Ч1.$1 1шр!ешепзаЬ!1йу).
Параллельная структура нейронных сетей потенциально ускоряет решение некоторых задач и обеспечивает масштабируемость нейронных сетей в рамках технологии Ч) 81 (негу-1агйе-зса!е-!и!ейга1ед), Одним из преимуществ технологий Ч1.81 является возможность представить достаточно сложное поведение с помощью иерархической структуры !720). 8. Единообразие анализа и проектирования (оп!(опп!1у остапа!уз!з апд дез!8п). Ней- ронные сети являются универсальным механизмом обработки информации.
Это означает, что одно и то же проектное решение нейронной сети может испольюваться во многих предметных областях. Это свойство проявляется несколькими способами. ° Нейроны в той или иной форме являются стандартными составными частями любой нейронной сети. ° Эта общность позволяет использовать одни и те же теории и алгоритмы обучения в различных нейросетевых приложениях.
° Модульные сети могут быть построены на основе интеграции целых модулей. 9. Аналогия с нейробиологией (Ь!епгоЬ!о!о8!са) апа!ойу). Строение нейронных сетей определяется аналогией с человеческим мозгом, который является живым до- 36 Глава 1. Введение казательством того, что отказоустойчивые параллельные вычисления не только физически реализуемы, но и являются быстрым и мощным инструментом решения задач. Нейробиологи рассматривают искусственные нейронные сети как средство моделирования физических явлений. С другой стороны, инженеры постоянно пытаются почерпнуть у нейробиологов новые идеи, выходящие за рамки традиционных электросхем.
Эти две точки зрения можно продемонстрировать на следующих примерах. ° В работе модели линейных систем вестибуло-окулярного рефлекса сравнивались с моделями рекуррентныл нейронныл сетей (они будут описаны в разделе 1.6 и более подробно в главе 15). Вест ибуло-окуллрный рефлекс, или рефлекс ЧОК (иезбЬп1о-осп!аг гебех), является составной частью глазодвнгательной системы. Его задачей является обеспечение стабильности визуального образа при поворотах головы за счет вращения глаз.
Процесс ЧОК реализуется премоторными нейронами в вестибулярном центре, которые получают и обрабатывают сигналы поворота головы от вестибулярных сенсорных нейронов и передают результат на моторные нейроны мышц глаз. Механизм ЧОК хорошо подходит для моделирования, так как входной (поворот головы) и выходной (поворот глаз) сигналы можно точно описать. К тому же это довольно простой рефлекс, а нейрофизические свойства реализующих его нейронов довольно хорошо описаны. Среди трех задействованных в нем типов нейронов премоторные нейроны, входящие в состав вестибулярного центра, являются самыми сложными, а значит, самыми интересными. Ранее механизм ЧОК моделировался с помощью сосредоточенной линейной системы и теории управления. Эти модели были пригодны для описания некоторых общих свойств ЧОК, но не давали четкого представления о свойствах самих нейронов.
С появлением нейросетевых моделей ситуация в корне изменилась. Рекуррентные модели ЧОК (программы, использующие алгоритм рекуррентного обучения в реальном времени, который будет описан в главе 15) позволили воспроизвести и описать многие статические, динамические, нелинейные и распределенные аспекты обработки сигналов при реализации рефлекса ЧОК и, в частности, вестибулярный центр !44].
° Сетчатка (тейпа), более чем какая-то другая часть мозга, выполняет функции взаимосвязи окружающего мира, представленного визуальным рядом или физическим изображением (рЬугйса! ппаяе), проецируемым на матрицу рецепторов, с первым нейронньии изображением (пента! !шаяе), Сетчатка — это матрица микроскопических рецепторов на внешней лицевой стороне глазного яблока. В ее задачи входит преобразование оптического сигнала в нейронное изображение, передаваемое по оптическим нервам в различные центры для анализа.
Принимая во внимание синаптическую организацию сетчатки, это — сложная задача. В любой сетчатке преобразование изображения из оптического в нейронное проходит три стадии !1017). 1.2. Человеческий мозг 37 (1) Снятие фотокопии слоем нейронов-рецепторов. (й) Передача сформированного сигнала (реакция на свет) химическими синапсами на слой биполярных клеток (Ь?ро1аг сей). (ш) Передача этих сигналов (также с помощью химических синапсов) на выходные нейроны.
На двух последних стадиях (при передаче информации от рецепторов на биполярные рецепторы и от последних — на выходные нейроны) в операции участвуют специальные нейроны с латеральным торможением, в том числе так называемые горизонтальные клетки (Ьопхопга! се!!). Их задачей является преобразование сигнала между разными синаптическими слоями.
Также существуют центробежные элементы, обеспечивающие передачу сигнала с внутреннего синаптического слоя на внешний. Некоторые исследователи создавали электронные микросхемы, имитирующие структуру сетчатки [136], [137], [701]. Эти электронные чипы назывались нейромарфными контурами (пепгошогрЬ!с !пгейгагег? с!гоп!!) [720]. Нейроморфные сенсоры представляют собой матрицу фоторецепторов, связанных с соответствующими элементами рисунка (пикселями). Они имитируют сетчатку в том смысле, что могут адаптироваться к изменению освещенности, идентифицировать контуры и движение. Нейробиологическая модель, воплощенная в нейроморфные контуры, обеспечила еще одно преимущество: она вселила надежду на то, что физическое понимание нейробиологических структур может оказать существенное влияние на область электроники и технологию Ч?.Я?.
После рассмотрения этих примеров из нейробиологии становится ясно, почему столько внимания уделяется человеческому мозгу и его структурным уровням организации. '?.2. Человеческий мозг Нервную систему человека можно рассматривать как трехступенчатую (рис. !.1) [67]. Центром этой системы является мозг (Ьга!и), представленный сетью нейронов (нервов) (петле пе!).
Он получает информацию, анализирует ее и выдает соответствующие решения. На рис. 1.1 показаны два набора стрелок. Стрелки, направленные слева направо, обозначают прямую передачу сигналов информации в систему, а стрелки, направленные справа налево, — ответную реакцию системы. Рецепторы (гесергог) преобразовывают сигналы от тела и из окружающей среды в электрические импульсы, передаваемые в нейронную сеть (мозг). Эффектары (е?Тесгог) преобразовывают электрические импульсы, сгенерированные нейронной сетью (мозгом), в выходные сигналы. 38 Глава 1.
Введение От«ля«Рис. 1.1. Блочная диаграмма дяя нервной системы Возбукление Изучение человеческого мозга началось с работы, в которой предложена идея организации человеческого мозга на основе нейронов [869). Как правило, реакция нейронов на 5-6 порядков медленнее реакции кремниевых логических элементов. Длительность событий в кремниевых элементах измеряется в наносекундах (10 ~ с), а в нейронах — в миллисекундах (10 з с). Однако эта относительная медлительность нейронов компенсируется их массой и количеством взаимосвязей между ними.
По существующим оценкам, в коре головного мозга насчитывается около 1О биллионов нейронов и около 60 триллионов синапсов или взаимосвязей между нейронами [977). В результате мозг представляет собой чрезвычайно эффективную структуру. В частности, энергетические затраты мозга на выполнение одной операции в секунду составляют около 10 'с Дж. В то же время затраты самого экономичного компьютера не опускаются ниже ! 0 с Дж на операцию в секунду [286).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
