Хайкин С. - Нейронные сети (778923), страница 5
Текст из файла (страница 5)
величина смещения Ьь с обратным знаком) Параметр регуляризацин Й-е собственное значение квадратной матрицы е.(.) Нелинейная функция активации нейрона и Символ принадлежности множеству Символ объединения множеств П Символ пересечения множеств Символ свертки + Символ псевдообращения матрицы Открытые и закрытые интервалы Открытый интервал (а, 6) изменения переменной х означает, что а < х < 6. Закрытый интервал [а,Ь) изменения переменной х означает, что а < х < 6.
Полуоткрытый интервал [а,6) изменения переменной х означает, что а < х < Ь. Аналогично, интервал (а,Ь] изменения переменной х означает, что а < х < 6. Минимумы и максимумы Символ агя ппп г" (зт) обозначает значение вектора аргумента эт, доставляющее минимум функции у'(зт). Символ агк таку(зт) обозначает значение вектора аргумента тт, доставляющее максимум функции у(зт). я.,~;;,:.ьягух зпл„анзя;. эшл-язв,;-о.а: Введение 1.1. Что такое нейронные сети Исследования по искусственным нейронным сетям (далее — нейронные сети) связаиы с тем, что способ обработки информации человеческим мозгом в корне отличается от методов, применяемых обычными цифровыми компьютерами. Мозг представляет собой чрезвычайно сложный нелинейный, параллельный компьютер (систему обработки информации).
Ои обладает способностью организовывать свои структурные компоненты, называемые нейронами (пепгоп), так, чтобы оии могли выполнять конкретные задачи (такие как распознавание образов, обработку сигналов органов чувств, моторные функции) во много раз быстрее, чем могут позволить самые быстродействуюшие современные компьютеры. Примером такой задачи обработки ииформации может служить обычное зрение (пшпап я[гйоп) [194], [637], [704].
В функции зрительной системы входит создание представления окружающего мира в таком виде, который обеспечивает возможность взаимодействия ([пГегас1) с этим миром. Более точно, мозг последовательно выполняет ряд задач распознавания (иапример, распознавание знакомого лица в иезиакомом окружении). На это у него уходит около 100-200 миллисекунд, в то время как выполнение аналогичных задач даже меньшей сложности иа компьютере может занять несколько дней. Другим примером может служить локатор (зопаг) летучей мыши, представляющий собой систему активной эхо-локации.
Кроме предоставления информации о расстоянии до нужного объекта (иапример, мошки) этот локатор предоставляет ииформацию об относительной скорости объекта, о его размерах и размерах его отдельных элементов, а также об азимуте и высоте движения объекта [1026], [1027]. Для выделения этой информации из получаемого сигнала крохотный мозг летучей мыши проводит сложные нейронные вычисления.
Эхо-локация летучей мыши по своим характеристикам качества и быстродействия превосходит самые сложные приборы, созданные инженерами. Что же позволяет мозгу человека или летучей мыши добиться таких результатов? При рождении мозг имеет совершенную структуру, позволяющую строить собствеииые правила иа основании того, что мы называем "опытом".
Опыт накапливается 32 Глава 1. Введение с течением времени, и особенно масштабные изменения происходят в первые два года жизни человека. В этот период формируется остов общей структуры. Однако развитие на этом не прекращается — оно продолжается до последних дней жизни человека.
Понятие развития нейронов связано с понятием пластичности (р!аа1]с]гу) мозга— способности настройки нервной системы в соответствии с окружающими условиями. Именно пластичность играет самую важную роль в работе нейронов в качестве единиц обработки информации в человеческом мозге. Аналогично, в искусственных нейронных сетях работа проводится с искусственными нейронами. В общем случае нейронная сеть (пепга1 пегтчогк) представляет собой машину, моделирующую способ обработки мозгом конкретной задачи. Эта сеть обычно реализуется с помощью электронных компонентов или моделируется программой, выполняемой на цифровом компьютере.
Предметом рассмотрения настоящей книги является важный класс нейронных сетей, осуществляющих вычисления с помощью процесса обучения (1еапппя). Для того чтобы добиться высокой производительности, нейронные сети используют множество взаимосвязей между элементарными ячейками вычислений — нейронами. Таким образом, можно дать следующее определение нейронных сетей, выступающих в роли адаптивной машины . Нейронная сеть — это громадный распределенный параллельный процессор, состоящий из элементарных единиц обработки информации, накапливающих экспериментальные знания и предоставляющих их для последующей обработки. Нейронная сеть сходна с мозгом с двух точек зрения.
° Знания поступают в нейронную сеть из окружающей среды и используются в щюцессе обучения. ° мля накопления знаний применяются связи между нейронами, называемые синоптическими весами. Процедура, используемая для процесса обучения, называется алгоритмам обучения (1еапт]пя а1яоп]]пп). Эта процедура выстраивает в определенном порядке синаптические веса нейронной сети для обеспечения необходимой структуры взаимосвязей нейронов.
Изменение синаптических весов представляет собой традиционный метод настройки нейронных сетей. Этот подход очень близок к теории линейных адаптивных фильтров, которая уже давно заявила о себе и применяется в различных областях деятельности человека 1435), [1144]. Однако нейронные сети могут изменять собственную топологию. Это обусловлено тем фактом, что нейроны в человеческом мозге постоянно отмирают, а новые синаптические связи постоянно создаются.
' Это определение нейронных сетей взято из 116]. 1.1. Что такое нейронные сети 33 В литературе нейронные сети часто называют нейрокомпьютерами, сетями связей (соппесбоппп пепчогк), параллельными распределенными процессорами и т.д. В этой книге мы будем пользоваться термином "нейронная сеть", хотя в отдельных случаях будут использоваться термины "нейрокомпьютер" и "сеть связей".
Преимущества нейронных сетей Совершенно очевидно, что свою силу нейронные сети черпают, во-первых, из распараллеливания обработки информации и, во-вторых, из способности самообучаться, т.е. создавать обобщения. Под термином обобщение (лепета!!ха!!оп) понимается способность получать обоснованный результат на основании данных, которые не встречались в процессе обучения. Эти свойства позволяют нейронным сетям решать сложные (масштабные) задачи, которые на сегодняшний день считаются трудноразрешимыми. Однако на практике при автономной работе нейронные сети не могут обеспечить готовые решения. Их необходимо интегрировать в сложные системы.
В частности, комплексную задачу можно разбить на последовательность относительно простых, часть из которых может решаться нейронными сетями. Очень важно уяснить, что для создания компьютерной архитектуры, которая будет способна имитировать человеческий мозг (если такое окажется возможным вообще), придется пройти долгий и трудный путь. Использование нейронных сетей обеспечивает следующие полезные свойства систем. 1. Нелинейность (поп1шеап!у). Искусственные нейроны могут быть линейными и нелинейными. Нейронные сети, построенные из соединений нелинейных нейронов, сами являются нелинейными. Более того, эта нелинейность особого сорта, так как она раслределема (б!з!пЬи!ео) по сети. Нелинейность является чрезвычайно важным свойством, особенно если сам физический механизм, отвечающий за формирование входного сигнала, тоже является нелинейным (например, человеческая речь).
2. Отображение акодной информации в вьподную ()прпмоп!рпг шарр!пя). Одной из популярных парадигм обучения является обучение с учителем (зирегч(зед 1еапз!пя). Это подразумевает изменение синаптических весов на основе набора маркированных учебных примеров (1гат изб зашр! е). Каждый пример состоит из входного сигнала и соответствующего ему желаемого отклика (без!ген гезропзе). Из этого множества случайным образом выбирается пример, а нейронная сеть модифицирует синаптические веса для минимизации расхождений желаемого выходного сигнала и формируемого сетью согласно выбранному статистическому критерию.
При этом собственно модифицируются свободные лараметры (1гее рагаше!егз) сети. Ранее использованные примеры могут впоследствии быть применены снова, 34 Глава 1. Введение но уже в другом порядке. Это обучение проводится до тех пор, пока изменения синаптических весов не станут незначительными. Таким образом, нейронная сеть обучается на примерах, составляя таблицу соответствий вход-выход для конкретной задачи. Такой подход заставляет вспомнить непараметрическое статистическое обучение (попрагашегпс майзбса! !пТегепсе). Это направление статистики имеет дело с оценками, не связанными с какой-либо конкретной моделью, или, с биологической точки зрения, с обучением с нуля (3441. Здесь термин "непараметрический" используется для акцентирования того, что изначально не существует никакой предопределенной статистической модели входных данных.
Для примера рассмотрим задачу классификации образов (рапегп с)азябсабоп). В ней требуется соотнести входной сигнал, представляющий физический обьект, или событие, с некоторой предопределенной категорией (классом). При непараметрическом подходе к этой задаче требуется "оценить" рамки решения в пространстве входного сигнала на основе набора примеров. При этом не используется никакая вероятностная модель распределения. Аналогичный подход применяется и в парадигме обучения с учителем.
Это еще раз подчеркивает параллель между отображением входных сигналов в выходные, осуществляемым нейронной сетью, и непараметрическим статистическим обучением. 3. Адаптивность (адар!!ч!гу). Нейронные сети обладают способностью адаптировать свои синаптические веса к изменениям окружающей среды. В частности, нейронные сети, обученные действовать в определенной среде, могут быть легко переучены для работы в условиях незначительных колебаний параметров среды. Более того, для работы в нестационарнои (попзГаг!опагу) среде (где статистика изменяется с течением времени) могут быть созданы нейронные сети, изменяющие синаптические веса в реальном времени.
Естественная для классификации образов, обработки сигналов и задач управления архитектура нейронных сетей может быть объединена с их способностью к адаптации, что приведет к созданию моделей адаптивной классификации образов, адаптивной обработки сигналов и адаптивного управления. Известно, что чем выше адаптивные способности системы, тем более устойчивой будет ее работа в нестационарной среде. При этом хотелось бы заметить, что адаптивность не всегда ведет к устойчивости; иногда она приводит к совершенно противоположному результату.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
