Круглов В.В., Борисов В.В. - Искусственные нейронные сети (ИНС) Теория и практика (778918), страница 2
Текст из файла (страница 2)
В модели вычислений фон Неймана обращение к памяти доступно только посредством адреса, который не зависит от содержания памяти Более того, если допущена ошибка в вычислении адреса, то может быть найдена совершенно иная информация. Память, адресуемая по содержанию, или ассоциативная память, доступна по указанию заданного содержания. Содержимое памяти может быть вызвано даже по частичному или искаженному содержанию. Ассоциативная память чрезвычайно желательна при создании перспективных информационно-вычислительных систем.
Управление. Рассмотрим динамическую систему, заданную совокупностью (и(Г), у(Г)), где и(Г) является входным управляющим воздействием, а у(Г) — выходом системы в момент времени Г. В системах управления с эталонной моделью целью управления является расчет такого входного воздействия и(Г), при котором система следует по желаемой траектории, диктуемой эталонной моделью. Каким образом нейронная сеть решает все эти, часто неформализуемые или трудно формализуемые задачи? Как известно, для решения таких задач традиционно применяются два основных подхода. Первый, основанный на правилах (гц!е-Ьавед), характерен для экспертных систем.
Он базируется на описании предметной области в виде набора правил (аксиом) «если ..., то г..» и правил вывода. Искомое знание представляется в этом случае теоремой, истинность которой доказывается посредством построения цепочки вывода. При этом подходе, однако, необходимо заранее знать весь набор закономерностей, описывающих предметную область При использовании другого подхода, основанного на примерах (саве-Ьаэед), надо лишь иметь достаточное количество примеров для настройки адаптивной системы с заданной степенью достоверности Нейронные сети представляют собой классический пример такого подхода.
Книга состоит из трех частей и приложений. Первая часть посвящена вопросам теории искусственных нейронных сетей, вторая — программным оболочкам-имитаторам нейронных сетей, в третьей приведены конкретные примеры применения нейросетевого подхода для решения практических задач. Приложение содержат данные справочного характера. Несмотря на огромный интерес, проявляемый к искусственным нейронным сетям, литература по атому направлению в нашей стране издается весьма малыми тиражами и является дефицитной, а зачастую слишком узкоспециализированной и поэтому трудной для понимания. Целью настоящей книги, в связи с этим, является знакомство широкого круга заинтересованных лиц с основными понятиями и методами исследования и применения нейронных сетей.
Авторы подчеркивают, что изданием данной книги они не преследуют коммерческие интересы и выражают глубокую благодарность всем, чьи материалы были использованы в работе. Часть! ТЕОРИЯ Глава 1 ОСНОВНЫЕ ПОЛОЖЕНИЯ ТЕОРИИ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ Под нейронными сетями подразумеваются вычислительные структуры, которые моделируют простые биологические процессы, обычно ассоциируемые с процессами человеческого мозга. Они представляют собой распределенные и параллельные системы, способные к адаптивному обучению путем анализа положительных и отрицательных воздействий. Элементарным преобразователем в данных сетях является искусственный нейрон или просто нейрон, названный так по аналогии с биологическим прототипом.
К настоящему времени предложено и изучено большое количество моделей нейроподобных элементов и нейронных сетей, ряд из которых рассмотрен в настоящей главе. 1.1. Биологический нейрон Нервная система и мозг человека состоят из нейронов, соединенных между собой нервными волокнами. Нервные волокна способны передавать электрические импульсы между нейронами. Все процессы передачи раздражений от кожи, ушей и глаз к мозгу, процессы мышления и управления действиями — все это реализо- Рис. 1.1 взаимосвязь биологических нейронов вано в живом организме как передача электрических импульсов между нейронами. Нейрон (нервная клетка) является особой биологической клеткой, которая обрабатывает информацию (рис.
1.1). Он состоит из тела (сей Ьооу), или сомы (вогпа), и отростков нервных волокон двух типов — дендритое (оепоп(ев), по которым принимаются импульсы, и единственного аксона (ахоп), по которому нейрон может передавать импульс. Тело нейрона включает ядро (пцс)еиэ), которое содержит информацию о наследственных свойствах, и плазму, обладающую молекулярными средствами для производства необходимых нейрону материалов. Нейрон получает сигналы (импульсы) от аксонов других нейронов через дендриты (приемники) и передает сигналы, сгенерированные телом клетки, вдоль своего аксона (передатчика), который в конце разветвляется на волокна (э1гапг)э).
На окончаниях этих волокон находятся специальные образования — синапсы (эупарэеэ), которые влияют на величину импульсов. Синапс является элементарной структурой и функциональным узлом между двумя нейронами (волокно аксона одного нейрона и дендрит другого). Когда импульс достигает синаптического окончания, высвобождаются химические вещества, называемые нейротрансмиттерами. Нейротрансмиттеры диффундируют через синаптическую щель, возбуждая или затормаживая, в зависимости от типа синапса, способность нейрона-приемника генерировать электрические импульсы Результативность передачи импульса синапсом может настраиваться проходящими через него сигналами так, что синапсы могут обучаться в зависимости от активности процессов, в которых они участвуют. Эта зависимость от предыстории действует как память, которая, возможно, ответственна за память человека.
Важно отметить, что веса синапсов могут изменяться со временем, а значит, меняется и поведение соответствующих нейронов. Кора головного мозга человека содержит около 10" нейронов и представляет собой протяженную поверхность толщиной от 2 до 3 мм с площадью около 2200 см . Каждый нейрон связан с 10'-10" другими нейронами. В целом мозг человека содержит приблизительно от 10'" до 10' взаимосвязей Нейроны взаимодействуют короткими сериями импульсов продолжительностью, как правило, несколько миллисекунд.
Сообщение передается посредством частотно-импульсной модуляции. Частота может изменяться от нескольких единиц до сотен герц, что в миллион раз медленнее, чем быстродействующие переключательные электронные схемы Тем не менее сложные задачи распознавания человек решает за несколько сотен миллисекунд. Эти решения контролируются сетью нейронов, которые имеют скорость выполнения операций всего несколько миллисекунд. Это означает, что вычисления требуют не более 100 последовательных стадий. Другими словами, для таких сложных задач мозг «запускает» параллельные программы, содержащие около 100 шагов Рассуждая аналогичным образом, можно обнаружить, что количество информации, посылаемое от одного нейрона другому, должно быть очень малым (несколько бит).
Отсюда следует, что основная информация не передается непосредственно, а захватывается и распределяется в связях между нейронами. 1.2. Структура и свойства искусственного нейрона Нейрон является составной частью нейронной сети. На рис. 1 2 показана его структура Он состоит из элементов трех типов: умножителей (синапсов), сумматора и нелинейного преобразователя. Синапсы осуществляют связь между нейронами, умножают входной сигнал на число, характеризующее силу связи, (вес синапса). Сумматор выполняет сложение сигналов, поступающих по синаптическим связям от других нейронов, и внешних входных сигналов.
Нелинейный преобразователь реализует нелинейную функцию одного аргумента — выхода сумматора. Эта функция называется функццей акгпцеации или передаточной функццей ней- 10 х, х„ Рнс. 1.2 Структура искусственного нейрона рона. Нейрон в целом реализует скалярную функцию векторного аргумента. Математическая модель нейрона: э = Хиггх, +Ь, (1.1) г=1 у = г(э), (1.2) где и, — вес (ууе)1ол() синапса, г = 1...п; Ь вЂ” значение смещения (Ь1аэ), э — результат суммирования (вцт); х, — компонент входного вектора (входной сигнал), г' = 1...п; у — выходной сигнал нейрона; и — число входов нейрона; г — нелинейное преобразование (функция активации).
В общем случае входной сигнал, весовые коэффициенты и смещение мокнут принимать действительные значения, а во многих практических задачах — лишь некоторые фиксированные значения. Выход (у) определяется видом функции активации и может быть как действительным, так и целым. Синаптические связи с положительными весами называют возбуждающими, с отрицательными весами — тормозящими Описанный вычислительный элемент можно считать упрощенной математической моделью биологических нейронов. Чтобы подчеркнуть различие нейронов биологических и искусственных, вторые иногда называют нейроноподобными элементами или формальными нейронами На входной сигнал (э) нелинейный преобразователь отвечает выходным сигналом г(э), который представляет собой выход у 11 нейрона Примеры активационных функций представлены табл 1 1 и на рис 1 3 Таблица 1 1 Ф нкции активации ней онов Область значений Название Фо м ла Линейная Дз)кй 5 ( — Ф, Ф) Полупинейная (О, Ф) йз, 5>0, Г(5) = О, з<0 Логистическая (сигмоидальная) (О, 1) 1 Г(5) = 1+в Гиперболический тангенс (сигмоидапьная) (-1.
1) ат -аг аг -зк е те Г(з) = е Зкспоненциапьная (О, Ф) Г(5) = 5Ф(5) Синусоидальная -1, 1) Сигмоидапьная (рациональная) ( — 1, 1) Шаговая (линейная с насев щением) — 1, 5<-1, Г(5) = 5 — 1<5<1, 1 5>1 (-1, 1) Пороговая (О, 1) (О, 5<0 Дз) = ~ <1, з>0 Модульная (О, Ф) г(5) = <5< Знаковая (сигнатурная) ( — 1, 1) 1, 5>0, ((5) = — 1, в<0 у Квадратичная (О, Ф) ((5) = 5 При уменьшении а сигмоид становится более пологим, пределе при а = О вырождаясь в горизонтальную линию на уровг 0,5, при увеличении а сигмоид приближается к виду функции ед Одной из наиболее распространенных является нелинейн. функция активации с насыщением, так называемая логистическ.
функция или сигмоид (функция Я-образного вида) г'(з) = 1 (1 -Вз е) г) Рис 1 3 Примеры актиеационных функций а — функция единичного скачка, б — пинейный порог (гистерезис), е — сигмоид (погистическая функция), г — сигмоид (гипербопический тангенс) ничного скачка с порогом О Из выражения для сигмоида очевидно, что выходное значение нейрона лежит в диапазоне (О, 1) Одно из ценных свойств сигмоидальной функции — простое выражение для ее производной, применение которой будет рассмотрено в дальнейшем у'(3) = а у(3) ~1- у(3)~ (1 4) Следует отметить, что сигмоидальная функция дифференцируема на всей оси абсцисс, что используется в некоторых алгоритмах обучения Кроме того, она обладает свойством усиливать слабые сигналы лучше, чем большие, и предотвращает насыщение от больших сигналов, так как они соответствуют областям аргументов, где сигмоид имеет пологий наклон 1.3.
Классификация нейронных сетей и их свойства Нейронная сеть представляет собой совокупность нейроподобных элементов, определенным образом соединенных друг с другом и с внешней средой с помощью связей, определяемых весовыми коэффициентами В зависимости от функций, выполняемых нейронами в сети, можно выделить три их типа 13 ° входные нейроны, на которые подается вектор, кодирующий входное воздействие или образ внешней среды; в них обычно не осуществляется вычислительных процедур, а информация передается с входа на выход путем изменения их активации; ° выходные нейроны, выходные значения которых представляют выходы нейронной сети; преобразования в них осуществляются по выражениям (1.1) и (1.2); ° промежуточные нейроны, составляющие основу нейронных сетей, преобразования в которых выполняются также по выражениям (1.1) и (1.2).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
