Боровиков В.П. - Нейронные сети (778916), страница 12
Текст из файла (страница 12)
Вначале рассмотрим случай одномерных сигналов. В простейшем случае у нейрона имеется один вход н порог, следовательно, имеется два свободных параметра: вес н и порог активации Ь. В качсствс функции активации в перссптроне Розенблатта используется стандартная функция сигнум (знак). Алгоритм начинает работу с нулевых значений параметров. ° Пусть на шагс л поступает очередной сигнал из обучающсй выборки.
° На шаге л вычисляется состояние нейрона и (п)х(п)+ Ь(п). ° Пусть н (л)х(л)+ Ь(л) > О, но объект отнесен к отрицательному классу В. Производится корректировка параметров по правилу: н (л+ 1) = н~(л) — х(л), Ь(и+ 1) = Ь(л) — х(л). Неароныые севы. ЗТАТ!ЗТ!СА йеига! Йевеоже ° Пусть и (п)х(п)+ Ь(п) < О, но объект отнесен к классу А, производится корректировка параметров по правилу: ж(п+ 1) = ж(п)+х(п), Ь(и+1) = Ь(п)+х(п). В случае правильной классификации коррекция свободных параметров не производится.
Легко увидеть, что описанный алгоритм сойдется за несколько шагов. Алгоритм обучения распространяется на двумерные сигналы. В этом случае в модели нейрона с двумя входами имеется три свободных параметра: веса ы н ыз и порог активации Ь.
Так как состояние нейрона с двумя входами и порогом Ь описывается линейной функцией зс,х, + и,х, +Ь, то можно правильно классифицировать лишь множества, разделенные прямой линией (лежащие по разные стороны от прямой линии). Такие множества называются линейно разделимыми (рис. 3.4). Если между двумя множествами нельзя провести прямую линию, отделяющую множества друг от друга, то очевидно, классификация с помощью персептрона невозможна (рис. 3.
5). Рис. 3.4. Пример лыыейио разделымых множеств Рис. 3.5. Пример лииеыыо ыеразделимых мыожеств Распространение сигнала производится слева направо — от входного слоя к выходному через несколько нейронов скрытых слоев. 68 В случае трех входных сигналов необходима плоскость, разделяющая два множества в пространстве, и т.д.
Естественное обобщение персептрона Розенблатта приводит к понятию многослойного персептрона. Многослойный персептрон имеет входной слой, выходной слой и несколько слоев скрытых нсйронов (ЬиИсп пеигоп), расположенных между входным и выходным слоем. Рпс. 3.6. Арипсктура псрсспзропа с одппм скрытым слоем Рпс. 3.7. Архвтсктура псрссптропа с двумя скрытымп слоамп Рпс. 3.8. Архптсктура псрссптрова с двумя скрытылзп саоамп Говвв 3. Вводонов в вворою нейронных свтво Заметим, ключевую роль в обучении многослойного персептрона играют нейроны скрытых слоев, Многослойный персептрон имеет следующие особенности: гладкие функции активации (в отличие от скачкообразного сигнума, используемого в модели Розенблатта) и высокую степень связности (соппесгпл1у) нейронов, состоящую в том, что каждый нейрон скрытого слоя связан с нейронами предыдушего слоя.
Примеры многослойных персептронов показаны ниже парис. 3.6 — 3.8. Обучение многослойного персептрона производится с помошью алгоритма обратного распространения, точнее, алгоритма обратного распространения ошибки, являющегося модификацией градиентного спуска. Термин «обратное распространение» связан с тем, что вектор ошибки распространяется по сети в сторону, обратную распространению входного сигнала. й задачах клпссификаиии с гауссовскими исходными даннылш многослойные нерсептроны дакпп результпты, близкие к оптимальным бпйесоескнм. Это связано с тем, что минимизация ошибок в задачах классификации в многослойном персептронс основана на функциях, аналогичных линейным дискриминантным функциям Фишера.
Рассмотрим обучение, основанное на принципе памяти. Этот способ обучения используется в сетях радиальных базисных функций. Невронные сапа. ЗТАТ!ЗТ!СА Нес(а! Не1аоже Простой эффективный алгоритм обучения на основе памяти — известный алгоритм /с ближайших соседсй. В случае й = 1 алгоритм называется алгоритмом ближайшего соседа. Идея алгоритма /с ближайших соседей состоит в следующем: ° имеется достаточно большой набор входных сигналов с результатами правильной классификации; ° поступает новый сигнал х, который требустся классифицировать; ° в некоторой метрике измеряется расстояние до сипилов, представленных в исходном наборе, т.е.
в памяти нейронной сети; ° строится сфсра минимального радиуса с центром х, в которую попадают ровно к сигналов нз памяти; ° новый сигнал относится к классу, представители которого с наибольшей частотой попали в данну|о сферу; ° в случае к = 1 в сферу попадает один элемент; этот элсмснт является ближайшим соседом для х; сигнал х относится к классу, которому принадлежит ближайший сосед. С помощью компьютерного моделирования показано, что вероятность ложной классификации алгоритма ближайшего соседа в 2 раза выше вероятности ложной классификации оптимального байесовского классификатора. Важно отмстить, что алгоритм классификации методом ближайших соседей способен классифицировать множества, не являющиеся линейно разделимыми.
Гпава 4 ОБШИЙ ОБЗОР НЕЙРОННЫХ СЕТЕЙ Растущий интерес к методам нсйрош~ых сетей можно объяснить их успешным применением в самых различных областях деятельности для решения задач прогнозирования, классификации и управления. Такис характеристики нсйросстсвых методов, как возмо>кность печиисйного моделирования н сравнительная простота реализации, часто делают их незаменимыми при рсшснии сложнейших многомерных задач. Богатые возможностц Нейронные сети нечинсйны по свой природе и представляют собой исключительно мощный мстод моделирования, позволяющий воспроизводить чрезвычайно сложныс зависимости.
На протяжении многих лет в качсствс основно~ о метода в большинстве областей использовалось линейное моделирование, поскольку для него хорошо разработаны процедуры оптимизации. Там, гдс линейная аппроксимация нсудовлетворительна и линейные модели работают плохо, а таких задач достаточно много, основным инструментом становятся нейросетевые методы.
Кроме того, нейронныс сети справляются с «проклятисм размсрности», которое нс позволяет моделировать линейные зависимости в случае большого числа переменных. Простоп1а в испопьзовании Нейронныс сети изучшот на примерах. Пользователь нейронной ссти подбирает рспрсзснтативную выборку, а затем запускает алгоритм обучсния, который автоматичсски воспринимает структуру данных. При этом от пользователя, конечно, требустся какой-то набор эвристических знаний о том, как слсдует отбирать и подготавливать данные, выбирать нужную архитектуру сети и интерпретировать результаты, однако уровень знаний, нсобходимый для успсшпого применения нейронных сетей, гораздо скромнее, чем„например, при использовании традиционных мстодов статистики. ?1 невронные сети.
зтАт!Зт!сА и»ига! нвь»ой» Нейронные сети привлекательны с интуитивной точки зрения, ибо они основаны на примитивной биологической модели нервных систем, В будущем развитис таких нейробиологических моделей может привести к созданию действительно мыслящих компьютеров. Между тем, уже «простые» нейронные модели, которые строит система БТ Уеига! Фе~и|огкз, являются мощным оружием в арсенале специалиста по прикпадной статистике.
ПАРАППЕПИ ИЗ БИОПОГИИ Идея нейронных сетсй родилась в ходе исследований в области искусственного интеллекта, а именно, в результате попыток воспроизвести способность биологических нервных систем обучаться и исправлять ошибки, моделируя низкоуровневую структуру мозга (Райегаоп, 1996). Основной областью исследований по искусственному интеллекту в 60-80-е годы были экспертные системы. Такие системы основывались на высокоуровневом моделировании процесса мышления (в частности, на его представлении как манипуляций с символами). Скоро стало ясно, что подобные системы, хотя и могут принести пользу в некоторых областях, нс охватывают некоторые ключевые аспекты работы человеческого мозга. Согласно одной из точек зрения, причина этого состоит в том, что они не в состоянии воспроизвести структуру мозга.
Чтобы создать искусственный интеллект, необходимо построить систему с похожей архитектурой. Мозг состоит из очень большого числа нейронов (приблизительно 10 млрд), соединенных многочисленными связями (в среднем несколько тысяч связей на один нейрон, однако это число может сильно колебаться). Нейроны — это спсциальные клетки, способные распространять электрохимические сигналы. Нейрон имеет разветвленную структуру ввода информации (дендриты), ядро и разветвляющийся выход (аксон). Аксоны клетки соединяются с дсндритами других клеток с помощью синапсов. При активации нейрон посылает электрохимический сигнал по своему аксону.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
