Боровиков В.П. - Нейронные сети (778916), страница 11
Текст из файла (страница 11)
При возбуждении нейрон посылает сигнал по своему аксону. Через синапсы сигнал передается другим нейронам, которые, в свою очередь„могут возбуждаться или, наоборот, переходить в состояние торможения. Нейрон возбуждается, если суммарный уровень сигналов, пришедших в него, превышает некоторьш уровень — порог возбуждения или активации (см. порог Ь в модели нейрона).
Интенсивность сигнала, получаемого нейроном, зависит от активности синапсов. Графически модель нейрона можно представить в виде, наказанном на рис. 3.1. Из него видно, что на вход нейрона поступают сигналы х, каждый из которых умножается на вес и ~для каждого сигнала имеется собствснньш вес); производится сложение преобразованных сигналов и добавляется порог 62 Глава 3. Ввеяеное в твороге неаронных сегвео (см. блок сумматор Е на диаграмме); результат преобразуется с помощью функции активацииу и подастся на выход нейрона.
«о дц Входные сигналы Ва одноо сигнал У« Синан«ические веса Ряс. 3.1. Модель яеврояв М1 В модели М1 вес (иещуи) моделирует силу синапса. Итак, запомним следующее: ° нейрон получает сигналы через несколько входных каналов, они показаны на схеме слева; ° каждый сигнал проходит через соединение — сицапс, имеющее определенную силу или вес в(у, у), который соответствует синаптической активности нейрона; ° коэффициенты иг(у, у) называются весами сннаптичсских связей, положительное значения которых соответствуют возбулсдауощим синапсам, отрицательные значения — тормозящим синапсам; если и (1, у) = О, то говорят, что связь между нейроном уи нейроном у отсутствует; ° текущее состояние нейрона описывается формулой: и, =2 и(1, у)х(у)+Ь(У), (3.1) у=! гдс х( у), у = 1, 2, ..., ЛУ вЂ” входные сигналы; ° величина Ь(1) называется пороговым значением (порогом активации); ° полученный нейроном сигнал преобразуется с помощью нелинейной функции активации или передаточной функции у в выходной сигнал уг =.у'(иг).
(3.2) Индекс 1 относится к номеру рассматриваемого нейрона в сети, индекс у указывает номер синаптичсской связи. Нейронные сета ЗТАТ!ЗТ!СА Неига! Мегагогйа Данную модель нейрона назовем моделью М1. Это одна из первых моделей нейрона, предложенная МакКаллоком и Питсом в 1943 г. Иногда формулу (3.1) записывают в следующем виде, добавляя нулевой синапс с единичным сигналом: и! = ~~ГН'(г,/)х(/). (З.З) г о В этой модели для нулевого веса по определению полагаем н (г, 0) = Ь(Я, иными словами, вес нулевого синапса в модели (3.3) равен порогу модели (3.2). Данную модель нейрона назовем моделью М2. Ее графическое представление показано на рис.
3.2. Фиксированный входной сигнал Ко! г! Порог гГ2! Входные сигналы Выходной сигнал в Синалгические веса Рве. 3.2. Модель пейрова М2 Сравнивая рис. 3.1 с 3.2, можно увидеть, что основное отличие модели М1 от модели М2 состоит в добавлении входного сигнала с весом, равным по- рогу. Очевидно, модели М1 и М2 эквивалентны. Мы чаще будем работать с моделью М1, в которой в явном виде указан порог возбуждения Ь(г). Рассматриваемые модели являются детерминистскими, — в них отсутст- вует случайность.
Детерминированные модели можно естественным образом развить и построить вероятностную модель нейрона. В вероятностной модели нейрона выходной сигнал является случайной величиной, принимающей значенис +1, которое соответствует возбуждению, и значение — 1, которое соответствует торможснню с опредсленной вероят- ностью, зависящей от величины и. Вероятность активации нейрона описывается логисвгичсской функцией Р(у) = 1/ (1+ ехр( — у / Т)), тдс Т вЂ” параметр, описывающий уровень шума, 64 Гпава 3.
Введение в теорию нейронных сетей Графическое представление вероятностной модели нейрона показано на рис. 3.3. Порог в1 с вероятностью Ртт1 входные сигнаяи -1 с вероятностью 1-Р(у1 Синаатииесхие веса Рнс. 3.3. Веролтностнаа модель пейрона Вы видите, что основное отличис вероятностной модели от детерминистской состоит в том, что с вероятностью Р(у) на выходе наблюдается значение +1, с вероятностью 1 — Р(у) значение — 1. Можно представить, что подбрасываете монетку с вероятностью исхода, зависящей от состояния нейрона, и определяете результат. Заметим, лри ларамеглре Т, стремяи1емся к О, еерояглпосглиая модель переходит е дентермиттисглскуто. Вероятностные модели нейронов используют в вероятностных нейронных сетях БТАТ15Т1СА.
Рассмотриы подробней функции активации нсйронов. Функция активации или передаточная функция Т вЂ” это некоторая нелинейная функция, моделирующая процесс передачи возбуждс1шя. Используются следующие основныс типы функции активации. 1. Пороговая функция ф1гехйо!Ы ~илс11ол) или функция единичного скачка, определяемая равенствами: 1'(и) = 1, если и > О, 1'(и) = О, если и < 1.
2. сигмоидальная функция (а1йл1оы ~илс11о11) функция ~' вида (3.4) Т(и)ю „, где Ь>0. 1 1+ с™ (3.5) 3. Кусочно-линейная функция (р1се-нале-/йг1сйол): Т(и) = 1, если и > О 5, Т(и) = (и(, сели (и)< О 5, Т(и) = О, сели и < О 5, 65 Нейронные сото ЗТАТ!ЗТ!СА Меч(а! йе!вогез 4. Функция знак (сигиум): 1'(и) = — 1, сели и < О, 1" (и) = 1, если и > О. Объединенные между собой нейроны образуют сеть, моделирующую работу мозга. Эта модель способна получать информацшо извне и обладает свойством самообучения.
С математической точки зрения модель нейрона строит нелинейное преобразование входного сигнала х(1), х(2),..., л(Ж) в выходной сигнал у. Теоретически доказано, что с помощью таких простейших преобразований можно приближать очень сложныс многомерные функции, следовательно, оценивать сложиыс зависимости (знаменитая теорема Колмогорова является основанием нейронных сетей).
Итак, каждый нсйрон, как элемент сети, описывается своим набором весов и пороговых значений, а также функцией активации 1. Входной слой нейронов служит дпя ввода значений входных переменных, выходной слой -- для вьшода результатов. Пос.псдовательность слоев нейронов н их соединений называется архитек>лурой сети. Задать сеть — это значит задать сс архитектуру и параметры нейронов. При работе сети на входные элементы подаются значения входных данных (входной сигнал), затем возбуждаются нейроны первого промежуточного слоя, второго промежуточного слоя и т.д.; в итоге преобразованный сигнал поступает на выходной слой. Преобразование сигнала нейроном ости проводится следующим естественным образом: ° берется взвешенная сумма выходов элсмснтов предыдущего слоя и вычитается пороговое значение; полученные значения преобразуются с помощью передаточной функции; ° в результате получается выходной сигнал нейрона, который поступает на вход следующего нейрона или подается на выход сети, сели нейрон является конечным.
Принципиальным моментом является обучение сети. Обучеппс сети — это подгонка свободных параметров с целью адаптации к внешним воздействиям. Процесс обучения может проводигься различными способами. Различают обучеиие с учителем (кирегикес1 1еагии>я), контролирующим процесс обучсния с помощью примеров с известными решениями, и обучение без учителя (илэирег иэеЯ. Прежде всего, рассмотрим обучение с учителем. Этот процесс можно представить ссбс следующим образом. Глава 3. Ваеяенне в теорию невронных севео На вход обучаемой систсмы поступает сигнал из внешней срсды. Копия этого сигнала поступает на вход учителя, который формирует правильный отклик (правильный ответ). Отклик учителя сравнивается с выходным сигналом ученика, Разность между правильным рсшением и откликом сети представляет собой ошибку, которую следует уменьшить с помощью настройки свободных параметров.
Для этого строится сумма квадратов ошибок, которая представляет собой функцию свободных параметров сети. Процесс обучения состоит в нахождении минимума этой функции. Следует отметить, что обучсние имеет крайность — переобучение, которого следует избегать (ученик «натаскивасгся» на решение однотипных задач). Обучение без учиглелн проводится на основе принципа самоорганизации (хе(1огдал1хег?) сети, Этот принцип реализован, например, в картах Кохонена. Опишем модель Розснблатта, в которой нейрон обучается правилу классификации на основе принципа коррекции ошибок.
Персепврон Розенбпапзпза Обратимся вновь к описанной выше модели нсйрона М1. Поставим вопрос «%му и кок эту модель можно обучиться Ответ дает замечательная по простоте и ясности конструкция Розснблатта. Рассмотрим классификацию с учителем. Пусть на вход нейрона поступает сигнал, который может принадлежать либо классу А, либо классу В. Спрашивается: можно научить нейрон различать эти классы? Идся алгоритма обучения проста: представьте, вы иместс сигнал +1 (плюс 1) из класса А и сигналы — 1 (минус 1) из класса В. Сигнал+1 мохсет обозначать, например, напряжение, сигнал -1 — расслабление. Имеется обучающая выборка с известными результатами классификации, которая позволяет контролировать процесс обучения.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
