IskusstvennyeNeironnyeSeti.TeoriyaIPraktika (В. В. Круглов, В. В. Борисов - Искуственные нейронные сети), страница 13

2017-06-07СтудИзба

Описание файла

Файл "IskusstvennyeNeironnyeSeti.TeoriyaIPraktika" внутри архива находится в папке "В. В. Круглов, В. В. Борисов - Искуственные нейронные сети". Текстовый-файл из архива "В. В. Круглов, В. В. Борисов - Искуственные нейронные сети", который расположен в категории "". Всё это находится в предмете "нейрокомпьютерные сети" из 10 семестр (2 семестр магистратуры), которые можно найти в файловом архиве МАИ. Не смотря на прямую связь этого архива с МАИ, его также можно найти и в других разделах. Архив можно найти в разделе "книги и методические указания", в предмете "нейрокомпьютерные сети" в общих файлах.

Просмотр 13 страницы текстового-файла онлайн

Сходимость рассмотренной процедуры устанавливается следующими теоремами

Теорема 2 1

Класс элементарных персептронов, для которых существует решение для любой задуманной классификации, не является пустым

Эта теорема утверждает, что для любой классификации обучающей выборки можно подобрать такой набор (из бесконечного набора) элементарных нейронов, в котором будет осуществлено разделение обучающей последовательности при помощи линейного решающего правила

Теорема 2 2

Если для некоторой классификации решение существует, то в процессе обучения персептрона с коррекцией ошибок, начинающегося с произвольного исходного состояния, это решение будет достигнуто в течение конечного промежутка времени

Смысл теоремы состоит в том, что если относительно задуманной классификации можно найти набор элементов, в котором существует решение, то в рамках этого набора оно будет достиг нуто за конечный промежуток времени

Интересную область исследований представляют много слойные персептроны и персептроны с перекрестными связями однако теория этих систем практически не разработана

2.3. Нейронные сети встречного распространения

Объединение разнотипных нейронных структур в единой ар хитектуре зачастую приводит к свойствам, которых нет у них пс отдельности Причем именно каскадные соединения нейронны> структур, специализирующихся на решении различных задач, по зволяют решить проблему комплексно

Нейронные сети встречного распространения, состоящие и входного слоя нейронов и слоев нейронов Кохонена и Гроссберга по своим характеристикам существенно превосходят возможности сетей с одним скрытым слоем нейронов Так, время их обучения задачам распознавания и кластеризации более, чем в сто раз меньше времени обучения аналогичным задачам сетей с обратным распространением ошибки Это может быть полезно в тех приложениях, где долгая обучающая процедура невозможна

58

У <

Спой 1 Спой 2

Входной Нейроны Нейроны

слой Кохонена Гросберга

Рис 2 7 Структура нейронной сети встречного распространения

Одними из определяющих характеристик сети встречного распространения являются ее хорошие способности к обобщению, позволяющие получать правильный выход даже при неполным или зашумленном входном векторе Это существенно для эффективного использования данной сети для распознавания и восстановления образов, а также для усиления сигналов

На рис 2 7 показана структура сети встречного распространения Нейроны входного слоя служат для передачи входных сигналов на все нейроны слоя Кохонена с соответствующими весовыми коэффициентами w,, Весовые коэффициенты входов нейронов j (] = 1 М) слоя Кохонена образуют соответствующие весовые векторы wj = (wij, , w2nj) для; = 1 М

Каждый нейрон слоя Кохонена соединен с каждым нейроном из слоя Гроссберга весами v]k Веса входов нейронов к {к = 1 2л) слоя Гроссберга образуют соответствующие весовые векторы vk = (Укь , vk2n)p,mk= 1 2п

Нейроны слоя Кохонена реализуют функцию порогового суммирования взвешенных входов Однако, в отличие от осталь-

59

ных слоев, нейрон слоя Кохонена с максимальным значением взвешенной суммы (на заданный входной вектор) является «победителем» На его выходе формируется уровень логической «1», на выходах остальных нейронов слоя - «О»

Нейроны же слоя Гроссберга на выходах выдают величины весов v,j, которые связывают их с нейроном-«победителем» из слоя Кохонена

Процесс обучения нейронной сети встречного распространения различен для слоев нейронов Кохонена и Гроссберга Рассмотрим вопросы, возникающие при обучении каждого из этих слоев

Перед обучением (самообучением) слоя Кохонена, протекающим без учителя, необходимо выполнить предварительную нормализацию входных {х\ , х*, , xм} ({у1, , у", , у1}) и весовых векторов {wb , wm}

Нормализация входных векторов осуществляется с целью их преобразования в единичные векторы с теми же направлениями перед предъявлением сети в соответствии со следующим выражением

*_________х,_______

д/Х? + + Х,+ Х2п

Нормализация же начальных случайных значений весовых векторов приближает их к окончательным значениям, сокращая тем самым время обучения Эти окончательные значения весовых векторов совпадают с нормализованными значениями входных векторов

При обучении слоя Кохонена на вход подается нормализованный входной вектор На выходе нейрона с максимальным значением взвешенной суммы формируется уровень логической «1»

При этом процесс обучения после выбора нейрона-«победителя» с весовым вектором, наиболее близким к входному вектору, состоит в дальнейшей подстройке (приближении) компонентов весового вектора выбранного нейрона к предъявленному входному вектору в соответствии с выражением w((m) = iv,(f)+;7(x*-w((f)), где w,(m), w,(t) - соответственно новое и предыдущее значения вектора весов выигравшего /-го нейрона-«победителя» для предъявленного входного вектора х* {к = 1 /v), rj - коэффициент скорости обучения

Каждый коэффициент из весового вектора нейрона-«побе-дителя» изменяется пропорционально разности между его вели-

60

чиной и величиной входа, к которому он присоединен Знак изменения минимизирует разность между весовым коэффициентом и его входом По мере обучения коэффициент /; постепенно уменьшается

В результате обучения нейрон-«победитель» будет активизироваться для совокупности ассоциированных с ним входных векторов, средняя величина которых совпадает с вектором весов этого нейрона

Однако существует ряд проблем обучения слоя Кохонена, от решения которых зависит эффективность использования нейронной сети встречного распространения в целом

Прежде всего, из-за того, что нормализованные входные векторы, как правило, неравномерно распределены по поверхности гиперсферы, большинство весовых векторов (изначально равномерно распределенных рандомизацией весов) будут значительно удалены от любого входного вектора Поэтому на выходах соответствующих им нейронов постоянно будет установлен уровень логического «О», и эти нейроны окажутся бесполезными С другой стороны, активных нейронов может оказаться недостаточно для эффективного разделения близкорасположенных входных векторов

Еще одна проблема заключается в сложности разделения на различные классы множеств сходных входных векторов в случае, если изначальная плотность весовых векторов в окрестности обучающих векторов будет недостаточной

Проблему может представлять также излишне высокая плотность весовых векторов вблизи несущественно различающихся входных векторов Что может привести к активизации нескольких нейронов слоя Кохонена, тек формированию ложных классов входных векторов

Решением перечисленных проблем является распределение весовых векторов в соответствии со сложностью входных векторов Существует несколько путей приближенного достижения этой цели, из которых наиболее популярны следующие четыре

1) Метод выпуклой комбинации (convex combination method) Первоначально всем весовым коэффициентам присваиваются

одинаковые значения м4п Каждый компонент входного вектора

модифицируется в соответствии с правилом х', = л х, + —Л- Сна-

4п

чала /7 мало, и длина всех входных векторов близка к векторам

61

весов Затем в процессе обучения rj постепенно увеличивается до единицы, что позволяет правильно разделить входные векторы

Недостатком данного метода является увеличение времени обучения из-за необходимости подстройки весовых коэффициентов к постоянно изменяющимся значениям входных векторов

2) Зашумление входных векторов Входные векторы подвергаются случайным изменениям, благодаря чему захватывается ближайший весовой вектор Этот метод более медленный, чем метод выпуклой комбинации

3) Изменение числа корректируемых нейронов На начальной стадии процесса обучения подстраиваются веса всех нейронов слоя, а не только нейрона-«победителя» Далее подстройка весов производится лишь для ближайших к выигравшему нейронах Число этих нейронов по мере обучения сокращается И в конце остается лишь один нейрон

4) Наделение нейронов «чувством справедливости» Если нейрон становится «победителем», то порог его срабатывания временно увеличивается Это дает возможность обучаться и дру гим нейронам

Назначением нейронов слоя Гроссберга является формирование требуемых выходных векторов после того, как нейроны слоя Кохонена разделили входные векторы на классы Фактически каждый нейрон слоя Гроссберга лишь выдает значение веса, который связывает этот нейрон с нейроном-«победителем» слоя Кохонена

В отличие от самообучающегося слоя Кохонена, слой Гроссберга обучается с учителем Различие же со стандартной обучающей процедурой заключается в том, что подстройке подвергаются только те веса нейронов слоя Гроссберга, которые соединены с ненулевым нейроном Кохонена Используется следующее правило

Свежие статьи
Популярно сейчас
Почему делать на заказ в разы дороже, чем купить готовую учебную работу на СтудИзбе? Наши учебные работы продаются каждый год, тогда как большинство заказов выполняются с нуля. Найдите подходящий учебный материал на СтудИзбе!
Ответы на популярные вопросы
Да! Наши авторы собирают и выкладывают те работы, которые сдаются в Вашем учебном заведении ежегодно и уже проверены преподавателями.
Да! У нас любой человек может выложить любую учебную работу и зарабатывать на её продажах! Но каждый учебный материал публикуется только после тщательной проверки администрацией.
Вернём деньги! А если быть более точными, то автору даётся немного времени на исправление, а если не исправит или выйдет время, то вернём деньги в полном объёме!
Да! На равне с готовыми студенческими работами у нас продаются услуги. Цены на услуги видны сразу, то есть Вам нужно только указать параметры и сразу можно оплачивать.
Отзывы студентов
Ставлю 10/10
Все нравится, очень удобный сайт, помогает в учебе. Кроме этого, можно заработать самому, выставляя готовые учебные материалы на продажу здесь. Рейтинги и отзывы на преподавателей очень помогают сориентироваться в начале нового семестра. Спасибо за такую функцию. Ставлю максимальную оценку.
Лучшая платформа для успешной сдачи сессии
Познакомился со СтудИзбой благодаря своему другу, очень нравится интерфейс, количество доступных файлов, цена, в общем, все прекрасно. Даже сам продаю какие-то свои работы.
Студизба ван лав ❤
Очень офигенный сайт для студентов. Много полезных учебных материалов. Пользуюсь студизбой с октября 2021 года. Серьёзных нареканий нет. Хотелось бы, что бы ввели подписочную модель и сделали материалы дешевле 300 рублей в рамках подписки бесплатными.
Отличный сайт
Лично меня всё устраивает - и покупка, и продажа; и цены, и возможность предпросмотра куска файла, и обилие бесплатных файлов (в подборках по авторам, читай, ВУЗам и факультетам). Есть определённые баги, но всё решаемо, да и администраторы реагируют в течение суток.
Маленький отзыв о большом помощнике!
Студизба спасает в те моменты, когда сроки горят, а работ накопилось достаточно. Довольно удобный сайт с простой навигацией и огромным количеством материалов.
Студ. Изба как крупнейший сборник работ для студентов
Тут дофига бывает всего полезного. Печально, что бывают предметы по которым даже одного бесплатного решения нет, но это скорее вопрос к студентам. В остальном всё здорово.
Спасательный островок
Если уже не успеваешь разобраться или застрял на каком-то задание поможет тебе быстро и недорого решить твою проблему.
Всё и так отлично
Всё очень удобно. Особенно круто, что есть система бонусов и можно выводить остатки денег. Очень много качественных бесплатных файлов.
Отзыв о системе "Студизба"
Отличная платформа для распространения работ, востребованных студентами. Хорошо налаженная и качественная работа сайта, огромная база заданий и аудитория.
Отличный помощник
Отличный сайт с кучей полезных файлов, позволяющий найти много методичек / учебников / отзывов о вузах и преподователях.
Отлично помогает студентам в любой момент для решения трудных и незамедлительных задач
Хотелось бы больше конкретной информации о преподавателях. А так в принципе хороший сайт, всегда им пользуюсь и ни разу не было желания прекратить. Хороший сайт для помощи студентам, удобный и приятный интерфейс. Из недостатков можно выделить только отсутствия небольшого количества файлов.
Спасибо за шикарный сайт
Великолепный сайт на котором студент за не большие деньги может найти помощь с дз, проектами курсовыми, лабораторными, а также узнать отзывы на преподавателей и бесплатно скачать пособия.
Популярные преподаватели
Добавляйте материалы
и зарабатывайте!
Продажи идут автоматически
5288
Авторов
на СтудИзбе
417
Средний доход
с одного платного файла
Обучение Подробнее