Круглов В.В., Борисов В.В. - Искусственные нейронные сети (ИНС) Теория и практика (778918), страница 58
Текст из файла (страница 58)
1!пе веагсЬ гцпсбоп — одномерная поисковая процедура — процедура поиска минимума функции по заданному направлению. Ипеаг (гапвгег гипсбоп — линейная передаточная (активационная) функция. (оса) пйпнпшп — локальный минимум — минимальное значение функции е некоторой ограниченной области изменения аргумента. Не обязательно является глобальным минимумом. 1од-в1дгпоЫ (гапвгег гцпсбоп — лог-сигмоидная передаточная (активационная) функция, определяемая выражением: «э) = 1 1+е" МапЬа(тап к(!вкапсе — расстояние Манхэттена — расстояние между двумя векторами х и у, определяемое соотношением: 0=Хек,-у~ гпах1шцгп пцгпЬег ог ероспв — максимальное число периодов (эпох), которые нужно использовать для обучения.
Один период эквивалентен одному полному представлению всех образцов (векторов) обучающей выборки. гпах1гпшп в(ер вгае — максимальный шаг — максимальный шаг изменения аргумента в одномерной поисковой процедуре. Величина вектора весовых коэффициентов в процессе обучения сети на одной итерации не может увеличиваться более, чем на размер максимального шага. гпеап вг!иаге еггог (цпсбоп — средняя квадратическая ошибка сети (средний квадрат разности между реальным и требуемым выходами) гпогпеп(цгп — импульс — метод ускорения процесса обучения для алгоритма обратного распространения. Заключается в добавлении к корректируемому весу числа, пропорционального предыдущему значению веса.
Используя метод импульса, сеть стремится идти по дну узких оврагов поверхности ошибки (если таковые имеются), а не двигаться от склона к склону Метод хорошо работает на одних задачах, но может дать отрицательный эффект на других. гпогпеп(цгп сплетал( — коэффициент импульса — константа, используемая в методе импульса и устанавливаемая обычно на уровне 0,9.
пе)дЬЬогЬоок! — окрестность — в данном случае группа нейронов, находящихся в пределах определенного расстояния от выбранного нейрона. пе( !прот вес(ог — входной вектор сети пеигоп — нейрон — базовый элемент нейронных сетей. Имеет входы, снабженные весами, смещение, суммирующий элемент и выходную активационную функцию. Является аналогом биологического нейрона. пецгоп г!!адгагп — диаграмма нейронов — сетевая архитектура, отображаемая фигурой, показывающей нейроны и веса связей между ними Активационные функции нейронов отображаются символически.
пецгоп ва(цгабоп — насыщение нейрона — состояние нейрона, когда значительные изменения его входов приводят к незначительному изменению выхода Когда нейрон насыщается, процесс его обучения становится неэффективным. лмгпЬег ог Ыг!г(еп 1ауегв — число скрытых слоев в нейронной сети. 362 оц(рц11ауег — выходной слой — спой нейронов, выход которого является выходом всей сети. оц1рц1 кес(ог — выходной вектор — выход нейронной сети.
Каждый элемент этого вектора является выходом одного из нейронов выходного слоя. оц(рц( кче!д)з( кес1ог — выходной вектор весовых коэффициентов— вектор-столбец весовых коэффициентов для выходов нейрона. оц(в(аг 1еагп!пд гц!е — правило обучения выходной звезды — в то время как входная звезда возбуждается при предъявлении определенного входного вектора, выходная звезда имеет дополнительную функцию; она вырабатывает требуемый возбуждающий сигнал для других нейронов всякий раз, когда возбуждается. В процессе обучения нейрона выходной звезды, его веса настраиваются в соответствии с требуемым целевым вектором.
океггФ1пд — «переобучение» вЂ” ситуация, когда на обучающей последовательности ошибки сети были очень малы, но на новых данных становятся большими. раг!ап глеФог) — партам-метод — улучшенная модификация градиентного метода (метода наискорейшего спуска) минимизации функций. Известны итерационный ()г-партан) и модифицированный партан — методы. Итерационный партан-метод строится следующим образом. В начальной базовой точке вычисляется градиент и делается шаг наискорейшего спуска.
Далее — снова наискорейший спуск и так й раз. После й шагов наискорейшего спуска проводится одномерная оптимизация с начальным шагом, равным единице в направлении между начальной базовой точкой и полученной после (г шагов. После этого цикл повторяется. рава — проход — каждое прохождение через все обучающие и целевые векторы. ра(тегп — образ (вектор) ратгегп аввос!абоп — образов ассоциация — задача, решаемая обученной нейронной сетью и заключающаяся в соотнесении «правильного» выходного вектора каждому предъявляемому входному.
рат!егп гесодпгбоп — образов распознавание — задача, решаемая обученной нейронной сетью и заключающаяся в отнесении предъявленного входного вектора (иэображения) к одному из классов рег1оггпапсе (цпс((оп — функция эффективности — обычно средняя квадратическая ошибка сети. регсер1гоп — персептрон — обычно однослойная сеть с пороговой активационной функцией нейронов. Обучение такой сети производится по специальному алгоритму. регсер1гоп 1еагп!пд гц1е — правило обучения персептрона Гарантирует обучение однослойного персептрона с пороговой активационной функцией за конечное число шагов.
ров!бке 1!пеаг (гапвгег гцпс((оп — положительно-линейная активационная функция — функция, значения которой равны нулю при отрицательных значениях аргумента и пропорциональны аргументу для его положительных значений. ЗбЗ ров1ргосеввгпд — послеобработка — преобразует нормализованное значение выхода сети в его естественное значение Рокке!1-Веа!е гевтаг(в — метод Поуэлла-Била — метод определения сопряженных направлений Используется в оптимизационном алгоритме сопряженных градиентов ргергосевв!пд — предобработка — выполнение некоторых преобразований входных ипи целевых (выходных) данных перед их представлением нейронной сети, обычно заключающаяся в приведении данных к некоторому одинаковому (единичному) масштабу рппс!ра1 согпропеп( апа1ув!в — метод главных компонентов — ортогонализация компонентов входных векторов сети Процедура может быть также использована для понижения (уменьшения) размерности входных векторов путем исключения неинформативных компонентов дцав1-Меш1оп а(дог!Гппт — квази-ньютоновский алгоритм — класс алгоритмов оптимизации, основанных на методе Ньютона Аппроксимация матрицы Гессе (матрицы вторых частных производных) вычисляется на каждой итерации с использованием градиента дсдсйргор — быстрое распространение — алгоритм обучения сети, базирующийся на следующих допущениях ° зависимость Е(тт) ошибки сети от каждого весового коэффициента может быть аппроксимирована выпуклой параболой, ° изменение какого-либо веса в процессе настройки не оказывает влияние на другие веса Правило изменения (коррекции) весов определяется формулой.
йку(1) = лиг(1 - 1) - )д(1), д(() д(1-1)-д(1) дЕ где д(1) = — (1) — производная ошибки сети по весовому коэффициенту диг на 1-м шаге обучения Заметим, что знаменатель приведенной дроби представляет собой, по сути, оценку (с точностью до знака) второй производной ошибки по иг так что формула коррекции отображает метод Ньютона минимизации скалярной функции (г(х) Лх =— су' (х) Параметр гг, как и в других алгоритмах — зто коэффициент скорости обучения (1еагшпд га1е) габ!а) Ьав1в Гцпсбоп пебмог)гв (ЯВсМ) — сеть радиального основания — любая сеть, которая содержит скрытый слой нейронов с радиально симметричной активационной функцией, каждый из которых предназначен для хранения отдельного эталонного вектора (в виде вектора весов) Дпя построения ЙВРМ необходимо выполнение следующих условий ° наличие эталонов, представленных в виде весовых векторов нейронов скрытого слоя, 364 ° наличие способа измерения расстояния входного вектора от эталона, обычно зто стандартное евклидово расстояние, ° наличие специальной функции активации нейронов скрытого слоя, задающей выбранный способ измерения расстояния гаг((а! Ьавгв тгапвуег гмпсбоп — радиальная базисная функция активации (или функция Гаусса) — функция активации для радиального базисного нейрона, определяемая соотношением ~(з)=е ' ганг(опнхе райегпв — рандомизация (случайное леремешивание) образцов обучающей последовательности перед каждым периодом (еросл) обучения Зачастую улучшает сходимость процесса обучения се- ти геоц(аг!хабоп — регуляризация — модификация функции эффективности сети (обычно являющейся средней квадратической ошибкой) путем добавления помноженной на некоторый козффициент суммы квадратов весовых коэффициентов ЙМВ еггог (гост гпеап вцмагег( еггог] — средняя квадратическая ошибка сети ВРВОР (гевйепт ргорарабгоп) — «упругое распространение» вЂ” один из алгоритмов обучения нейронных сетей, основанный на использовании не величины производной ошибки сети, а ее знака Веса корректируются в соответствии с выражениями дŠ— лг((), если — (() > О, д игг Лг(С), если — (() < О, дЕ диг, О, если — (г) = О, сЕ диг, игг(() = г)' лг(( — 1), если — (( — 1) — (() О, дЕ дЕ дигг ди, дЕ дЕ П дг(( — 1), ЕСЛи — ((-1) — (г) < О, диг, диг, дЕ дЕ хг(( — 1), если — (( — 1) — (() = О, д„„д,„ Лг(() = 365 где О < г) < 1 < г)' вагшгабпй Ипеаг тгапвгег гцпсбоп — линейная функция активации с насыщением — функция активации, линейная на интервале (-1, +1) и постоянная вне его ведмепба! !прц1 чес(огв — последовательные входные векторы— комплект векторов, которые должны представляться в сети «один после другого» Веса и смещения сети корректируются после представление каждого входного вектора в(дгпоЫ вЂ” сигмоид — монотонная 3-образная функция, преобразующая значения аргумента из интервала (-1, +1) в значения функции из конечного интервала, например, (-1, +1) или (О, 1) випц(абоп — моделирование — процесс определения сетью выходного вектора при заданном входном вргеаг) сопв1ап(- константа распространения — расстояние между входным и весовым векторами нейрона, при котором выход равен 0,5 вдцавЫпд Гцпсбоп — сжимающая функция — монотонно возрастающая функция, преобразующая значения аргумента из интервала (-1, +1) в значения функции, образующие интервал конечной длины и!аг !еагп!пд гц!е — правило обучения звезды — входная звезда обучается реагировать на определенный входной вектор и ни на какой другой Это обучение реализуется путем настройки весов таким образом, чтобы они соответствовали входному вектору Выход звезды определяется как взвешенная сумма ее входов С другой точки зрения, выход можно рассматривать как свертку входного вектора с весовым вектором Следовательно, нейрон должен реагировать наиболее сильно на входной образ, которому был обучен випг-вццагег! еггог — суммарная квадратическая ошибка — сумма квадратов ошибок сети для предъявленного набора входных векторов вцрепг(вег( (еагп!пд — обучение с учителем — процесс обучения сети, предполагающий, что для ка»щого входного вектора существует целевой вектор, представляющий собой требуемый выход, вместе они называются обучающей парой Обычно сеть обучается на некотором множестве таких обучающих пар вутгле1г(с )тагг! !(гп!1 1гапв(ег (мпсбоп — симметричная пороговая передаточная (активационная) функция — равна +1 при неотрицательном аргументе и равна -1 при отрицательном вутгпе1лс ва(нгабпд )!пеаг (гапв1ег (цпс((оп — линейная функция активации с симметричным ограничением (насыщением) — пропорционально преобразует значения аргумента из интервала (-1, + 1) в значения функции в таком же интервале При значениях аргумента вне данного интервала значения функции равны знаку аргумента (т е -1 или +1) тап-в(дгпо!б 1гапауег Галс()оп — функция активации типа гиперболического тангенса (аррег! бе!ау дпе — набор звеньев задержки — последовательный набор задержек с выходами от каждой задержки (агде( еггог — допустимая ошибка — параметр, задаваемый при обучении сети, обучение прекращается, когда средняя (реальная) ошибка сети становится меньше заданной допустимой Обычно устанавливается на уровне 0,05 1агде( чес1ог — целевой вектор — требуемый выходной вектор для заданного входного 366 тга(п(пд — обучение — процедура, посредством которой сеть настраивается на решение конкретной задачи, заключается в подстройке по определенному алгоритму весов и смещений сети тга(п(пд да(а — исходные данные для обучения сети (набор входных и соответствующих им выходных векторов) тга(п(пд тестог — обучающий вектор — входной и'или выходной (целевой) вектор, используемый для обучения сети тгапвгег гцпсбоп — передаточная (активационная) функция — функция, которая преобразует сумму взвешенных входов нейрона в его выход цпбегг)етепп(пег( вувтегп — недоопределенная система — система, которая имеет больше переменных, чем связывающих их ограничений ипвцрегивек) (еагп(пд — обучение без учителя — процесс обучения сети, при котором изменения (настройки, коррекции) весов и смещений сети происходят не по предъявлении эталонных образцов, а автоматически, в зависимости от характеристик входных и выходных векторов сети Обучающий алгоритм подстраивает веса сети так, чтобы получились согласованные выходные векторы, т е чтобы предьявление достаточно близких входных векторов давало близкие (или одинаковые) выходы црк(ате — коррекция — изменения в весах и смещениях сети в процессе ее обучения Коррекция может произойти после представления единственного входного вектора или после предъявления и соответствующей обработки группы векторов тге(д(ттег( (прот честог — взвешенный входной вектор — результат умножения входного вектора для слоя нейронов на их веса тге(дЫ гпатг(х — матрица весов — матрица, составленная из весовых коэффициентов слоя нейронов Элемент игг данной матрицы (матрицы Иг) отображает вес связи от нго входа кдму нейрону УУЫгоиг-Нот( (еагп)пд гц(е — Уидроу-Хоффа правило обучения— правило обучения сети с одним скрытым слоем Оно является предшественником алгоритма обратного распространения ошибки и на него иногда ссылаются как на дельта-правило Как известно, персептрон ограничивается бинарными выходами Уидроу и Хофф расширили алгоритм обучения персептрона на случай непрерывных выходов, используя сигмоидальную функцию Кроме того, они доказали того, что сеть при определенных условиях будет сходиться к любой функции, которую она может представить Их первая модель — Аделин — имеет один выходной нейрон, более поздняя модель — Мадалин — представляет расширение на случай с многими выходными нейронами автоассоциативная сеть — сеть (обычно многослойный персептрон), предназначенная для воспроизведения на выходе входной информации после сжатия данных в промежуточном слое, имеющем меньшую размерность Используется для сжатия информации и понижения размерности данных алгоритм К ближайших соседей — алгоритм выбора отклонений для радиальных элементов Каждое отклонение равно усредненному расстоянию до К ближайших точек 367 алгоритм К средних — алгоритм, предназначенный для выбора К центров, представляющих кластеры в й( точках (К < йГ).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
