Круглов В.В., Борисов В.В. - Искусственные нейронные сети (ИНС) Теория и практика (778918), страница 57

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 57)

сопсцггеп( 1прц( чес(огв — параллельные входные векторы — имя, данное матрице входных векторов, которые должны представляться в сети «одновременно». Все векторы в матрице используются для получении одного набора изменений в весах и смещениях нейронной се- ти )г, если 3(е — 1)Б(1) > О, — бг)(!), если 3(е-1)Б(!) <О, О, если 3(е — 1)д(!) = О, дл(!) = 358 сол)цда(е дгасдеп( а!доп!Ьгп — метод сопряженных градиентов— разновидность градиентного метода поиска минимума функции. соппесбоп — соединение — односторонняя связь между нейронами в сети.

соппесбоп в!гепдбп — сила связи (соединзния) — уровень связи между двумя нейронами в сети. Часто количественно выражается весом и определяет эффект влияния одного нейрона на другой. сопчегдепсе !о1егапсе — это максимально допустимая величина ошибки во время обучения. Если (о(егапсе = О, то выходной результат (оц1рщ), выдаваемый нейронной сетью, должен абсолютно точно совпадать с образцом для обучения (раИегп).

В большинстве случаев это нереально. При 1о!егапсе = 0,1 выход нейронной сети (оц!ри() будет рассматриваться как корректный, если он отличается не более чем на 10» (в среднем квадратическом смысле) от заданного значения (радегп) Процесс обучения будет продолжаться до тех пор, пока значение ошибки не снизится до установленного параметром !о1егапсе предела. сус1е — цикл — однократное представление входного вектора, соответствующие ему вычисления выходного вектора и новых весов и смещений сети. беаб пецгопв — «мертвые» нейроны — нейроны конкурирующего слоя, которые никогда не выигрывают любую конкуренцию за входной вектор в процессе обучения бес!в!оп Ьоцпбагу — граница решения — линия в гиперпространстве, определяемая векторами весов и смещений, для которой вход сети является нулем.

бе1!а-Ьаг-бе1га — метод обучения сети с адаптивным (и индивидуальным для каждого веса) подбором коэффициента скорости обучения (1еагп!пд га1е). Адаптация осуществляется по следующим формулам. дЕ где Б(!) = — (!) — производная ошибки сети по весовому коэффициенту; дьу о(!) = (1 — гг) б(!) + О о(! — 1) — взвешенное среднее. !Ыетод применяется в сочетании с алгоритмом Ьасйргорадабоп ЬатсЬ. бе!та гц!е — дельта-правило — правило обучения Уидроу-Хоффа (!Ье Мг!го»г-Но(( гц!е) Как известно, возможности персептрона ограничены бинарными выходами Уидроу и Хофф расширили алгоритм обучения персептрона для случая непрерывных выходов с использованием сигмоидальной функцией активации. Кроме того, они доказали, что сеть при определенных условиях будет сходиться к любой функции, которую она может представить.

Их первая модель — Адалин — имеет один выходной нейрон, более поздняя модель — Мадалин — обобщена дпя спучая с многими выходными нейронами. г!е!та чесгог — дельта-вектор — вектор производных ошибки выхода сети по отношению к выходам какого-либо слоя сети.

д1втапсв — расстояние — расстояние между нейронами, определяемое в каком-пибо смысле. еаг1у вгорр1пд — ранняя остановка — техника, базирующаяся на разбиении исходных данных на три подмножества. Первое подмножество является обучающим и используется дпя вычисления градиента и коррекции (обновпения) весов и смещений сети. Второе подмножество используется дпя проверки правильности сделанных коррекций Когда дпя данного подмножества и определенного количества итераций ошибка увеличивается, обучение прекращается, а веса и смещения принимаются соответствующими минимальной ошибке на этом подмножестве.

Третье подмножество является тестирующим дпя обученной сети. еросп — период (эпоха) — представление набора обучающих (входных и выходных — целевых) векторов сети и вычиспение новых весов и смещений. Векторы могут предъявляться поочередно ипи все вместе, пакетом, «пачкой». еггог )цгпр)пд — скачок ошибки — внезапное возрастание суммарной квадратической ошибки сети в процессе ее обучения. Часто возникает иэза слишком большой величины параметра обучения (1еагп)пд га1е).

еггог гпагд1п — граница ошибки — выходы сети, дпя которых ошибка меньше данной вепичины будут считаться «правипьными», корректными еггог габо — коэффициент ошибки — один из параметров процедуры обучения в сетях с обратным распространением ошибки. еггог уестог — вектор ошибки — различие между целевым вектором и выходным вектором сети. геег!Ьаси пепмогй — сеть с обратной связью — сеть с соединениями с выхода сети на ее вход Соединение обратной связи может охватывать разпичные слои. гееФопжагд пепжоги — сеть с прямой связи — многослойная сеть, в который каждый слой своими входами имеет выходы только предшествующих споев.

359 Р!етсЬег-(кеехев ирдате — метод Флетчера-Ривса — метод для вычисления сопряженных направлений, которые используются в оптимизационной процедуре метода сопряженных градиентов. Гцпсбоп арргох1глабоп — аппроксимация функций — одна из задач, которую может выполнить нейронная сеть после ее обучения. дамвв!ап тгапвгег (цпсбоп — активационная функция в виде функции Гаусса (см, гаО!а1 Ьаэ)э !гапэ(ег 1цпсбоп) депега!гаабоп — обобщение — свойство сети устанавливать свой выход для нового входного вектора близким к выходам похожих на него (в смысле какого-либо расстояния) входных векторов иэ обучающей последовательности.

депега!!кед гедгевсцоп певкгог)г — обобщенная сетевая регрессия— приближение непрерывной функции с произвольной точностью с помощью нейронной сети, которое может быть получено при достаточном числе скрытых нейронов. д!оЬв! пнпИпцгп — глобальный минимум — наименьшее значение функции во всей области входных параметров. Методы градиентного слуска изменяют веса и смещения так, чтобы найти (достичь) глобальный минимум ошибки сети до!бел весдоп веагсЬ вЂ” метод золотого сечения — один из одномерных поиска экстремума функции, не требующий вычисления производной и отличающийся высокой скоростью сходимости.

дгаб!еп( г!евсея( — градиентный спуск — процесс получения изменений (коррекций) в весах и смещениях сети, при котором данные изменения пропорциональны производным сетевой ошибки по этим весам и смещениям, приводящий к минимизации сетевой ошибки. Ьагб дгл!Г кгапвтег (цпсбоп — пороговая активационная функция— отображает неотрицательные числа в единицу, отрицательные в ноль.

НеЬЬ !еагп(пд гц1е — Хебба правило обучения — исторически первое предложенное правило обучения нейронной сети. Веса корректируются пропорционально произведению выходов предыдущего и последующего нейронов. Ыдбеп !ауег — скрытый слой — слой нейронов, непосредственно не соединенный с выходом сети. Ьогпе пецгоп — внутренний нейрон — нейрон в центре некоторой окрестности. ЬуЬпд Ывесбоп-смЫсвеагсЬ вЂ” гибридная одномерная поисковая процедура оптимизации, обьединяющая методы половинного деления (бисекции) и кубической интерполяции.

!и!ба!!как!оп — инициализация — установка начальных значений весов и смещений нейронной сети, обычно, присваивание синаптическим весам и смещениям сети случайных значений из заданного диапазона. !прц(!ауег — входной слой — слой нейронов, на который непосредственно поступают входы сети. !прог по!ве — входной шум — опция обучения, определяющая уровень нормально распределенного шума, добавляемого к входным обучающим образцам При обучении с таким дополнительным шумом обычно 360 предотвращается «переобучение» сети (очегй!1!пд) и улучшается ее способность к обобщению.

!прот врасе — входное пространство — область всех возможных значений входного вектора. !прот чес(ог — входной вектор сети )прн!»ге!дЬ(в — входные веса — веса, с которыми входные сигналы поступают в сеть. )при!»«е(дЬ! кестог — вектор входных весов. яз(еггода(е — опрос — предьявление обученной сети входного вектора и вычисление сетью соответствующего выходного. .)асоЬ(ап гла(пх — Якобиан — матрица первых производных ошибки сети по отношению к ее весам и смещениям. КоЬолеп 1еагп)пд гц(е — правило обучения Кохонена — правило обучения, согласно которому веса нейронов выбираются в соответствии с элементами входного вектора. (ауег — слой — группа нейронов, имеющие соединения с одними и теми же источниками-входами и посылающие свои выходные сигнала к одним и тем же потребителям. (ауег г(1адгагл — диаграмма слоев — представление архитектуры нейронной сети в виде образующих ее слоев нейронов и матриц весовых коэффициентов.

Активационные функции отображаются символически. Показываются размеры данных матриц. а также размеры входного и выходного векторов сети. Отдельные нейроны не отображаются. (ауег»ке!дЬ(в — веса (весовые коэффициенты) слоя нейронов, соединяющие данный слой с другими. В случае рекуррентных связей должны иметь ненулевые задержки. (еагп)пд — обучение — процесс коррекции весов и смещений сети, при котором достигается ее желательное функционирование. 1еагп)пд га(е — коэффициент скорости обучения (параметр обучения), который определяет скорость изменения величин весов и смещений сети в процессе ее обучения, обычно при использовании алгоритма обратного распространения ошибки Чем он больше, тем быстрее обучается сеть.

Допустимые значения параметра от 0,0 до 1,0; хорошим начальным приближением считается величина 0,1. Если данный параметр велик, процесс обучения может потерять устойчивость (еагп1пд ги(е — обучающее правило — метод модификации весов и смещений сети в процессе ее обучения. (.ечепЬегд-Магднагг!! — алгоритм обучения ЛевенбергаМарквардта, обеспечивающий в 10-100 раз более быстрое обучения сети, чем алгоритм обратного распространения ошибки, использующий градиентную оптимизацию.

Характеристики

Список файлов книги