Круглов В.В., Борисов В.В. - Искусственные нейронные сети (ИНС) Теория и практика (778918), страница 60

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 60)

При этом вся совокупность параметров сдвигается в новое положение Это новое положение в гп-мерном пространстве параметров определяется экстраполяцией вдоль пинии, соединяющей текущую базовую точку с новой Размер шага этого процесса постоянно меняется для попадания в оптимальную точку. Этот метод обычно очень эффективен, и его следует использовать в том случае, когда ни квази- ньютоновский, ни симплекс-метод не дают удовлетворительных оценок.

минимакс — алгоритм определения коэффициентов линейного масштабирования дпя набора чисел Находятся минимальное и максимальное значения, затем масштабирующие коэффициенты выбираются таким образом, чтобы преобразованный набор данных имел заранее заданные минимальное и максимальное значения. многослойные персептроны — нейронные сети с прямой передачей сигнала, линейными РВР-функциями и, как правило, нелинейными функциями активации.

нейрон — элемент нейронной сети. нейронные сети — класс аналитических методов, построенных на (гипотетических) принципах функционирования мозга и позволяющих прогнозировать значения некоторых переменных в новых наблюдениях по данным других наблюдений (для этих же или других переменных) после прохождения этапа так называемого обучения на имеющихся данных нелинейное оценивание — используется при неадекватности линейной модели путем добавления в уравнение модели нелинейных членов В нелинейном оценивании выбор характера зависимости остается за исследователем Например, можно определить зависимую переменную как логарифмическую функцию от предикторной переменной, как степенную функцию или как любую другую композицию элементарных функций от предикторов. неуправляемое обучение ипи обучение без учителя (для нейронных сетей) — алгоритмы обучения, в которых на вход нейронной сети подаются данные, содержащие только значения входных переменных.

Такие алгоритмы предназначены для нахождения кластеров во входных данных. номинальные переменные — переменные, которые могут принимать конечное множество значений. В нейронных сетях номинальные выходные переменные используются в задачах классификации, в отличие от задач регрессии. нормировка — корректировка длины вектора посредством некоторой суммирующей функции (например, на единичную длину или на единичную сумму компонент). обобщение (для нейронных сетей) — способность нейронной сети делать точный прогноз на данных, не принадлежащих исходному обучающему множеству (но взятых из того же источника). Обычно это качество сети достигается разбиением имеющихся данных на три подмножества, 372 первое из них используется для обучения сети, второе — для кросс- проверки алгоритма обучения во время его работы, и третье — дпя окончательного независимого тестирования обобщенно-регрессионная нейронная сеть (ОМММ) — вид нейронной сети, где для регрессии используются ядерная аппроксимация.

Один иэ видов так называемых байесовых сетей обратное распространение (Ьасйргорадабоп (еагп(пд гц(е) — алгоритм обучения многослойных персептронов Надежный и хорошо известный, однако существенно более медленный по сравнению с некоторыми современными алгоритмами. окрестность (для нейронных сетей) — в обучении по Кохонену— «квадраткч составленный из нейронов, окружающих «выигравшийэ нейрон, которые одновременно корректируются при обучении отдельное наблюдение (для нейронных сетей) — наблюдение, данные которого вводятся с клавиатуры и которые затем подаются на вход нейронной сети отдельно (а не как часть какого-то файла данных; в обучении такие наблюдения не участвуют) отклика поверхность — поверхность, изображенная в трехмерном пространстве, представляющая отклик одной или нескольких переменных (в нейронной сети) в зависимости от двух входных переменных при постоянных остальных отклонение — в радиальных элементах — величина, на которую умножается квадрат расстояния от элемента до входного вектора, в результате чего получается аргумент, который затем пропускается через функцию активации элемента.

отношение стандартных отклонений — в задачах регрессии — отношение стандартного отклонения ошибки прогноза к стандартному отклонению исходных выходных данных Чем меньше отношение, тем выше точность прогноза. Эта величина равна единице минус объясненная доля дисперсии модели перемешивание данных (для нейронных сетей) — случайное разбиение наблюдений на обучающее и контрольное множества, таким образом, чтобы они (насколько это возможно) получились статистически не- смещенными. перемешивание, обратное распространение (для нейронных сетей) — подача обучающих наблюдений на каждой эпохе в случайном порядке с целью предотвращения различных нежелательных эффектов, которые могут иметь место без этого приема (например, осцилпяции и сходимость к локальным минимумам) переобучение (для нейронных сетей) — при итерационном обучении — чрезмерно точная подгонка, которая имеет место, если алгоритм обучения работает слишком долго (а сеть слишком сложна для такой задачи или для имеющегося объема данных).

пост-синаптическая потенциальная функция (РЗР-функция)— функция, которая применяется к входным сигналам нейрона, его весам и порогам и выдает уровень активации этого нейрона. Наиболее часто используются линейные (взвешенная сумма входов минус порог) и радиаль- 373 ные (промасштабированный квадрат расстояния от вектора весов до входного вектора) РЗР-функции присоединение сети — действие, позволяющее сделать из двух нейронных сетей (совместимых по выходному и входному слоям) одну составную сеть промежуточные (скрытые) слои (для нейронных сетей) — все слои нейронной сети, кроме входного и выходного, придают сети способность моделировать нелинейные явления прямой передачи сети — нейронные сети с различной структурой слоев, в которых все соединения ведут только в от входов к выходам Иногда используется как синоним для многослойных персептронов псевдо-обратных метод — эффективный метод оптимизации линейных моделей, известен также под названием «сингулярное разложение матрицы» радиальные базисные функции — вид нейронной сети, имеющей промежуточный спой из радиальных нейронов и выходной слой из линейных элементов Сети этого типа довольно компактны и быстро обучаются расстояние «городских кварталов» (расстояние Манхэттена)— зто расстояние является средним разностей по координатам В большинстве случаев эта мера расстояния приводит к таким же результатам, как и для обычного евклидова расстояния Однако отметим, что для этой меры влияние отдельных больших разностей (выбросов) уменьшается (так как они не возводятся в квадрат) расстояние Махаланобиса — независимые переменные в уравнении регрессии можно представлять точками в многомерном пространстве (каждое наблюдение — точка) В этом пространстве можно построить «средняя точк໠— центроид, т е центр тяжести Расстояние Махаланобиса определяется как расстояние от наблюдаемой точки до центра тяжести в многомерном пространстве, определяемом коррелированными (неортогонапьными) независимыми переменными Эта мера позволяет, в частности, определить является ли данное наблюдение выбросом по отношению к остальным значениям независимых переменных Если независимые переменные некоррелированы, то расстояние Махаланобиса совпадает с евкпидовым расстоянием регрессия — категория задач, где цель состоит оценке значений непрерывной выходной переменной по значениям входных переменных регуляризация (для нейронных сетей) — модификация алгоритмов обучения, имеющая цель предотвратить пере- и недо-подгонку на обучающих данных за счет введения штрафа за сложность сети (обычно штрафуются богьшие значения весов — они означают, что отображение, моделируемое сетью, имеет большую кривизну) самоорганизующиеся карты признаков (ЗОГМв, сети Кохонена) нейронные сети, основанные на воспроизведении топологических свойств человеческого мозга, известны также как сети Кохонена сигмоидная функция — функция, график которой имеет Я- образную форму, дающая приблизительно линейный отклик в середине входного диапазона и эффект насыщения на его концах 374 симплекс-метод — метод нелинейного оценивания, не использующий производные функции потерь Вместо этого, при каждой итерации функция оценивается в (от+1) точках пг-мерного пространства Например, на плоскости (т е при оценивании двух параметров) программа будет вычислять значение функции потерь в трех точках в окрестности текущего минимума Эти три точки определяют треугольник, в многомерном пространстве получаемая фигура называется симплексом скорость обучения (для нейронных сетей) — управляющий параметр некоторых алгоритмов обучения, который контролирует величину шага при итерационной коррекции весов софтмакс — функция активации, предназначенная для классификационных сетей с кодированием по методу один-из-(У Вычисляет норми.

Характеристики

Список файлов книги