Круглов В.В., Борисов В.В. - Искусственные нейронные сети (ИНС) Теория и практика (778918), страница 61
Текст из файла (страница 61)
рованную экспоненту (т е сумма выходов равна единице) В сочетании с кросс-энтропийной функцией ошибок позволяет модифицировать многослойный персептрон для оценки вероятностей принадлежности классам сохранение лучшей сети — возможность автоматически запоминать лучшую иэ сетей, обнаруженных в процессе обучения, с тем, чтобы по окончании экспериментов восстановить ее среднего/стандартного отклонения алгоритм (для нейронных сетей) — алгоритм для определения коэффициентов линейного масштабирования набора чисел Находятся среднее значение и стандартное отклонение данных, затем масштабирующие коэффициенты выбираются таким образом, чтобы преобразованный набор данных имел заранее заданные значения среднего и стандартного отклонения среднее — показывает «центральное положениеь переменной среднеквадратическая (ВМЗ) ошибка — для вычисления средне- квадратической ошибки все отдельные ошибки возводятся в квадрат, суммируются, сумма делится на общее число ошибок, затем из всего извлекается квадратный корень Полученное в результате число характеризует суммарную ошибку управляемое обучение ипи обучение с учителем (для нейронных сетей) — алгоритмы обучения, в которых на вход нейронной сети подаются данные, содержащие известные значения выходных переменных, а корректировка весов сети производится по результатам сравнения фактических выходных значений с требуемыми условия остановки — для итерационного процесса (подгонки, поиска, обучения) — условия, при выполнении которых процесс завершается Например, для нейронных сетей условиями остановки могут быть максимальное число эпох, целевое значение ошибки или порог ее минимального улучшения функция активации нейронной сети — функция, которая используется для преобразования уровня активации нейрона в выходной сигнал Вместе с РЗР-функцией (которая применяется сначала) определяет тип нейрона сети функция ошибок (для нейронных сетей) — служит для определения качества работы нейронной сети во время итерационного обучения и 375 последующих рабочих запусков.
Градиент функции ошибок используется в формулах алгоритмов итерационного обучения. функция ошибок городских кварталов (для нейронных сетей)— вычисляет расстояние между двумя векторами как сумму модулей разностей их компонент. Менее чувствительна к выбросам, чем квадратическая функция ошибок, но при этом обычно дает худшие результаты обучения функция потерь — функция, которая минимизируется а процессе подгонки модели.
Она представляет выбранную меру несогласия наблюдаемых данных и данных, предсказываемых подогнанной функцией Например, в большинстве традиционных методов построения общих линейных моделей, функция потерь (часто называемая наименьшими квадратами) вычисляется как сумма квадратов отклонений от подогнанной линии или плоскости. Одним из свойств (которое обычно рассматривается как недостаток) этой распространенной функции потерь является высокая чувствительность к наличию выбросов.
Распространенной альтернативой минимизации функции потерь наименьших квадратов (см. выше) является максимизация функции правдоподобия или логарифма функции правдоподобия (или минимизация функции правдоподобия со знаком минус) Эти функции обычно используются для подгонки нелинейных моделей частота выигрышей (дпя нейронных сетей) — для радиальных элементов сети Кохонена — число раз, когда нейрон выигрывал при прогоне файла данных.
Часто, выигрывавшие нейроны представляют центры кластеров на топологической карте. чрезмерно близкая подгонка — при восстановлении функции по набору ее значений — построение кривой с большой кривизной, которая хорошо удовлетворяет заданным значениям, но плохо моделирует исходное отображение, поскольку форма кривой искажена помехами, присутствующими в данных. шум, добавление (для нейронных сетей) — способ предотвращения переобучения при обучении нейронной сети методом обратного распространения. Во время обучения к данным входных наблюдений добавляется случайный шум (в результате чего обучающие данные «смазываются»). эвристика — в противоположность алгоритму (который описывает вполне определенный набор операций для получения конкретного результата), эвристики — зто общие рекомендации, основанные на статистической очевидности или теоретических рассуждениях.
экстраполяция — прогнозирование неизвестных значений путем продолжения функций за границы области известных значений. эпоха (для нейронных сетей) — в итерационном обучении нейронной сети — один проход по всему обучающему множеству с последующей проверкой на контрольном множестве. ядерные функции — функции известного типа (как правило, гауссовы), которые размещаются в соответствии с известными данными, которые затем суммируются, и, таким образом, строится аппроксимация выборочного распределения 376 Список литературы 10. 11.
12. 13 14. 15 16. 17. 18 19. 377 Анил К. Джейн, Жианчанг Мао, Моиудлин К. М. Введение в искусственные нейронные сети открытые системы — 1997. — Нк 4 Блинов С. Вга/пМахег — прогнозирование на финансовых рынках// Открытые системы 1998 Нк4 Блинов С. Практикум применения пакета Вга/пМайег для прогнозирования на финанСовых рынках/Дгцр.!/ мп.апа гц/-пзсо/оисе/Ьгп Яп и!и.
Блум Ф., Лейзерсон А., Хофстедтер Л. Мозг, разум и поведение. — М Мир, 1988 Борисов В. В„ Круглов В. В., Харитонов Е. В. Основы построения нейрон- ных сетей. — Смоленск Изд-во Военного ун-та войсковой ПВО ВС РФ, 1999. Борисов Ю., Кашкаров В., Сорокин С. Нейросетевые методы обработки ин. формации и средства их программна-аппаратной поддержки// Открытые сис- темы. — 1997. — Нз 4 Бзстенс Д,-Э., ван ден Берг В.-М., Вуд Д. Нейронные сети и финансовые рынки: принятие решений в торговых операциях. — М.: ТВП, 1997. Васильев В. И. Распознающие системы — Киев. Наукова думка, 1988. Галушкин А.
И. Синтез многослойных систем распознавания образов — Мс Энергия, 1974. Галушкин А. И. Современные направления развития нейрокомпьютеровд За- рубежная радиоэлектроника. Успехи современной радиоэлектроники. — 1998.- Мк 1. Гелнг А. Х. Динамика импульсных систем и нейронных сетей. — Л: Изд-во ЛГУ, 1982. Горбань А.
Н. Обучение нейронных сетей — М.: СП ПараГраф, 1991. Горбань А. Н., Россиев Д. А. Нейронные сети на персональном компьюте- ре. — Новосибирск Наука, 1996. Горбань А. Н., Дунин-Барковский В. Л., Миркес Е. М. и др. Нейроинформа- тика. — Новосибирск: Наука, 1998 Дли М. И., Круглов В. В., Осокин М. В. Локально-аппроксимационные модели социальна-зкономических систем и процессов. — М.: Наука. Физматлит, 2000 Дуда Р., Харт П.
Распознавание образов и анализ сцен — М. Мир, 1976. Змитрович А. И. Интеллектуальные информационные системы. — Минск: НТООО ТерраСистемс, 1997. Короткий С. Нейронные сети алгоритм обратного распространенияд Ьйр:// имяя.пеигорои/ег, Се/гиз/Ьоохз//п//ех.шгп/ короткий С. нейронные сети: обучение без учитепяд ьврльшш.пецгорокшг. Се/гцз/Ьооиздпоех. Мгп/ 20 Короткий С.
Нейронные сети основные положенная Пйр//тп«»/пецгорокгег пейна/Ьоохздппех Мгп/ 21 короткий С. нейронные сети хопфилда и хзммингад мгр //вав пеигорочмг Пе/гцз/Ьоохздпбех Мпп 22 Круглов В. В, Борисов В В, Харитонов Е. В. Нейронные сети конфигурации обучение, применение — Смоленск Изд-во Моск знерг ин-та фил-л а г Смоленске 1998 23 Курейчик В.
М. Генетические алгоритмы Обзор и состоянием Новости искусстаенного интеллекта 1998 - Нз 3 24 Логоаский А. С. Зарубежные нейропакеты современное состояние и сравнительные характеристики// Нейрокомпьютер — 1998 — Нз 1-2 25 Миркес Е М. Нейрокомпьютер Проект стандарта — Новосибирск Наука 1998 26 Нейрокомпьютеры и интеллектуальные роботы/ Под ред Н М Амосова— Киев Наукова думка, 1991 27 Нечеткие множества в моделях управления и искусственного интеллекта/ Под ред Д А Поспелова — М Наука, 1986 28 Огнев И. В., Борисов В. В.
Ассоциативные среды — М Радио и связь, 2000 29 Перцвптрон - система распознавания образов/ Под ред А Г Иеахненко— Киев Наукова думка, 1975 30 Попов Э. В., Фоминых И. Б., Кисель Е. Б., Шепот М. Д. Статистические и динамические зкспертные системы — М Финансы и статистика, 1996 31 Прикладные нечеткие системы/ Под ред Т Тэрано, К Асан М Сугено — М Мир 1993 32 Розенблатт Ф. Принципы нейродинамики Персептроны и теория механизмов мозга — М Мир, 1965 33 Силов В. Б. Принятие стратегических решений в нечеткой обстановке М ИНПРΠ— РЕС, 1995 34 Соколов Е. Н., Вайткяаичус Г.
Г. Нейроинтеллект от нейрона к нейрокомпьютеру — М Наука, 1989 35 Сотник С. Курс лекций по предмету «Основы проектирования систем с искусственным интеллектом» //Ьйр Вмяв пеьторовег Се/гвз/Ьоойз//поех Пггп/ 36 Куффлер С., Николс Дж. От нейрона к мозгу - М Мир, 1979 37 Уоссермен Ф. Нейрокомпьютерная техника — М Мир, 1992 — 240 с 38 Хехт-Нильсен Р. Нейрокомпьютинг история, состояние, перспективыд Открытые системы 1998 Нз 4 39 Хьюбел Д. Глаз, мозг, зрение — М Мир, 1990 ОГЛАВЛЕНИЕ Введение Часть !.
ТЕОРИЯ Глава 1 8 10 13 20 20 21 23 26 34 38 38 39 41 41 43 44 47 Глава Э 89 90 91 95 101 107 110 121 123 379 Основные положения теории искусственных нейронных сетей 1 1 Биопогичвокий нЕйрон 1 2 Структура и свойства искусственного нейрона 1 3 Классификация нейронны~ сетей и их свойства 1 3 1 Теорема Колмогорова-Арнольда 1 3 2 Работа Хехт-Нильсена 1 3 3 Следствия из теоремы Колмогорова-Арнольда— Хехт-Нильсена 1 4 Постановка и возможные пути решения задачи обучения нейронных сетей 1 4 1 Обучение с учителем Алгоритм обратного распространения ошибки 1 4 2 Обучение без учителя 1 5 Настройка числа нейронов в скрытых слоях многослойных нейронных сетей в процессе обучения 1 5 1 Алгоритмы сокращения 1 5 2 Конструктивные алгоритмы 1 6 Краткое обобщение материалов главы 1 6 1 Как построить нейронную сеть 1 6 2 Обучение нейронной сети 1 б 3 Применение обученной нейронной сети Глава 2 Основные концепции нейронных сетей 2 1 Ассоциативная память нейронных сетей 2 1 1 Ассоциации 2 1 2 Модели ассоциативной памяти 2 2 Персептроны 2 3 Нейронные сети встречного распространения 2 4 Оптимизирующие нейронные сети 2 4 1 Нейронные сети Хопфилда 2 4 2 Нейронные сети Хзмминга 2 5 Двунаправленная ассоциативная память 2 6 Сети адаптивной резонансной теории 2 7 Когнитрон 2 7 Неокогнитрон Нечеткие нейронные сети и генетические алгоритмы 3 1 Нечеткая информация 31 1 Нечеткие множества 3 1 2 Операции над нечеткими множествами 3 1 3 Нечеткие и лингвистические переменные 3 1 4 Нечеткие отношения 3 2 Нечеткий логический вывод 3 3 Эффективность нечетких систем принятия решений 3 4 Синтез нечетких нейронных сетей 47 48 51 53 58 63 63 66 69 72 77 84 124 125 134 135 135 136 140 141 Глвев 4 143 144 147 162 сети дных сигналов 380 34 1 Основные понятия и определения нечетких нейронных сетей 3 4 2 Алгоритмы обучения и использования нечетких нейронных сетей 3 5 Нечеткий классификатор 3 6 Генетические алгоритмы 3 6 1 Естественный отбор в природе 3 6 2 Что такое генетический алгоритм 3 6 3 Обучение нечетких нейронных сетей на основе генетических алгоритмов 3 6 4 Особенности генетических алгоритмов Часть Гк ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ Основные функциональные возможности программ моделирования нейроннык сетей 4 1 Общие сведения о программа~ моделирования нейронных сетей 4 2 Характеристики современнык нейропакетов Глава 5 Программы моделирования искусственных нейроннык сетей 5 1 Нейропакет Мещац0 5 1 1 Общая характеристика 5 1 2 Создание, обучение и работа нейронной 5 2 Нейропакет НейроПро (МеигоРго) 5 2 1 Общая характеристика 522 Главное меню 5 2 3 Создание нейропроекта 5 2 4 Создание нейронной сети 5 2 5 Обучение нейронной сети 5 2 6 Тестирование нейронной сети 5 2 7 Вычисление показателей значимости вхо сети 5 2 8 Упрощение нейронной сети 5 2 9 Вербализация нейронной сети 5 2 10 Правила работы с нейропакетом 5 2 11 Общее суждение о нейропакете 5 3 Нейропакет Сийме!32 5 3 1 Общая характеристика и интерфейс 5 3 2 Правила работы с нейропакетом 5 3 3 Общее суждение 5 4 Нейропакет Меога1 Ргаппег 54 1 Общая характеристика 54 2 Форматы файлов 5 4 3 Команды основного меню программы 5 4 4 Работа с пакетом 5 4 5 Впечатления от работы с нейропакетом 5 5 Нейропакет Вга~пМахег 5 5 1 Общая характеристика 5 5 2 Входные и вьиодные данные 5 5 3 Типы файлов 5 5 4 Создание нейросетевой модели 162 162 162 169 169 171 173 174 117 179 180 181 183 184 188 188 188 193 201 201 201 202 202 205 216 217 217 218 218 219 5 5 5 Общее суждение о нейропакете 5 6 Нейропакет МРП.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
