Боровиков В.П. - SNN Нейронные сети, страница 5

9.10).Рис. 9.10Параметр П Скорость обучения задает величину шага при изменении весов:при недостаточной скорости алгоритм медленно сходится, а при слишком большойон неустойчив и склонен к осцилляциям. К сожалению, величина наилучшейскорости зависит от конкретной задачи; для быстрого и грубого обучения подойдутзначения от 0,1 до 0,6; для достижения точной сходимости требуются гораздоменьшие значения (например, 0,01 или даже 0,001, если эпох много тысяч). Иногдаполезно уменьшать скорость в процессе обучения. В программе STATISTICAНейронные сети можно задать начальное и конечное значения скорости, в этомслучае по мере обучения производится интерполяция между ними. Начальнаяскорость задается в левом поле, конечная – в правом (рис.

9.11).Рис. 9.11Коэффициент инерции (Момент) помогает алгоритму не застревать в низинахи локальных минимумах. Этот коэффициент может иметь значения в интервале отнуля до единицы. Некоторые авторы рекомендуют и его менять в процессеобучения. К сожалению, здесь тоже «правильное» значение зависит от задачи и егоможно найти только опытным путем.При использовании метода обратного распространения обычно рекомендуетсяот эпохи к эпохе менять порядок наблюдений, поскольку это снижает вероятностьтого, что алгоритм застрянет в локальном минимуме, а также уменьшает эффектпереобучения. Чтобы воспользоваться этой возможностью, установите режимПеремешивать наблюдения.Оценка качества работы сетиПосле того, как сеть обучена, стоит проверить, насколько хорошо онаработает.

Среднеквадратичная ошибка, которая выдается в окне График ошибкиобучения, представляет лишь грубую меру производительности. Более полезныехарактеристики выдаются в окнах Статистики классификации и Статистикирегрессии (доступ к обоим происходит через окно Результатов анализа).Окно Статистики классификации действует в случае номинальныхвыходных переменных. Здесь выдаются сведения о том, сколько наблюденийкаждого класса из файла данных (каждый из которых соответствует номинальномузначению) было классифицировано правильно, сколько неправильно и сколько неклассифицировано, а также приводятся подробности об ошибках классификации.Обучив сеть, нужно просто открыть окно Описательные статистики (рис. 9.12).Рис.

9.12Статистики могут быть получены раздельно для обучающего, контрольного итестового множеств. В верхней части таблицы приводятся суммарные статистики(общее число наблюдений в каждом классе, число классифицированных правильно,неправильно и неклассифицированных), а в нижней части – кросс–результатыклассификации (сколько наблюдений из данного столбца было отнесено к даннойстроке) (рис. 9.13).Рис.

9.13Если в этой таблице много ответов Неизвестно, но мало или совсем нетответов Неправильно, то, вероятно, следует ослабить пороги принятия и отвержения(меню Правка–Пре/постпроцессирование – Edit–PrelPost Processing) (рис. 9.14).Рис. 9.14Окно Статистики регрессии используется в случае числовых выходныхпеременных. В нем суммируется точность регрессионных оценок.Наиболее важной статистикой является отношение стандартных отклонений(S.D. ratio), приведенное внизу таблицы.

Она представляет собой отношениестандартного отклонения ошибки прогноза к стандартному отклонению исходныхданных. Если бы у нас вообще не было входных данных, то лучшее, что мы моглибы взять в качестве прогноза для выходной переменной – это ее среднее значение поимеющейся выборке, а ошибка такого прогноза была бы равна стандартномуотклонению выборки. Если нейронная сеть работает результативно, мы вправеожидать, что ее средняя ошибка на имеющихся наблюдениях будет близка к нулю, астандартное отклонение этой ошибки будет меньше стандартного отклонениявыборочных значений (иначе сеть давала бы результат не лучше, чем простоеугадывание). Таким образом, отношение стандартных отклонений значительноменьшее единицы, говорит об эффективности сети.

Величина, равная единицеминус отношение стандартных отклонений, равна доле объясненной дисперсиимодели.Сети КохоненаАлгоритм обучения сетей Кохонена в некоторых отношениях похож наалгоритмы обучения многослойных персептронов: он является итерационным иосуществляется по эпохам, при этом на график может быть выведенасреднеквадратичная ошибка обучения (хотя на самом деле она является среднимквадратом совсем другой меры ошибки, чем в многослойных персептронах).Однако у алгоритма Кохонена есть ряд особенностей. Наиболее существеннаяиз них состоит в том, что обучение здесь неуправляемое, т.е. в данных можетвообще не содержаться никаких выходных значений, а если такие есть, то ониигнорируются.Работа алгоритма определяется двумя параметрами: Скорость обучения иОкрестность. Обучение происходит так: очередное наблюдение подается на входсети, обрабатывается ею, выбирается выигравший (наиболее активный) радиальныйэлемент (т.е.

элемент второго слоя сети), и затем он и его ближайшие соседикорректируются так, чтобы лучше воспроизводить обучающее наблюдение.Скорость обучения управляет степенью адаптации, а окрестность определяетколичество корректируемых элементов.Обычно работа алгоритма Кохонена разбивается на два этапа –упорядочивание и тонкая настройка, – на каждом из которых скорость обучения иразмер окрестности постепенно меняются от своих начальных значений к конечным.В программе STATISTICA Нейронные сети можно задавать начальные и конечныезначения как для скорости обучения, так и для размера окрестности.Размер окрестности определяет квадрат с центром в выигравшем элементе;нулевой «размер» соответствует одному выигравшему элементу; «размер 1» –квадрату 3×3 с центром в выигравшем элементе; «размер 2» –квадрату 5×5 и т.д.Если выигравший элемент расположен близко к краю, то окрестность обрезается (ане перекидывается на противоположную).

Несмотря на то, что по самому своемусмыслу такой параметр является целым числом, можно задать его в вещественномвиде, чтобы точнее управлять им, когда алгоритм начинает уменьшать размерокрестности. В этом случае программа STATISTICA Нейронные сети сначалакорректирует это число, а затем округляет его до ближайшего целого.После завершения работы алгоритма обучения Кохонена нужно пометитьрадиальные элементы значками соответствующих им классов (см. раздел«Топологическая карта»).ДРУГИЕ ТИПЫ СЕТЕЙОбучение сетей других типов происходит довольно просто; в каждом случаеимеется лишь несколько устанавливаемых параметров обучения, и все они описаныниже.Радиальные базисные функции (РБФ)Обучение состоит из трех этапов: размещение центров радиальных элементов,выбор их отклонений и оптимизация линейного выходного слоя.

Для первых двухэтапов есть несколько вариантов работы алгоритма, выбор которых осуществляетсяв окне Радиальная базисная функция (доступ через меню Обучение); наиболеепопулярным сочетанием является метод К–средних для первого этапа и К–ближайших соседей для второго. Линейный выходной слой оптимизируется спомощью классического алгоритма псевдообратных матриц (сингулярногоразложения). Программа STATISTICA Нейронные сети позволяет также строитьгибридные РБФ–сети за счет выбора иных функций активации для выходного слоя(например, логистических), и в этом случае для обучения этого слоя можноиспользовать какой–либо из алгоритмов обучения многослойных персептронов,например, метод сопряженных градиентов.Линейные сетиЗдесь под видом двухслойной сети реализована обычная линейная модель,которая оптимизируется с помощью алгоритма псевдообратных матриц в окнеРадиальная базисная функция.Линейную сеть можно применять также для анализа главных компонент,чтобы попытаться уменьшить число переменных перед обработкой данных сетьюдругого типа.Вероятностныеи обобщенно–регрессионныенейронные сети PNN/GRNNВероятностные (PNN) и обобщенно–регрессионные нейронные сети (GRNN)основываются на статистических методах ядерных оценок плотности вероятности ипредназначены соответственно для задач классификации и регрессии.

Для ниххарактерны простые и быстрые алгоритмы обучения, но получающиеся в результатенейросетевые модели оказываются большими и работают сравнительно медленно.Автоматическийконструктор сетиПроцесс выбора подходящего типа сети и ее архитектуры может оказатьсядолгим и малопродуктивным, поскольку он состоит из большого числа проб иошибок. Более того, поскольку в обучении присутствует шум, и алгоритм можетзастревать в локальных минимумах, каждый эксперимент необходимо повторятьнесколько раз.

Эту нудную работу можно свести к минимуму, используяреализованные в пакете STATISTICA Нейронные сети возможности автоматическогоконструирования сетей, при этом используются достаточно сложные алгоритмыоптимизации,позволяющиеавтоматическипроводитьбольшиесерииэкспериментов и выбирать наилучшую архитектуру и размер сети.Функции автоматического конструирования сети вызываются при выбореинструмента – Мастер решений. Здесь нужно просто указать те типы архитектур,которые должны быть рассмотрены, задать число итераций (или время анализа),определяющее продолжительность поиска (поскольку работа алгоритма можетзанять много времени, имеет смысл сначала задать небольшое число итераций,чтобы оценить, сколько времени может уйти на весь поиск), и выбрать Критерийвыбора сохраняемой сети, который будет штрафовать сеть с неоправданно большимчислом элементов.

Алгоритм выполнит положенную серию экспериментов и укажетлучшую из полученных сетей. Если этот алгоритм применяется в задаче анализавременного ряда, то дополнительно нужно задать значение параметра Временноеокно.Генетический алгоритмотбора входных данныхОдин из наиболее трудных вопросов, которые приходится решать приприменении нейронных сетей, – это вопрос о том, какие из входных переменныхследует использовать (редко бывает известно заранее, какие из них важны длярешения задачи, а какие нет). С помощью инструмента Понижение размерности,доступном из вкладки Дополнительно стартового меню, можно в автоматическомрежиме найти подходящий набор входных переменных. Путем построения итестирования большого числа PNN– или GRNN–сетей (для задач классификацииили регрессии соответственно) с различными наборами входных переменных,генетический алгоритм (а также алгоритмы с включением и исключением)производит отбор комбинаций входов и ищет наилучшую из них.