3 Обучение обобщенно-регрессионной сети GRNN

Радиальные элементы соответствуют не отдельным обучающим случаям, а их кластерам. Центры для таких элементов можно выбирать с помощью любого предназначенного для этой цели алгоритма:

1. выборки из выборки (sample);

2. K-средних (K-means)

Можно варьировать параметр сглаживания smoothing.

Выбирались центры разными способами: выборка из выборки (sample) и к-средних(K-means). Также варьировали параметром сглаживания. Лучший результат (наименьшая ошибка) был получен при параметрах обучения: sample, smoothing 0,06.

6 Оценка качества обучения сети, анализировать возможных причин ошибок

6.1. Многослойный персептрон

Рисунок 1. Архитектура сети

6.1.1 Метод обратного распространения BP

Рисунок 2. Задание параметров обучения

Рисунок 3. Статистика регрессии

Оценка качества обучения (1)

Абсолютная ошибка велика, несмотря на то, что отношение стандартного отклонения ошибки к стандартному отклонению выходного параметра меньше 1. Необходимо либо увеличить число нейронов в промежуточном слое, либо выбрать другой тип сети.

Ошибка возможна из-за того, что сеть пришла к локальному минимуму.

6.1.2. Метод градиентного спуска

Рисунок 4. Задание параметров обучения

Рисунок 5. График ошибок обучения и проверки

При изменении числа эпох с 200 до 500 вид графика не менялся. По графику видно, что сеть достигла своего предела при 60 эпохах. График ошибки тестирования отсутствует, так как тестирование сети проходит после завершения обучения.

Рисунок 6. Статистика регрессии

Оценка качества обучения (1)

Возможная причина ошибки в том, что шаг итерации очень был большой, и сеть пропустила минимум.

6.2 Радиально-базисная функция RBF

6.2.1 С 15 нейронами в промежуточном слое (3:2-15-1)

Рисунок 7. Архитектура сети

Рисунок 8. Задание центров и отклонений

Рисунок 9. Статистика регрессии

При увеличении числа «К-ближайших» соседей при том же количестве соседей, при увеличении отклонений с сохранением числа «K-ближайших» соседей ошибка возрастала.

Оценка качества обучения (1)

Возможная причина ошибки - малое количество нейронов в промежуточном слое.

6.2.2 С 30 нейронами в промежуточном слое RBF (3:2-30-1)

Рисунок 10. Архитектура сети

Рисунок 11. Задание центров и отклонений

Рисунок 12. Статистика регрессии

Оценка качества работы сети. Как видно, ошибка уже не такая большая, как в предыдущем случае. Ошибка может быть связана с невозможностью сети экстраполировать.

6.3 Обобщенно-регрессионная сеть GRNN (4:2-30-2-1)

Рисунок 13. Архитектура сети

Рисунок 14. Задание параметров сглаживания и центров методом выборка из выборки (sample)

Рисунок 15. Статистика регрессии

Оценка качества работы сети.

Таблица 3. Свободная таблица результатов обучения

Рисунок 16. Сводная таблица оценки качества сети

Быстрее и лучше всего обучение прошло у обобщенно-регрессионная сети GRNN (4:2-30-2-1). Сеть радиально-базисная функция RBF с большим количеством слоев обучилась быстрее, чем с меньшим количеством слоев, но ошибка не сильно отличается. Это говорит о том, что увеличение количества нейронов не дает существенного улучшение результата.

Сеть MLP в данной конфигурации совершенно не дает верные результаты, возможно, необходимо изменить количество нейронов в сети или перегруппировать обучающее, тестовое и контрольное множества.

7 Анализ возможностей нейронной сети при работе с произвольными данными

Обученные нейросети MLP, RBF, GRNN прошли проверку на работу с реальными данными двух типов: входные параметры часто встречались в разных конфигурациях при обучении и входные параметры были единожды обработаны сетью. Наиболее близкие значения к реальным показателям дает сеть GRNN. Остальные выходные данные далеки от истины.

7.1 MLP (4:2-1-1-1)

Рисунок 17. Работа с произвольными данными MLP (4:2-1-1-1)

7.2 RBF (3:2-15-1)

Рисунок 18. Работа с произвольными данными (3:2-15-1)

7.3 RBF (3:2-30-1)

Рисунок 19. Работа с произвольными данными RBF (3:2-30-1)

7.4 GRNN (4:2-30-2-1)

Рисунок 20. Работа с произвольными данными GRNN (4:2-30-2-1)

Таблица4. Работа с произвольными данными

Как видно из таблицы, только сеть GRNN приблизительно обнаруживает тенденцию изменения выходного параметра с изменением входных данных. Ошибка может быть уменьшена с перераспределением контрольного, обучающего и тестового множества.

Остальные виды сетей выдают большую ошибку выходного параметра.

Сети радиально-базисной функции RBF (3:2-15-1), RBF (3:2-30-1) выдают одно и то же значение выходного параметра на разные значения входных параметров. Это может быть связано с тем, что отклонение центров было очень большим и произошло обобщение.

8 Анализ результатов

Достоинства и недостатки метода нейросетевого моделирования:

Достоинства метода заключаются в решении задач разной сложности, самообучении сети (обобщение), отсутствие необходимости в точной математической модели между входными и выходными параметрами, выявление сложных взаимозависимостей, универсальность НС, простота в использовании.

Недостатки заключаются в необходимости набора большой статистики, разбиении задачи на элементарные составляющие, при обучении необходимо однозначно учитывать условия работы, для задания уровня ошибки (вероятности) в ходе тестирования сети.

Для определения тенденции выходного параметра может быть использована сеть

GRNN, но для более точного решения поставленной задачи лучше всего изменить количество входных параметров, что даст более достоверную информацию.

Сеть типа радиально-базисная функция RBF выдает выходной параметр с достаточно большой ошибкой, и увеличение числа нейронов в промежуточном слое не приводит к уменьшению ошибки.

Сеть типа многослойный персептрон MLP(4:2-1-1-1) не годится для решения данной задачи. Возможно использование сети такого типа, изменив архитектуру сети добавлением нейронов в промежуточном слое.