62508 (588796), страница 3
Текст из файла (страница 3)
Скорость обучения и начальный момент на качество обобщения не влияют.
Сеть Ворда с двумя блоками в скрытом слое и с обходным соединением
Структура НС:
-
количество слоев: 4
-
количество нейронов:
а) во входном слое: 63
б) в выходном слое: 9
3. активационная функция
а) во входном слое: линейная
б) в выходном: логистическая
В таблице отражена зависимость минимальной средней ошибки на тренировочном и тестовом наборах и времени обучения от вида функций активации.
Скорость обучения = 0,1; момент = 0,1
Таблица данных
1 скрытый слой | 2 скрытый слой | Min средняя ошибка | Время обучения | |||
Функция активации | Кол-во нейронов | Функция активации | Кол-во нейронов | на тренировочном наборе | на тестовом наборе | |
Гауссова | 24 | компГауссова | 24 | 0,0000013 | 0,0034898 | 02:59 |
Гауссова | 24 | Гауссова | 24 | 0,0000005 | 0,0065507 | 05:21 |
компГауссова | 24 | компГауссова | 24 | 0,0000017 | 0,0037426 | 02:29 |
логистческая | 24 | логистическая | 24 | 0,0000147 | 0,0019549 | 00:38 |
Исходя из таблицы дла данной сети оптимальными будут функции активации Гауссова для 1 слоя и Комплем. Гауссова для 2 слоя.
Вых1 | Вых2 | Вых3 | Вых4 | Вых5 | Вых6 | Вых7 | Вых8 | Вых9 | |
R квадрат | 0,9995 | 0,9995 | 0,9986 | 0,9995 | 0,9983 | 0,9994 | 0,9996 | 0,9977 | 0,9979 |
СКО | 0,007 | 0,008 | 0,013 | 0,007 | 0,012 | 0,007 | 0,006 | 0,014 | 0,015 |
Относ СКО % | 0,690 | 0,760 | 1,258 | 0,692 | 1,230 | 0,746 | 0,620 | 1,429 | 1,512 |
Данная сеть после обучения показывает не очень хорошие обобщающие данные.
Скорость обучения и начальный момент на качество обобщения не влияют.
Сеть Кохонена
Структура НС:
-
кол-во нейронов
-
входной слой: 63
-
выходной слой: 9
-
скорость обучения: 0,5
начальные веса: 0,5
окрестность: 8
эпохи: 500
в таблице отражена зависимость средней количества неиспользованных категорий от пораметров выбора примеров и метрик расстояния.
Параметры выбора примеров | Метрики расстояния | Время обучения | Кол-во неиспозльзованных категорий |
поочередный | евклидова | 00:02 | 1 |
случайный | евклидова | 00:02 | 1 |
поочередный | нормированная | 00:02 | 3 |
случайный | нормированная | 00:02 | 2 |
Данная сеть обладает плохим обобщением.
На данной диаграмме показаны сравнительные данные по времени обучения рассмотренных сетей.
Т.к сеть Кохонена обладает наихудшими обобщением, ее в диаграмму не включаем.
На данной диаграмме показаны сравниваемые нами значения выходных данных обученных сетей.
Исходя из представленных диаграмм оптимальной для нас будет сеть Ворда с 2мя скрытыми блоками.
2.3 Выбор параметров обучения
Находим оптимальные параметры:
• скорость обучения в интервале от 0 до1
• момент в интервале от 0 до 1
• начальные веса от 0 до 1
1. Зависимость качества обучения от скорости обучения
Скорость обучения | 0,1 | 0,5 | 0,7 | 1 |
Мин. ср. ошибка на тест. наборе | 0,0019529 | 0,0006956 | 0,0005016 | 0,0002641 |
2.Зависимость качества обучения от момента
Момент | 0,1 | 0,5 | 0,7 | 1 |
Мин. ср. ошибка на тест. наборе | 0,0019529 | 0,0012411 | 0,0013824 | 0,5690943 |
3.Зависимость качества обучения от начальных весов
Начальный вес | 0,1 | 0,3 | 0,7 | 1 |
Мин. ср. ошибка на тест. наборе | 0,0010359 | 0,0019529 | 0,0032182 | 0,0031102 |
2.4 Оптимальные параметры обучения
Скорость обучения: 0,1
Начальный момент: 0,1
Начальные веса: 0,3
Модель - Сеть Ворда с двумя блоками в скрытом слое.
Структура НС:
-
количество слоев: 4
-
количество нейронов:
-
блок 1: 63
-
блок 2: 24
-
блок 3: 24
-
блок 4: 9
-
3. вид функций активации:
-
блок 1 – линейная [0;1]
-
блок 2 –гауссова
-
блок 3 –гауссова
-
блок 5 – логистическая.
2.5 Блок-схема алгоритма обучения
3. Анализ качества обучения
При данных оптимальных параметрах результаты применения сети можно представить виде таблицы
Вых1 | Вых2 | Вых3 | Вых4 | Вых5 | Вых6 | Вых7 | Вых8 | Вых9 | |
R квадрат | 1.0000 | 0.9992 | 0.9999 | 1.0000 | 0.9999 | 1.0000 | 0.9995 | 1.0000 | 1.0000 |
СКО | 0.002 | 0.009 | 0.003 | 0.001 | 0.003 | 0.001 | 0.021 | 0.001 | 0.002 |
Относ СКО % | 0.152 | 0.910 | 0.275 | 0.107 | 0.320 | 0.133 | 2.112 | 0.128 | 0.153 |
доля с ош <5% | 10.417 | 12.500 | 13.194 | 9.722 | 9.722 | 11.111 | 10.417 | 9.722 | 12.500 |
доля с ош 5-10% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
доля с ош 10-20% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
доля с ош 20-30% | 0 | 0 | 0 | 0 | 0 | 0 | 0.694 | 0 | 0 |
доля с ош >30% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
Для проверки способностей к обобщению на вход сети подаются зашумленные последовательности входных сигналов. Процент зашумления показывает, какое количество битов входного вектора было инвертировано по отношению к размерности входного вектора.
Для зашумления 5% сеть выдает такие результаты:
Вых1 | Вых2 | Вых3 | Вых4 | Вых5 | Вых6 | Вых7 | Вых8 | Вых9 | |
Rквадрат | 0,9868 | 0,9884 | 0,9800 | 0,9831 | 0,9843 | 0,9830 | 0,9814 | 0,9855 | 0,9838 |
СКО | 0,036 | 0,034 | 0,044 | 0,041 | 0,039 | 0,041 | 0,043 | 0,038 | 0,040 |
Относ СКО % | 3,616 | 3,385 | 4,448 | 4,089 | 3,942 | 4,096 | 4,289 | 3,781 | 3,998 |
доля с ош<5% | 11,111 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
доля с ош5-10% | 0 | 11,111 | 11,111 | 0 | 0 | 11,111 | 0 | 11,111 | 11,111 |
доля с ош 10-20% | 0 | 0 | 0 | 11,111 | 11,111 | 0 | 11,111 | 0 | 0 |
доля с ош 20-30% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
доля с ош>30% | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
Далее мы подавали различное количество инвертированных битов.
В таблице представлена зависимость количества инвертированных битов от количества правильных ответов на выходе
Количество инвертированных битов | Количество верных ответов на выходе |
50 | 0 |
25 | 2 |
13 | 9 |
19 | 6 |
16 | 7 |
15 | 8 |
14 | 8 |
Таким образом мы выявили критическое количество зашумленных данных = 16 на каждый входной вектор.
5>5>