PresentationNN (Презентации лекций)

Материалы
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
1

Предмет курса
МИКРОУРОВЕНЬ
Системы с распределенными
параметрами (сплошные среды)
_____________
Фазовые переменные зависят от
пространственных координат и времени
Диф. ур-я в частных
производных
(Методы математической
физики)
МАКРОУРОВЕНЬ
Системы с сосредоточенными
параметрами (технические
объекты)
_____________
МЕГАУРОВЕНЬ
Системы с большим числом
сосредоточенных параметров
(сложные технические объекты)
Фазовые переменные зависят от времени
М О Д Е Л И Р О В А Н И
Е Системы
Имитационные
Разностные уравнения
обыкновенных
дифференциальных
уравнений
математические модели
(статистические методы)
Методы конечных разностей, Рунге-Кутта,
вычислительные методы линейной алгебры
И
ПРИВЕДЕНИЕ К АЛГОРИТМИЧЕСКОМУ
ВИДУ
АЛГОРИТМ
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
Н
С
2

Примеры использования НС
Прогнозирование износостойкости тонкопленочных покрытий
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
3

Примеры использования
НС
Прогнозирование износостойкости тонкопленочных покрытий
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
4

Примеры использования
НС
Выявление (классификация) причин износа поверхности
а
в
А
б
р
а
з
и
в
н
ы
йи
з
н
о
с
Абразивный
N
б
/N
м
N
b / Ns
А
д
г
е
з
и
о
н
н
ы
йи
з
н
о
с
Адгезионный
N
о
/N
к
о
н
N0 / Nt
б
г
N
Nsum
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
У
с
т
а
л
о
с
т
н
ы
йи
з
н
о
с
Усталостный
Плохая
П
л
о
х
а
яа
д
г
е
з
и
я
адгезия
5

Примеры использования
НС
Выявление (классификация) причин износа поверхности
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
6

Примеры использования
НС
Прогнозирование надежности узлов вакуумного
технологического оборудования
Var1
Var2
Var3
Var4
Var5
Var6
Var7
Var8
Var9
Var10
Var11
Var12
Var14
Var15
Var16
OUTPUT
(наработка
на отказ)
1. Общее количество деталей - VAR1,
2. Количество уплотнений – VAR2,
3. Количество сварных швов - VAR3,
4. Толщина разделительных элементов – VAR4,
5. Проходные отверстия – VAR5,
6. Газопроницаемость – VAR6,
7. Количество деталей с циклической нагрузкой – VAR7,
8. Количество металлических уплотнений – VAR8,
9. Количество элементов регулировки – VAR9,
10. Количество деталей, подверженных износу - VAR10,
11. Степень герметизации затвора - VAR11,
12. Химическая стойкость - VAR12,
13. Герметичность уплотнений - VAR13,
14. Количество элементов, подверженных коррозии VAR14,
15. Количество элементов предварительной установки VAR15,
16. Тип привода - VAR16.
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
7

Примеры использования
НС
Прогнозирование надежности узлов вакуумного
технологического оборудования
Результат тестирования типового электромагнитного клапана
VAR2
VAR1
Input F
45
VAR9
30
VAR10
1
Output F
VAR3
VAR4
0
VAR11
4
VAR5
2
VAR12
1
VAR6
0
VAR13
1
VAR7
100
VAR14
0
VAR8
4
VAR15
0
0
VAR16
0
1
7488
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
8

Примеры использования
НС
РАЗРАБОТКА КОНТРОЛЛЕРА НА ОСНОВЕ НЕЙРОННОЙ
СЕТИ ДЛЯ ДИАГНОСТИРОВАНИЯ ТРИБОСОПРЯЖЕНИЙ В
ВАКУУМЕ (М.В. Коровин, Р.А. Невшупа)
входные параметры: максимальный
поток газовыделения, средний поток
газовыделения, максимальное значение
виброускорения, максимальное
значение амплитуды вибросигнала,
эксцесс.
выходной параметр: момент
сопротивления, выбранный в качестве
критерия работоспособности
механизма.
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
9

Алгоритм построения НС
модели
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
10

Биологические системы
управления
-
-
Норберт Винер «Кибернетика или управление и связь
в животном и машине»
Биологический нейрон
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
11

Формальный нейрон
Формальный нейрон – элементарная ячейка (процессор),
имитирующая работу мозга
Классический формальный нейрон
Математическая модель классического формального нейрона:
wo – начальное состояние (возбуждение) нейрона, wi – синаптические
коэффициенты (вес i-го входа), f(u) – функция активации
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
12

Формальный нейрон
Паде-нейрон формальный нейрон
y= f(g) = f (u1 / u2) = f ((Sum(wixi )+ wo) / ((Sum(bixi )+
bo))
Нейрон с квадратичным сумматором
y = f(u) = Sum(wijxixj )+ wo
Нейрон со счетчиком совпадений
y = N, где N – количество совпадений xi с wi
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
13

Формальный нейрон
Структурная схема формального нейрона
1
wo
x1
w1
wo
x 1 w1
Su
m
xn
wn
u
x nwn
блоки умножения сумматор
f (u)
y
Ne
выходной блок функционального преобразования
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
14

Формальный нейрон
Функции активации
Функция единичного
скачка
Сигмоид – гиперболический тангенс
Линейный порог
u
u
Сигмоид
u
u
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
1
f (u ) 
1  e  u
15

Формальный нейрон
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
16

Нейронные сети.
НС – динамическая система, состоящая из совокупности связанных
между собой формальных нейронов, и способная генерировать
выходную информацию в ответ на входное воздействие.
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
17

Классификация ИНС по топологии
ИНС
однослойные
полносвязанные
многослойные
регулярные
с обратными связями
с перекрестными связями
одномерные
с латеральными связями
с прямыми связями
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
двумерные
18

Классификация ИНС по топологии
Двухслойная нейронная сеть с прямыми связями
N
K
i 1
k 1
yi (t )  f 2 ( w20i   w2ik f1 ( w1k xk (t )  w10 k ))
i=1…N – число нейронов второго слоя, k=1…K – число нейронов первого слоя, f 1, f2
– функции активации первого и второго слоев, w – весовые коэффициенты
нейронов
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
19

Классификация ИНС по топологии
N
K
i 1
k 1
yi (t )  f 2 ( w20i   w2ik f1 ( w1k xk (t )  w10 k ))
i=1…N – число нейронов второго слоя, k=1…K – число нейронов первого слоя, f 1, f2
– функции активации первого и второго слоев, w – весовые коэффициенты
нейронов
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
20

Классификация ИНС по топологии
Трехслойная полносвязанная нейронная сеть с прямыми связями
1
1
x1
M
1
y1
y3k  f 3 ( w30k   w3 jk y2j )
j 1
L
i
xi
k
y2j  f 2 ( w20 j   w2ij y1i )
y
y1i  f1 ( xi )
i 1
…
…
N
…
L
xL
j
yk
N
M
M
L
j 1
i 1
y3k (t )  f 3 ( w30k   w3 jk f 2 ( w20 j   w2ij f1 ( xi (t ))))
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
21

Классификация ИНС по топологии
Трехслойная
полносвязанная
нейронная
сеть
с
прямыми связями с латеральными связями во втором слое
1
J
1
i
xi
1
x1
3
k
y1
yk
y 3k  f 3 ( w 30 k   w 3 jk y 2j )
j 1
Уравнение
для обычных
y 2j без
 f 2 ( w 20 j 
лат
Уравнение
…
…
K
I
…
xL
J
yN
для нейронов
нейронов :
I
w
2 ij
y 1 i )
i 1
с латеральны ми связями
y 2l лат  f 2 ( w 20 l 
I
w
2 il
( 2 и 4 нейроны ) :
y 1 i  w л 3 l y 23 )
i 1
y 23  f 2 ( w 203 
I
w
2i3
y 1 i )
i 1
y 1i  f 1 ( x i )
J
I
I
I



 L


y3k(t) f3  w30k w3 jk f2  w20j w2ij f1 xi (t)  w3lk f2  w20l w2il f1 xi (t)  wл3l f2  w203w2i3 f1 xi (t)   
j 1
i1
i1
i1


 l2

  

Суммирование сигналов
обычных нейронов второго слоя
Суммирование сигналов
нейронов второго слоя, содержащих латеральные связи.

Классификация ИНС
по способу решения задачи
ИНС
формируемые
обучаемые
с формируемой
матрицей связи
(сети
Хопфилда)
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
комбинированные
23

Структурная схема
нейрокомпьютера
Нейрокомпьютер – устройство, основной операционный блок
которого построен на основе ИНС и реализует нейросетевые
алгоритмы.
устройство
управления
устройство
ввода
запоминающее
устройство
НС
устройство
вывода
блок
обучения
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
24

Достоинства нейросетевой
обработки данных
1. Параллельная организация обработки информации.
2. Глобальность связей.
3. Универсальность и простота архитектуры НС.
4. Возможность решения нелинейных задач.
5. Способность к обобщению.
6. Простота в использовании.
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
25

Технология решения
задач
База данных
Предварительная обработка данных
Выбор параметров нейросети
Обучение нейросети
Оценка нейросетевой модели
нет
Модель удовлетворительна?
да
Конец настройки НС
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
26

Предварительная обработка
данных
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
27

Предварительная обработка
данных
НАБОР ДАННЫХ –
набор наблюдений, для которых указаны значения
входных и выходных переменных (как правило,
числовых и номинальных).
Обучение
Контроль
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
Проверка
28

Предварительная обработка
данных
ПОРЯДОК ДЕЙСТВИЙ:
1. Определение количества наблюдений
2. Удаление выбросов
3. Понижение размерности входного вектора
–
возможность использовать сеть меньшего размера и меньшее количество
наблюдений в обучающей выборке
4. Преобразование переменных (шкалирование) -
получение
числовых значений, которые может воспринимать сеть
5. Замена пропущенных значений –
обеспечение возможности работы с неполными данными
6. Нормировка –
обеспечение возможности использования числовых функций, действующих
на весь вектор входов
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
29

Предварительная обработка
данных
1. Определение количества наблюдений
•



Проблемы:
•
Фактор времени,
ИНС обучаются на тех данных, которыми располагают,
•
ИНС обучаются тому, чему проще обучиться
•
Сбалансированность набора данных
•
Наличие выбросов
100 min (число наблюдений в 10 раз больше числа связей),
<100 – подгонка линейной модели
значения могут быть пропущены
2. Удаление выбросов
 предварительная статистическая обработка

в процессе обучения при подсчете ошибки суммирование не квадратов
разностей, а модулей разностей
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
30

Предварительная обработка
данных
3. Понижение размерности входного вектора - отбор
информативных переменных

Проблемы:
•
«проклятие размерности»

зависимость между переменными,
избыточность информации (переменных)
метод
главных компонент
(понижения размерности) преобразование M-мерного
пространства данных в N-мерное в
соответствии с направлениями
максимального разброса данных
(M>N)
метод
«генетического алгоритма
отбора»
(по значимости
переменных)
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
31

Предварительная обработка
данных

«генетический алгоритм отбора» (по значимости
переменных)
Создание масок (строк) с кодами переменных
0 – не исп., 1 – исп.
Создание популяции масок
Обучение сети на построенных множествах
Тестирование сети на обучающем множестве
Отбор лучших масок (строк)
Скрещивание лучших масок
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
32

Предварительная обработка
данных
•
метод главных компонент (понижения размерности)
преобразование M-мерного пространства данных в N-мерное в
соответствии с направлениями максимального разброса данных (M>N)
II com
ponen
t
I com
ponen
Класс А
t
Гл.компонента
Класс В
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
33

Предварительная обработка
данных
4. Преобразование переменных (шкалирование)
Шкалирование -преобразование информации в масштаб, подходящий для сети:
Шкалы: отношений (вес, длина, …),
Числовые переменные
интервалов (давление, время…),
порядка (количество баллов, …).
Номинальные переменные
наименований (имена, свойства, …).




Два значения – 0; 1
1 из N (преобразование номинальных в числовые) - (0;0;1), (0;1;0), …
Алгоритм минимакса – [-1;1], [0;1],
Алгоритм средних стандартных отклонений
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
34

Предварительная обработка
данных
5. Замена пропущенных значений





Средним
Медианным значением
Максимальным (наиболее часто встречающимся) значением
Минимальным (наименее …)
Нулем
6. Нормирование
преобразование входного или выходного вектора, а не отдельных переменных
 единичная сумма - сумма всех значений равняется 1,0
 единичная длина - данные трактуются как вектор, его компоненты
масштабируются так, чтобы длина вектора равнялась 1,0
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
35

Предварительная обработка
данных
5. ОПРЕДЕЛЕНИЕ КОЛИЧЕСТВА ВЫХОДНЫХ
ПАРАМЕТРОВ
Задачи регрессии
Задачи классификации по М классам
кол-во прогнозир.
параметров
М (по интенсивности сигнала)
log2М (двоичная запись:
последовательность 0
/положит.вых.сигнал/ и 1 /отриц.вых.
сигнал/)
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
36

Типы сетей
Входной слой – ввод значений
а)
Промежуточные слои преобразование
б)
Выходной слой – преобразование
в)
(выходные значения элементов – выход сети)
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
37

Типы сетей
1. МНОГОСЛОЙНЫЙ ПЕРСЕПТРОН (MLP)
Строение
Активац.
эл-та
(PSP ф-ция,
Ф-ция
активации
Линейная –
взвешен.
сумма входов
со сдвигом
на порог.зн.
Нелинейная
(сигмоид:
логистич., tanh,
…)
В вых. сл. м.б.
-линейная
(регрессия)
-софтмакс
(классиф.)
дискриминантн
ая ф-ция)
Назначен.
Вид
связей
Кол-во
слоев
Прямые,
полная
система
связей
2
Методы
обучени
я
Примеч
(передаточная фция)
нач. - 3,
n2= (n1+n3) /2
Прогнозир., -обратного
Классифик. распростр.
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
-быстрого
распростр.
-спуска по
сопряж.
градиентам
и др.
- универс.,
- невелики по
размерам,
- быстро
работают,
- медленно
обучаются,
- экстраполяц.
38

Типы сетей
1. МНОГОСЛОЙНЫЙ ПЕРСЕПТРОН (MLP) (продолжение)
Поверхность отклика нейрона-элемента первого
промежуточного слоя с двумя переменными на входе.
Поверхность отклика для сети с одним
промежуточным слоем, состоящим из двух нейроновэлементов, и одним выходным нейроном-элементом
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
39

Типы сетей
2. ЛИНЕЙНАЯ СЕТЬ
Строение
Активац.
Ф-ция
эл-та
активац.
(PSP ф-ция)
Вид
связей
Линейная –
прямые 2
взвешен.
сумма входов
со сдвигом
на порог.зн.
-линейная
Назначен.
Методы
обучения
Примеч
Прогнозир.
Классифик.
-линейная
оптимиз..
-
Кол-во
слоев
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
простые
- быстро
обуч
- не могут
решать
нелинейные
задачи
40

Типы сетей
3. РАДИАЛЬНАЯ БАЗИСНАЯ ФУНКЦИЯ (RBF)
Строение
Активац.
Ф-ция
эл-та
активац.
(PSP ф-ция)
Вид
связей
Во втором
слое
-радиальн.
прямые 3
В вых сл.
-линейная
Промежут.
(2й) слой –
экспоненц.
Вых.слой –
линейн. или
сигмоид.
Назначен.
Методы
обучения
Примеч
Регрессия,
Классифик.
В 2 этапа:
1. опред.
центров и
отклонений
2. оптимиз.
параметров
вых.слоя –
линейная
оптимизац.
для лин. AF
или
градиентн.
спуск
По сравн. с MLP
-больше по
разм.,
- работает
медл.,
- треб. больше
памяти,
-быстрее
обучается,
-- не могут
экстраполир.
Кол-во
слоев
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
41

Типы сетей
3. РАДИАЛЬНАЯ БАЗИСНАЯ ФУНКЦИЯ (RBF) (продолжение)
Поверхность отклика радиального нейронаэлемента (гауссова функция колоколообразной
формы с вершиной в центре и понижением к
краям)
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
42

Типы сетей
4. СЕТИ КОХОНЕНА
Строение
Активац.
Ф-ция
эл-та
активац.
(PSP ф-ция)
Вид
связей
Радиальная
ф-ция
прямые 2
(n2 опред.
пользователь)
.
Вых.слой –
квадр.корень
или линейн.
Назнач.
Методы
обучения
Кластер.
Неуправляемое
обучение
(не нужны
вых.перем)-
Кол-во
слоев
Примеч
методом
последоват.
приближения
определяют
центры
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
43

Типы сетей
5. ВЕРОЯТНОСТНАЯ (БАЙЕСОВА) СЕТЬ (PNN)
Строение
Активац.
Ф-ция
эл-та
активац.
(PSP ф-ция)
Во втором
слое –
радиальная
В 3-м и 4-м
– линейная.
Вид
связей
Кол-во
слоев
Второй слой – прямые 3 или 4,
экспоненц.
n2=nнаблюдений,
Посл.слои –
линейн.
nпослед=nклассов
Назначен. Методы
обучен.
Примеч
Классифик
(обычная и
с учетом
потерь)
- для
пробн.эксп
- вероятн.
смысл
вых.зн-я
- оч.быстро
обуч.
- оч.больш.
размер,
- медл.раб.
n3 = n4
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
Выбор
степени
сглажива
ния
(единств.
управляющий
параметр)
44

Типы сетей
6. ОБОБЩЕННО-РЕГРЕССИОННАЯ СЕТЬ (GRNN)
Строение
Активац.
Ф-ция
эл-та
активац.
(PSP ф-ция)
Во втором
слое –
радиальная
В 3-м и 4-м
– линейная.
Вид
связей
Назнач
Методы
обучен.
Примеч
Регресс.
В2
этапа:
- для
пробн.эксп
- оч.быстро
обуч.
- оч.больш.
размер,
- медл.раб.,
- не могут
экстраполир
.
Кол-во
слоев
Второй слой – прямые 4,
экспоненц.
n3=n4+1
Последние
n4=nвых.парам
(регресс. и
вых.) слои –
линейн.
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
1.Выбор
центров
для
радиальн.
нейронов
2. Обуч.
регресс.
нейронов
и вых.
нейронов
45

Обучение нейронных
сетей
1. СПОСОБЫ ОБУЧЕНИЯ
~ Алгоритмы инициализации
Итерационные с обратным
распространением ошибки
Управляемое обучение (Х; У(Х))
Метод псевдообратных
для линейных слоев
Неуправляемое обучение (Х)
Методы
присваивания
центров
Методы задания
отклонений
Генетический алгоритм
обучения
Обучения Кохонена
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
46

Обучение нейронных
сетей
2.
ФУНКЦИИ ОШИБОК ОБУЧЕНИЯ
m
k
E (W t ) 
l 1 j 1
m
k


t
 Ft ( X lj ,W )  Ylj 



2
Квадратичная

2
E (W t )   Ft ( X lj , W t )  Ylj / km
l 1 j 1
m
k

E (W t )   Ft ( X lj , W t )  Ylj

l 1 j 1
Средняя
квадратичная
Линейная
(Городских
кварталов)
k
Eкохонена (С t )  X j  C tj
j 1
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
Кохонена
47

Обучение нейронных
сетей
3.
ТЕХНОЛОГИЯ УПРАВЛЯЕМОГО ОБУЧЕНИЯ
Стандартная процедура (итерационное обучение)
Вар.1 - Истечение
заданного числа эпох
эпохи или
набл..
Еобуч
Еобуч
Еобуч ……….
Еобобщ
t
Еобобщ <
Вар.2 – Eобуч = const или Eобуч < d
Обучающее мн-во
Тест. мн-во
Процедура обучения с кросс-проверкой («ранняя остановка», итерац. обучение)
эпохи или
набл..
Еобуч
Еобобщ
Еобуч
Контр.
мн-во
Еобуч Еобобщ
………. Еобобщ
Еобобщ
t
Еобобщ <
Еобуч (tk-1) > Еобуч (tk)
Еобобщ(tk)>Eобобщ(tk-1)
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
48

Обучение нейронных
сетей
4.
ЗАДАЧА ОБУЧЕНИЯ НС
Дано:
Х – входной вектор с размерностью(1…i…n)
Y - вектор выхода с размерностью (1…j…k)
(Xl, Yl) – обучающая выборка из m примеров
W0 - совокупность всех весовых к-тов при t=t0
W* - совокупность всех весовых к-тов при t=ts
Задача:
W0
E(W)
W*
min
Методы: алгоритмы оптимизации ошибки обучения
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
49

Обучение нейронных
сетей
4. ЗАДАЧА ОБУЧЕНИЯ НС. ОДНОСЛОЙНАЯ НС с n входами и k выходами
1. Присваивание случайных значений весам сети wil
2. Выч. сумм. сигнала по всем входам i для каждого нейрона l
3. Вычисление значения выхода каждого нейрона yl
4. Вычисление ошибки сети для каждого нейрона
E l = dl - y l
5. Модификация весового коэффициента связи
wil (t + 1) = wil (t) + αxiEl , где x – i-я компонента входного вектора, α - коэффициент обучения
i
да
El>
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
нет
тестирование
50

Обучение нейронных
сетей
5. ФАКТОРЫ, ОПРЕДЕЛЯЮЩИЕ СТРАТЕГИЮ ОБУЧЕНИЯ
1. Определение направления движения (изменения весов):
Градиентные методы:
Неградиентные:
-
Вычисление Енов
Ест=Енов
Вычисление градиента
Шаг вдоль градиента
Вычисление Енов
- Покоординатного спуска (Г-З)
- Случайного поиска
-
Если модуль Ест-Енов > Δ, то
Конец
2. Формирование последовательности подачи примеров из обучающей
выборки (определение количества примеров, на которых
одновременно обучается сеть:
Пакетная обработка
По одному наблюдению
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
51

Обучение нейронных
сетей
5. ФАКТОРЫ, ОПРЕДЕЛЯЮЩИЕ СТРАТЕГИЮ ОБУЧЕНИЯ
3. Определение величины шага:
-
Пробный шаг h, вычисление E(h)
Если E(h) > E(hо) , то h уменьшается
Если E(hо) > E(h) , то h увеличивается:
-
-
Пробный шаг h, вычисление E(h)
Если E(h) > E(hо) , то
h1=h/k
Если E(h1)>E(ho), то h=h1
Если E(h1)Если E(h)h1=kh
Если Е(h)Если Е(h)>E(h1), то шаг h
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
52

Обучение нейронных сетей
6.
МНОГОСЛОЙНАЯ НС. ОБРАТНОЕ РАСПРОСТРАНЕНИЕ ОШИБКИ
(BP)
Ошибка нейросети без обратных связей
1 p
2
E (W )    y j  d j 
2 j 1
yj – значение выхода j-го нейрона; dj – желаемое значение выхода j-го нейрона;
p – число нейронов в выходном слое
Изменение веса на каждой итерации
S j
E
E
E y j S j
wij  h
,

,
 xi
wij
wij y j S j wij
wij
h -параметр, определяющий скорость обучения;
xi - значение i-го входа j-го нейрона;
yj – значение выхода j-го нейрона;
Sj – взвешенная сумма входных сигналов
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
53

Обучение нейронных сетей
6.
ОБРАТНОЕ РАСПРОСТРАНЕНИЕ ОШИБКИ (продолжение)
Вспомогательная переменная

n 
j

E y
y j S
j
j
E
E yk S k
E yk  n 1


w jk
y j
k y k S k y j
k y k S k
k – номер нейрона в слое
(n+1)

 y
 j n      j n 1 w jkn 1  j (1)
 k
 S j
n
(
y
Вспомогательная переменная
j  d j )Y j
n
j 
( 2)
для последнего слоя нейросети
S j
Изменение веса на
каждой итерации
wij  h j n  xin
(3)
54
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ

Обучение нейронных
сетей
6.
АЛГОРИТМ ОБРАТНОГО РАСПРОСТРАНЕНИЯ (BP)
1. Ввод данных по наблюдениям, определение значений выходов
2. Расчет для выходного слоя
 p по (2) и wij по (3)
3. Расчет для остальных слоев
 p по (1) и wij по (3)
4. Корректировка всех весов
w(n) (t ) w(n) (t  1)  w(n) (t )
ij
ij
ij
t – номер текущей итерации
да
5. E>Δ
нет
тестирование
55
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ

Обучение нейронных
сетей
7. Методы с обратным распространением ошибки
• алгоритм обратного распространения (для MLP) - 1
Градиентное направление спуска, корректировка весов после обработки очередного наблюдения,
значение шага вычисляется для каждого наблюдения
• метод быстрого распространения (для MLP) - 2
Градиентное направление спуска, пакетная обработка, корректировка весов после прогона эпохи
 «дельта-дельта с чертой» (для MLP) - 3
Градиентное направление спуска, корректировка весов после прогона эпохи, величина шага
изменяется по мере продвижения обучения
• спуск по сопряженным градиентам (для MLP и линейных слоев) - 4
Аналогичен методу крутого восхождения, для сетей с большим числом весов (>200-300)
 метод линейного спуска (для MLP) - 5
 Аналогичен методу крутого восхождения
 метод Левенберга-Маркара (для MLP) - 6
Комбинация между 1 и 5, для сетей с одним выходом и количеством весов <1000, для
среднеквадратичной функции ошибок
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
56

Обучение нейронных
сетей
8. МЕТОДЫ ПРИСВАИВАНИЯ ЦЕНТРОВ РАДИАЛЬНЫМ ЭЛЕМЕНТАМ
 Метод К средних (для GRNN, RBF)
- К – число нейронов радиального слоя
- каждое из К первых наблюдений формирует кластер
х2
А1
Ак
 Радиальная выборка
(для RBF, GRNN)
«выборка из выборки»:
центры – случайно выбранные
элементы из обучающей выборки
х1
-
каждое последующее наблюдение относится к ближайшему кластеру, вычисление центроидов
кластеров
х2
-
А1
Ак
Ц*
Ак+1
х1
возможный перенос элементов в другие кластеры, пересчет центроидов
х2
А1
Ак
А
Ц*
Ак+1
- координаты центроидов
х1 копируются в радиальные элементы
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
57

Обучение нейронных
сетей
9. МЕТОДЫ ЗАДАНИЯ ОТКЛОНЕНИЙ РАДИАЛЬНЫМ ЭЛЕМЕНТАМ
 Явное задание отклонений
 Изотропные отклонения:
d2 / K,
где d – расстояние между двумя наиболее удаленными центрами
 алгоритм «К ближайших соседей»:
1
K
K
2
dist
 ( A? , Ai )
i 1
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
58

Обучение нейронных
сетей
10. ОБУЧЕНИЕ КОХОНЕНА (для сетей Кохонена, рад.
слоев RBF, PNN, GRNN)
- Случайный выбор центров (не более, чем кол-во нейронов в
слое)
Ц1
Цк
Ц2
- Ввод наблюдения и выбор ближайшего к нему центра
Ц1
Цк
Ц2
А
Выигравший элемент
- Перемещение выигравшего центра и ближайших к нему элементов в сторону наблюдения А
(~изменение весов)
Нейронная активность
Цпобедитель
Dist(Цi, Цпобедитель)
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
Топологическая
карта
59

Обучение нейронных
сетей
-
…….
-
Уменьшение скорости обучения и размера окрестности, увеличение количества эпох
-
Если Е
< δ, то конец
E = dist (Цпобедитель i, Аi)
E = Σdist2 (Цпобедитель i, Аi) / N, где N - количество наблюдений в обучающем множестве
- Устанавливание смысла кластеров:
 Идентификация кластеров по частоте выигрышей
 Присваивание им символических имен
 Исследование данных
 Замена символических имен на смысловые
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
60

Обучение нейронных
сетей
11. ОБУЧЕНИЕ ВЕРОЯТНОСТНЫХ СЕТЕЙ PNN
Обуч. набл. 1
Тестовые
наблюдения
Обуч. набл. N
Класс 1
Класс 2
- Центры определяются обучающим множеством
- ВЫБОР СТЕПЕНИ СГЛАЖИВАНИЯ
Класс К
Радиальный слой
Выходной слой
СТЕПЕНЬ СГЛАЖИВАНИЯ (отклонение радиальной функции)
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
61

Обучение нейронных
сетей
12.ОБУЧЕНИЕ ОБОБЩЕННО-РЕГРЕССИОННЫХ СЕТЕЙ GRNN
Тестовое
наблюдение
А
1/wi
Wi = 1/ dist (Цi- A)
Центр 1
Центр 2
ΣwiYi
Σwi
Центр N
3й слой
YА = ΣwiYi / Σwi
4й слой
Рад.слой с кластерами из обучающих наблюдений
-
Выявление кластеров:
 ОПРЕДЕЛЕНИЕ ЦЕНТРОВ
 ЗАДАНИЕ СТЕПЕНИ СГЛАЖИВАНИЯ
- Обучение 3го и 4го слоев
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
62

Обучение нейронных
сетей
13. ПАРАМЕТРЫ ПРОЦЕССА ОБУЧЕНИЯ:
• Число эпох обучения
• Скорость обучения
• Инерция
• Наличие перемешиваний и/или шума
• Возможность встряхивания весов
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
63

Оценка качества обучения и
работы сети
1. ГРАФИКИ И ГИСТОГРАММЫ ОШИБОК ОБУЧЕНИЯ И ОБОБЩЕНИЯ
! Различный смысл ошибки для
сетей разных архитектур
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
64

Оценка качества обучения и
работы сети
2. СТАТИСТИКИ РЕГРЕССИИ
S.D.Ratio = Error S.D. / Data S.D.
S.D.Ratio < 1
3. СТАТИСТИКИ КЛАССИФИКАЦИИ
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
65

Оценка качества обучения и
работы сети
4. ЧАСТОТА ВЫИГРЫШЕЙ (для сети Кохонена)
Число наблюдений, отнесенных к каждому
элементу сети
5. РАСПРЕДЕЛЕНИЕ ВЕСОВ
Количество весов различной величины
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
66

Анализ данных
•
Анализ одного наблюдения из файла данных в режиме работы сети
•
Анализ всего набора данных в режиме работы сети
•
Анализ произвольных данных в режиме работы сети
•
Активация сети
- Определение уровней активации (доверия)
выходных элементов
- Выявление изменений уровней активации
элементов после прогона отдельных наблюдентй
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
67

Анализ данных
•
Топологическая карта (для второго слоя сети Кохонена)
- Установление соответствия между элементами и
классами
- Воспроизведение отношения близости между
кластерами
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
68

Анализ данных
•
Диаграмма кластеров
•
Поверхность отклика
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
69

Выбор архитектуры и
улучшение качества работы
сети
Последовательность для задач регрессии и классификации:
Вероятностная сеть
MLP с одним скрытым слоем
Увеличение количества элементов в
промежуточном слое
Увеличение количества промежуточных слоев
MLP хуже
вероятностной
RBF
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
70

Выбор архитектуры и
улучшение качества работы
сети
• Для задач классификации: изменение значений порогов принятия и
отвержения
• Для задач регрессии:
- Масштабирование значений переменных
- Использование линейной функции активации в последнем слое
- Отбрасывание данных, которые приводят к большой ошибке,
(выбросов)
- Использование неквадратичной
функции ошибок
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
71

Алгоритм
input

E

w
ij~ 
w
ij
output
(X, ?
)
C
3-4
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
72

Анализ вариантов ПО
Иллюстрация процесса
создания нейросети в
пакете программ
NeuralBench
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
73

Анализ вариантов ПО
Иллюстрация
процесса создания
нейросети в пакете
программ NeuroOffice
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
74

Анализ вариантов ПО
Иллюстрация процесса
обучения нейросети в
пакете программ
NeuroOffice
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
75

Анализ вариантов ПО
Иллюстрация процесса
обучения нейросети в
пакете программ
NeuroSolution
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
76

Анализ вариантов ПО
Иллюстрация процесса
обучения нейросети в
пакете программ MatLab
+ Neural Network Toolbox
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
77

Анализ вариантов ПО
Иллюстрация процесса
обучения нейросети в
пакете программ
BrainMaker
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
78

Решение задач
1. СОЗДАНИЕ НАБОРА ДАННЫХ (кол-во вх. и вых. переменных)
РЕГРЕССИЯ
MLP
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
79

Решение задач
1. СОЗДАНИЕ НАБОРА ДАННЫХ (ввод значений наблюдений)
РЕГРЕССИ
Я MLP
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
80

Решение задач
1. СОЗДАНИЕ НАБОРА ДАННЫХ (разделение наблюдений по типам)
РЕГРЕССИЯ
MLP
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
81

Решение задач
2. ПОСТРОЕНИЕ СЕТИ (выбор типа и архитектуры)
РЕГРЕССИЯ
MLP
1
2
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
82

Решение задач
2. ПОСТРОЕНИЕ СЕТИ (редактирование параметров сети, ф-ции ошибки)
РЕГРЕССИЯ
MLP
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
83

Решение задач
3. ОБУЧЕНИЕ СЕТИ (выбор способа и его параметров)
РЕГРЕССИЯ
MLP
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
84

Решение задач
3. ОБУЧЕНИЕ СЕТИ (сохранение лучшей сети)
РЕГРЕССИЯ
MLP
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
85

Решение задач
3. ОБУЧЕНИЕ СЕТИ (иллюстрация процесса обучения)
РЕГРЕССИЯ
MLP
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
86

Решение задач
4. ОЦЕНКА КАЧЕСТВА СЕТИ
РЕГРЕССИЯ
MLP
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
87

Решение задач
5. РАБОТА С СЕТЬЮ (анализ произвольных данных)
РЕГРЕССИЯ
MLP
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
88

Решение задач
2’. ПОСТРОЕНИЕ СЕТИ (выбор типа и архитектуры)
РЕГРЕССИЯ
RBF
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
89

Решение задач
3’. ОБУЧЕНИЕ СЕТИ (определение параметров)
РЕГРЕССИЯ
RBF
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
90

Решение задач
5’. РАБОТА С СЕТЬЮ (анализ произвольных данных)
РЕГРЕССИЯ
RBF
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
91

Решение задач
6. СРАВНЕНИЕ СЕТЕЙ
РЕГРЕССИЯ
RBF /MLP
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
92

Решение задач
1’’. СОЗДАНИЕ НАБОРА ДАННЫХ (задание имен и типов переменных)
КЛАССИФ.
MLP
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
93

Решение задач
3’’. ОБУЧЕНИЕ СЕТИ (иллюстрация процесса обучения)
КЛАССИФ.
MLP
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
94

Решение задач
4’’. ОЦЕНКА КАЧЕСТВА СЕТИ
КЛАССИФ.
MLP
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
95

Решение задач
5’’. РАБОТА С СЕТЬЮ (анализ произвольных данных)
КЛАССИФ.
MLP
НЕЙРОСЕТЕВОЕ МОДЕЛИРОВАНИЕ
96