Neural nets:
Contributors’
Slides
Neural net tachnology
The questions to be discussed in lecture:
Why it works?
When it might not work?
What needs to be done?
What has been done?
Popov V.
2
Термины и
основные понятия
3
Glossary
Contour map
Partial derivative
Continuous function
Gradient descent
Performance function
Кузьмин
4
Glossary
Contour map (карта уровней)
Partial derivative (частная производная)
Continuous function (непрерывная функция)
Gradient descent (градиентный спуск)
Performance function (функция оценки)
Кузьмин
5
Glossary
Thingamajigger — штуковина (объект, который не
помнишь как называется)
Presynaptic thickening — пресинаптическое
утолщение
Synaptic gap — синаптическая щель
Threshold box — пороговое окно
Cumulative influence — совокупное влияние
Axonal bifurcation — аксональная бифуркация
(раздвоение аксонов)
Мищенко Николай
6
Нейрон
Мищенко Николай
7
Строение
нейрона
В центральной нервной
системе (ЦНС) по разным
оценкам насчитывается
20-100 млрд. нейронов.
Сальников
8
Строение
нейрона
Один нейрон может посылать
информацию большому числу
других нейронов и также
получать информацию от
большого числа нейронов
(от 1 до 100 000,
в среднем от 10000).
Сальников
9
История развития
10
История развития
нейронных сетей
1943 – У.Маккалок, У.Питтс – формализация понятия
«нейронная сеть»
1949 – Д.Хебб предложил первый алгоритм обучения
1958 – Ф.Розенблатт изобрёл однослойный перцептрон
1969 – М.Минский опубликовал формальное
доказательство ограниченности перцептрона, снижение
интереса к нейронным сетям
1974 – Пол Дж.Вербос и А.И.Галушкин – алгоритм
обратного распространения ошибки для обучения
многослойных перцептронов
Булгакова
11
История развития
нейронных сетей
1982 – Дж.Хопфилд изобрёл полносвязную нейронную
сеть с симметричной матрицей связей
1985 – Дж.Хинтон, Т.Сейновски – изобретение машины
Больцмана (стохастическая рекуррентная нейронная сеть)
1986 – Д.Румельхарт, Дж.Хинтон и Р.Вильямс – развитие
метода обратного распространения ошибки, взрыв
интереса к обучаемым нейронным сетям
2007 – Дж.Хинтон (праправнук Дж.Буля) – алгоритмы
глубокого обучения многослойных нейронных сетей с
использованием ограниченной машины Больцмана
Булгакова
12
Нейронная сеть
13
Нейрон
Мищенко Николай
14
15
16
17
18
19
Modeling neuron
(0,1) input
x11
...
...
...
xnn
w11
x11
wnn
xnn
Modeling
synaptic
connection
∑
Summer
Input Values
Попов К.
T
z
Threshold box
Multiplied
by weight
20
What are we modeling?
1. All or none (binary output)
2. Cumulative influence (summer)
3. Synaptic weight
Not modeling:
Refractory period (биол. период невозбудимости)
Axonal bifurcation (ветвление аксонов)
Time patterns
Попов К.
21
Threshold Trick
w11
x
w11
x11
...
...
...
xnn
x11
wnn
xnn
-1
=T
∑
Summer
Input Values
Попов К.
Multiplied
by weight
T
z
Threshold box
Getting rid of
threshold
22
Neural net scheme
1)
,
(0
X
1
w
1
X
⎲
⎲
...
1)
,
(0
X
n
T
w
n
X
adder
Михайлишин А.В.
threshold
function
(0
,1
)
Z
Neural net scheme
1)
,
(0
X
1
1
X
n
w
-1
LET
W0 = T
0
⎲
⎲
...
1)
,
(0
X
X
w
ith
w
e
d
a c oi n
l
p m o
re sig cti
n
fu
T
w
n
X
adder
Михайлишин А.В.
threshold
function
(0
,1
)
Z
Contents
Sigmoid function
Performance function
Gradient ascent
Gradient descent
The simplest neural net
More neurons per layer
Галкина
25
Sigmoid function
Кузьмин
26
Sigmoid function
Галкина
27
Performance function
Desired output
Галкина
Observed output
28
Gradient ascent
Find the maximum of performance function
Adjust w on each step, moving in the direction
of most rapid ascent:
Галкина
29
Gradient descent
Defferent performance function is used:
Moving in the direction of most rapid descent:
Gives the same result as gradient descent
Галкина
30
Simplest neuron net
One input, one output, two connected neurons
(left and right), ol = ir
Галкина
31
Simplest neuron net
Calculating the derivaties using chain rule:
Performance
function
derivative
Галкина
Sigmoid function derivative
32
Simplest neuron net
Derivatives consist of repeating terms that can
be computed once:
where
Галкина
33
Simplest neuron net
Now we can find how weights should change
on final layer...
...and on every other layer:
Галкина
34
More neurons per layer
Generalization for any number of neurons per
layer
Галкина
35
More neurons per layer
Weight change for final layer:
For other layers:
Галкина
36
Примеры
37
Pretty well recognition
Popov V.
38
Not well recognition
Popov V.
39
Примеры работы
нейронной сети
Булгакова
40
Примеры работы
нейронной сети
Булгакова
41
Рекуррентная
нейронная сеть
Часть выходных данных подается заново
на вход слоям нейронной сети
Эффективно когда
важен порядок.
Применяется в
Обработке текстов
Обработке видео
Струянский
42
Вопросы
43
Question for the
supervisor
What is the most frequent answer to any
question about neurobiology and why?
Мищенко Николай
44
Question for the
supervisor
What is the most frequent answer to any
question about neurobiology and why?
The answer is: «I don't know.»
Because there is a lot of unknowns in
neurobiology and we don't know how it
works in many cases.
Мищенко Николай
45
Questions
Why the number of computations in
large neural networks does not increase
exponentially?
What is the main idea of autocoding?
Questions
Why the number of computations in
large neural networks does not increase
exponentially?
(Because you can reuse a lot of computation u
already did.)
How
does the lecturer suggests to think
about neural nets?
(He suggest to think about like as a function
approximator.)
ВСЕМ БОЛЬШОЕ
СПАСИБО!
48
