Диссертация (785777), страница 16
Текст из файла (страница 16)
. . , N (r)Nj(p)Mjj = 1, . . . , N (p)Nkk = 1, . . . , N (q)(r;p)(p;q)РИС. 2.12. Нумерация входов/выходов нейронов и обозначения сигналов (xi;j и xj;k ),(r) (p)передаваемых по межнейронным связям — базисный уровень описания НС: Si , Sj иSk(q) — нейроны НС (i-й в r-м слое, j -й в p-м слое и k-й в q-м слое, соответственно); Ni(r) ,Nj(p) , Nk(q) — количество входов и Mi(r) , Mj(p) , Mk(q) — количество выходов в нейронахSi(r) , Sj(p) и Sk(q) , соответственно; x(i;jr;p) — сигнал, передаваемый от выхода i-го нейрона(p;q)из r -го слоя на вход j -го нейрона из p-го слоя; xj;k — сигнал, передаваемый от выходаj -гонейрона из p-го слоя на входнейрона из q -го слоя; g , h, l, m, n, s — номеравходов/выходов нейронов; NL — число слоев в НС; N (r) , N (p) , N (q) — число нейронов вслоях с номерамиk-гоr; p; q, соответственно2.2.4 Параметризация примитивов и образуемого ими нейрона1.
В НС-моделях традиционно принято в качестве параметров, варьируемых в процессеобучения сети, использовать веса межнейронных связей 29 . В отличие от этого, в рамках развиваемого подхода вся параметризация сосредоточена внутри элементов-примитивов, композиция которых составляет нейрон, связи здесь остаются непараметризованными и лишьпоказывают, куда передается тот или иной сигнал. Таким образом, нейрон представляет собой композицию параметризованных отображений-примитивов.
Этот вариант структурногоописания НС-моделей позволяет унифицировать структурное представление всех возможныхНС-моделей, что является важным фактором с точки зрения автоматизации процесса синтеза29Данный тезис представляет собой одно из краеугольных положений коннекционизма (от англ.connection, т. е. связь), доминирующего направления в нейроинформатике, в рамках которого варьируемымимогут быть только веса связей, внутренние параметры нейронов настройке не подлежат.80r, p, q ∈ {0, 1, .
. . , NL }1g1(r)Si1lh(r,p)x(i,h),(j,l)1(p)Sj1nm(p,q)x(j,m),(k,n)(r)1(q)Sks(q)NiMk(q)(p)(r)Mii = 1, . . . , N (r)Nj(p)Mjj = 1, . . . , N (p)Nkk = 1, . . . , N (q)(r;p)РИС. 2.13. Нумерация входов/выходов нейронов и обозначения сигналов (x(i;h);(j;l) и)x((p;qj;m);(k;n) ), передаваемых по межнейронным связям — расширенный уровень описания(r) (p)(q )НС: Si , Sj и Sk — нейроны НС (i-й в r -м слое, j -й в p-м слое и k -й в q -м слое,(r) (p) (q)(r)(p)(q)соответственно); Ni , Nj , Nk — количество входов и Mi , Mj , Mk — количество(r) (p)(q)(r;p)выходов в нейронах Si , Sj и Sk , соответственно; x(i;h);(j;l) — сигнал, передаваемый от)h-го выхода i-го нейрона из r-го слоя на l-й вход j -го нейрона из p-го слоя; x((p;qj;m);(k;n) —m-го выхода j -го нейрона из p-го слоя на n-й вход k-го нейронаиз q -го слоя; g , h, l, m, n, s — номера входов/выходов нейронов; NL — число слоев в НС;N (r) , N (p) , N (q) — число нейронов в слоях с номерами r; p; q, соответственносигнал, передаваемый отНС-моделей, рассматриваемого в разд.
2.2.6.Параметризованное представление нейрона как модуля-преобразователя n-мерного вход(in)(in)(out)(out)ного вектора x(in) = (x1 ; : : : ; xn ) в m-мерный выходной вектор x(out) = (x1 ; : : : ; xm )показано на рис. 2.17. Для отображений-примитивов, из которых состоит нейрон, такое представление дается на рис. 2.18, а для всего нейрона в целом как композиции отображений-примитивов — на рис. 2.19. Здесь приняты следующие обозначения.(p)Входные отображения нейрона Sj :p)(p) (w (p) ; x(r;p) ) — сигнал, выдаваемый входным отображением, связанным сu(;j= f;j;j i;j-млучом входной звезды j -го нейрона из p-го слоя НС;(p)f;j— входное отображение, связанное с -м лучом входной звезды j -го нейрона из p-гослоя НС;(p)) ; w(p) ; : : : ; w(p) ), — набор параметров входного отображения f (p) , связанноw;j = (w1(p;;j2;;j;jP;;j81(p)(r,p)x1,j(p)(r,p)f1,j (x1,j )(p)(r,p)fi,j (xi,j )(p)(r,p)(p)(r,p)ui,j{xi,j }un,j{ui,j }(p)(r,p)fi,j (xi,j )i = 1, 2, .
. . , n;(p)(r,p)xn,jp, r = 0, 1, . . . , NL(p)(r,p)xi,ju1,j(p)n = Njj = 1, 2, . . . , N (p)fn,j (xn,j )(a)(p)u1,jp = 0, 1, . . . , NL(p)(p)ui,j(p)(p)(p)(p)ϕj (u1,j , . . . , ui,j , . . . , un,j )(p)un,ji = 1, 2, . . . , n;{ui,j }(p)(p)(p)ϕj ({ui,j })vj(p)n = Njj = 1, 2, . . . , N (p)(b)РИС. 2.14. Упрощенное структурное представление для элементов нейрона: (a) — совокупность входных отображений; (b) — сжимающее отображение(p)го с -м лучом входной звезды j -го нейрона из p-го слоя НС; P = N;j ;(p) ) — набор параметров (элементарная структура, в частномwj(p) = (w1(p;j)); w2(p;j) ); : : : ; wQ;j(p)(p)случае — матрица) для всей совокупности лучей входной звезды нейрона Sj ; Q = Nj ;W (p) = (w1(p) ; w2(p) ; : : : ; wR(p)); R = N (p) — набор параметров (составная структура, в частномслучае — блочная матрица) входных звезд всех нейронов слоя L(p) .(p)Агрегирующее (сжимающее) отображение (входная звезда) нейрона Sj :vj(p) = '(jp) (~ (jp) ; u~j(p)) — сигнал, выдаваемый агрегирующим отображением j -го нейрона изp-го слоя НС;(p) ) — набор сигналов, выдаваемых входными отображениями, свяu~(jp) = (u(1p;j) ; u(2p;j) ; : : : ; uP;j(p)занными со всеми лучами входной звезды j -го нейрона из p-го слоя НС; P = Nj ;p)~ (jp) = ((1p;j) ; (2p;j) ; : : : ; (P;j) — набор параметров агрегирующего отображения j -го нейрона(p)из p-го слоя НС; P = Nj ;(p) = (~ (1p) ; ~ (2p) ; : : : ; ~ (Qp) ); Q = N (p) — набор параметров агрегирующих отображений всейсовокупности нейронов слоя L(p) (структура, в частном случае — матрица).82(p)(r,p)(p,q)(p)(r,p)(r,p){xj,k } = Θ({xi,j }) = E (m) (ψ(ϕ(f1,j (x1,j ), .
. . , fn,j (xn,j ))))(r,p){xi,j }(p)(r,p)(p){uµ,j }fµ,j (xi,j )83I(p)(p)(p)vjϕj ({uµ,j })IIr, p, q = 0, 1, . . . , NLIII(p,q)(p)(p)(p)yj(p)ψj (vj )E (m) (yj )IVV(p)µ = 1, 2, . . . , n;n = Njk = 1, 2, . . . , m;m = Nk(q){xj,k }VIi = 1, 2, . . . , N (r)j = 1, 2, . . . , N (p)РИС. 2.15. Структура нейрона: I — входной вектор; II — входные отображения; III — сжимающее отображение; IV — преобразователь;V — выходное отображение; VI — выходной вектор(p,q)(p)(r,p)(r,p){x(j,m),(k,n) } = Θ({x(i,h),(j,l) }) = E (m) (ψ(ϕ({fj,l (x(i,h),(j,l) )}))))(r,p){x(i,h),(j,l) }84I(p)(r,p)(p)fi,j ({x(i,h),(j,l) }){ui,j }IIr, p, q = 0, 1, . .
. , NL(p)(p)(p)ϕj ({ui,j })vjIIIi = 1, 2, . . . , n;k = 1, 2, . . . , m;(p,q)(p)(p)(p)ψj (vj )IVyj(p)E (m) (yj ){x(j,m),(k,n) }V(p)n = Nj(q)m = NkVIj = 1, 2, . . . , N (p)(p)l = 1, 2, . . . , NjРИС. 2.16. Структура нейрона: I — входной вектор; II — входные отображения; III — сжимающее отображение; IV — преобразователь;V — выходное отображение; VI — выходной векторΘ : Rn → Rm(in)x1(out)x1Θ(x(in) , ϑ̄)(in)xn(out)xmϑ̄ = (w̄, λ̄, ω̄)РИС. 2.17. Параметризованное представление нейрона как модуля-преобразователямерного входного вектора вn-m-мерный выходной векторВходные отображения(in)xi(in)fi (xi, w̄i )uifi : R → R, i = 1, .
. . , nw̄i = (w1,i , . . . , wNi ,i )Входная звездаu1ϕ(ū, λ̄)vunϕ : Rn → R, ū = (u1 , . . . , un )λ̄ = (λ1 , . . . , λM )Преобразовательvψ(v, ω̄)yψ:R→Rω̄ = ω1 , . . . , ωKВыходная звезда(out)yx1E (m) (y)E (m) : R → Rm(out)(out)xmxj= y, ∀j ∈ {j = 1, . . . , m}РИС. 2.18. Параметризованное представление отображений-примитивов, из которых состоит нейрон(p)Преобразователь (активационная функция) нейрона Sj :yj(p) = j(p) (~!j(p) ; v~j(p) ) — сигнал, выдаваемый активационной функцией j -го нейрона из p-гослоя НС;(p)(p) ) — набор параметров активационной функции j -го нейрона из!~ j = (!1(p;j) ; !2(p;j) ; : : : ; !P;jp-го слоя НС; P = N (p) ;(p) = (~!1(p) ; !~ 2(p); : : : ; ~ P(p) ) — набор параметров активационных функций всей совокупности нейронов слоя L(p) (структура, в частном случае — матрица); P = N (p) .(p)Выходное отображение (выходная звезда) нейрона Sj :fx(j;kp;q)g = E (m) (yj(p)) — совокупность из m выходных сигналов j -го нейрона из p-го слояНС, при этом всеm выходов совпадают между собой по величине;85x(out) = Θ(x(in) , ϑ̄), ϑ̄ = (w̄, λ̄, ω̄)(in)x(out) = Θ(x(in) , ϑ̄) = E (m) (ψ(ω̄, ϕ(λ̄, f1 (x1(in)x1f1 (·)u1fi (·)ui(in)xi(in)xnIfn (·)(in), w̄1 ), .
. . , fn (xn, w̄n ))))(out)x1ϕ(·)vψ(·)y(out)xjE (m) (y)(out)xmunIIIII(in)fi (·) = fi (xiIVVVI, w̄i ), i = 1, . . . , n; w̄i = (w1,i , . . . , wNi ,i )ϕ(·) = ϕ(ū, λ̄), ū = (u1 , . . . , un ), λ̄ = (λ1 , . . . , λM )ψ(·) = ψ(v, ω̄); ω̄ = ω1 , . . .
, ωK(out){xj(out)} = E (m) (y); j = 1, . . . , m; xj= y, ∀j ∈ {j = 1, . . . , m}РИС. 2.19. Параметризованное представление структуры нейрона: I — входной вектор; II— входные отображения; III — агрегирующее отображение; IV — преобразователь; V —выходное отображение; VI — выходной векторfx(j;kp;q)g — сигнал, который передается от j -го нейрона из p-го слоя к k-му нейрону из q-гослоя НС.2. После того, как указан способ формирования элементов сети (см.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
