Диссертация (785777), страница 15
Текст из файла (страница 15)
В предельном случае допускается длялюбого нейрона из слоя L(p) и любого нейрона из слоя L(q) установление связи любого типа— прямой, обратной (для этих случаевp 6= q ) или латеральной (в этом случае p = q ). Здесьпока по-прежнему считается, что используется слоистая организация типа «стопка слоев».5. Варианты структурной организации НС, показанные на рис. 2.6, используют одну и туже схему «стопка слоев» для упорядочения слоев сети.
Здесь на каждом временно̀м отрезке работают нейроны лишь одного слоя. Остальные либо уже отработали, либо ждут своей73(0)L(1)(0)(0)L1L(2)(0)L1L2L(3)L(1)L(4)L2L(2)L(3)L(4)L(5)L(5)L(6)L(6)L(7)L(7)(a)(b)РИС. 2.7. Пример структурной организации слоистой нейронной сети с параллелизмом науровне слоев: (a) — НС прямого распространения; (b) — НС с обратными связямиочереди. Это касается как сетей прямого распространения, так и сетей с обратными связями.Следующий вариант позволяет уйти от схемы «стопка слоев» и перейти к более сложнымструктурам. В качестве примера, иллюстрирующего структуры подобного рода, на рис. 2.7показаны два варианта структур НС с параллелизмом в них на уровне слоев 28 .Очевидно, что как для схем, показанных на рис. 2.6, так и для схем, изображенных нарис.
2.7, чтобы нейрон из некоторого p-го слоя сработал, он должен получить значения всехсвоих входов, до этого момента он «ждет». Возможности распараллеливания срабатываниянейронов определяются тем же самым условием: все нейроны, у которых к данному моментувремени сформирован полный комплект входов, могут обрабатываться («срабатывать») независимо друг от друга в произвольном порядке или параллельно, если есть такая техническаявозможность.Логика срабатывания нейронов в НС (т. е.
последовательность и условия срабатывания),организованной по схеме «стопка слоев», обеспечивает отсутствие конфликтов между ними.Если же в НС вводится параллелизм на уровне слоев, для обеспечения такой бесконфликтности в логику срабатывания нейронов сети уже требуется вводить дополнительные правиласинхронизации.А именно, нейрон может сработать, как только он будет готов к срабатыванию, а он будетготов, как только для него будут получены значения всех входов. Как только нейрон будут28При отказе от схемы «стопка слоев» часть слоев в НС могут работать параллельно, т. е.
одновременнодруг с другом, если имеется такая техническая возможность.74готов к срабатыванию, его надо запускать сразу же, как только для этого поялляется возможность, так как его выходы требуются для обеспечения готовности к срабатыванию другихнейронов, следующих за данным в тех причинно-следственных цепочках, в которых задействован данный нейрон.Для данной конкретной НС можно указать (сформировать) совокупность причинно-следственных цепочек, которые обеспечивают возможность контролировать условия срабатыванияразличных нейронов с целью предотвращения конфликтов между ними.Для слоистых сетей прямого распространения со структурами, показанными на рис. 2.6,причинно-следственные цепочки будут иметь строго линейную структуру, без ветвлений ициклов.
Введение структур с параллелизмом на уровне слоев сети типа показанных на рис. 2.7,в которых могут присутствовать как «перескоки» вперед, так и обратные связи, вводит впричинно-следственные цепочки нелинейность (древовидные структуры и циклы).Причинно-следственная цепочка должна показывать, от каких нейронов получает сигналыданный анализируемый нейрон, т. е. какие нейроны-предшественники должны сработать, чтобы данный нейрон получил полный комплект значений входов (необходимое условие готовности к срабатыванию данного нейрона) — это причинная часть цепочки, кроме того, указывается, каким нейронам будет передан выход данного «текущего нейрона» — это следственнаячасть цепочки.6.
Во всех вариантах структурной организации НС содержались только прямые и обратныесвязи, т. е. такие связи между парами нейронов, в которых нейроны, входящие в эту пару,принадлежат к разным слоям.Третий вид связей, возможных между нейронами в НС, это латеральные связи, в которых оба нейрона, между которыми установлена связь, принадлежат одному и тому же слою.Одним из примеров НС с латеральными связями является рекуррентный мультиперсептронRMLP (Recurrent MultiLayer Perceptron) [83, 84].2.2.2 Нейроны как элементы, из которых образована НС1. Совокупность (множество) L всех элементов (нейронов), входящих в НС, разделяетсяна подмножества (слои):L(0) ; L(1) ; : : : ; L(p) ; : : : ; L(NL ) ;75(2.7)или, в более краткой записи,L(p) ; p = 0; 1; : : : ; NL ;p; q; r 2 f0; 1; : : : ; NL g;L(p) ; L(q) ; L(r) ;где(2.8)NL — число слоев, на которые делится совокупность элементов НС; p; q; r — индексы,используемые для нумерации произвольного («текущего») слоя НС.В перечне (2.7) L(0) — это входной (нулевой) слой, назначение которого состоит в «раздаче» входных данных по элементам-нейронам, осуществляющим первичную обработку данных.
Слои L(1) ; : : : ; L(NL ) — обрабатывающие, совокупность их обеспечивает переработку входов НС в ее выходы.2. Пусть в НС имеется NL слоев L(p) ; p = 0; 1; : : : ; NL .(p)(p)Слой L(p) имеет в своем составе NL элементов-нейронов Sj , т. е.L(p) = fSj(p) g; j = 1; : : : ; NL(p) :(2.9)(p)(p)(p;q)(p)(p;q)Элемент Sj имеет Nj входов xi;j и Mj выходов xj;k .(p)Связи элемента Sj с другими элементами сети можно представить как множество корте(p)жей, показывающих куда передаются выходы элемента Sj .3.
Итак, отдельный нейрон, как модуль НС (рис. 2.8) — это отображение n-мерного вход(in)(in)(out)(out)ного вектора x(in) = (x1 ; : : : ; xn ) в m-мерный выходной вектор x(out) = (x1 ; : : : ; xm ),т. е. x(out) = (x(in) ).(in)(out)x1x1Θ(x(in) )(in)xn(out)xmΘ : Rn → RmРИС. 2.8. Нейрон как модуль-преобразовательn-мерноговходного вектора вm-мерныйвыходной векторОтображение формируется как композиция следующих отображений-примитивов (рис. 2.9):(in)1) набор входных отображений fi (xi ):fi : R ! R; ui = fi (x(iin) ); i = 1; : : : ; n;76(2.10)Входные отображения(in)xi(in)fi (xiui)fi : R → Ri = 1, .
. . , nВходная звездаu1Ψ(u1 , . . . , un )vΨ : Rn → RunПреобразовательvyϕ(v)ϕ:R→RВыходная звезда(out)yx1E (m) : R → RmE (m) (y)(out)xmРИС. 2.9. Отображения-примитивы, из которых состоит нейрон2) сжимающее отображение («входная звезда»)'(u1 ; : : : ; un):' : Rn ! R; v = '(u1 ; : : : ; un);3) преобразователь(v ):: R ! R; y = (v );4) выходное отображение («выходная звезда»)(2.11)(2.12)E (m) :E (m) : R ! Rm ; E (m) (y ) = fx(jout) g; j = 1; : : : ; mx(jout) = y; 8j 2 fj = 1; : : : ; mg(2.13)Соотношения (2.13) интерпретируются следующим образом: отображение E (m) (y ) порождает(out)в качестве результата m-элементное упорядоченное множество fxj g, каждый из элементов(out) = y .которого принимает значение xjОтображение формируется как композиция отображений ff g, , ' и E (m) (рис.
2.10):ix(out) = (x(in) ) = E (m) ( ('(f1(in) (x(1in) ); : : : ; fn(in) (x(nin) )))):(2.14)Взаимодействие отображений-примитивов, образующих нейрон, показано на рис. 2.11.77(in)x(out) = Θ(x(in) ) = E (m) (ψ(ϕ(f1 (x1(in)x1(in)f1 (x1 )(in)xi(in)xn(in)fi (xi )(in)fn (xn)I(in)), . . . , fn (xn))))(out)x1u1uivϕ(u1 , . . . , un )ψ(v)y(out)xjE (m) (y)(out)xmunIIIIIIVVVIРИС.
2.10. Структура нейрона: I — входной вектор; II — входные отображения; III —агрегирующее отображение; IV — преобразователь; V — выходное отображение; VI —выходной вектор(in)x(out) = Θ(x(in) ) = E (m) (ψ(ϕ(f1 (x1(in)Ix(in) = (x1IIu1 = f1 (x1III(in), . . . , xi(in)(in)), . . . , fn (xn))))(in), . . . , xn)(in)), . . . , un = fn (xn)v = ϕ(u1 , . . . , un )IVy = ψ(v)Vx(out) = E (m) (y)(out)VI x(out) = (x1(out) , . . . , xj(out) , . . .
, xm)РИС. 2.11. Последовательность преобразований (отображений-примитивов), реализуемыхнейроном: I — входной вектор; II — входные отображения; III — агрегирующее отображение; IV — преобразователь (активационная функция); V — выходное отображение; VI —выходной вектор2.2.3 Структурная организация нейрона(p)1. Отдельный элемент-нейрон Sj нейросетевой структуры (т.
е. j -й нейрон из p-го слоя)представляет собой упорядоченную пару видаSj(p) = h(jp) ; Rj(p) i;78(2.15)(jp) — преобразование входного вектора размерности Nj(p) в выходной вектор размерно(p) (p)(p)сти Mj ; Rj — связи выходов элемента Sj с другими нейронами рассматриваемой НС (сгденейронами из других слоев — прямые и обратные связи; с нейронами из того же самого слоя— латеральные связи).(p) (r;p)Преобразование j (xi;j ) представляет собой композицию примитивов, из которых состоит нейрон:(r;p)(x(r;p) ))));(jp) (x(i;jr;p) ) = ( ('(fi;ji;jСвязи(2.16)Rj(p) нейрона Sj(p) — это множество упорядоченных пар, показывающих, куда идут вы-ходы данного нейрона:Rj(p) = fhq; kig; q 2 f1; : : : ; NL g; k 2 f1; : : : ; NLq g:(2.17)Входы/выходы нейронов описываются следующим образом.В варианте с максимальной детализацией описания (расширенный уровень описания НС),который обеспечивает возможность представления любой НС-структуры, используется обо(r;p)(r)значение вида x(i;l);(j;m) .
Оно идентифицирует сигнал, передаваемый от нейрона Si (i-й ней(p)рон из r -го слоя) к Sj (j -й нейрон из p-го слоя), причем выходы i-го нейрона в r -м слое ивходы j -го нейрона p-го слоя перенумерованы; согласно их нумерации, l — порядковый номер(r )(p)выхода элемента Si , а m — порядковый номер входа элемента Sj . Такое подробное представление требуется в случаях, если важен порядок следования входных/выходных величин,т. е. когда набор этих величин интерпретируется как вектор. Например, такого рода представление используется в сжимающем отображении RBF-нейрона, реализующем вычислениерасстояния между двумя векторами.В варианте, когда полная детализация связей нейрона не требуется (это имеет место, когдарезультат «сжатия»' :Rn ! R не зависит от порядка следования входных компонент),можно использовать более простое обозначение для входных/выходных сигналов нейрона,(r;p)которое имеет вид xi;j .
В таком варианте просто указывается, что связь идет от i-го нейронаr-го слоя к j -му нейрону p-го слоя, без указания порядковых номеров входных/выходныхкомпонент.Систему нумерации входов/выходов нейронов в НС, а также межнейронных связей иллюстрируют рис. 2.12 для базисного уровня описания НС и рис. 2.13 — для расширенногоуровня.79r, p, q ∈ {0, 1, . . . , NL }1g1(r)Si1lh(r,p)xi,j1(p)Sj1nm(p,q)xj,k1(q)Sk(r)s(q)NiMk(q)(p)(r)Mii = 1, .
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
