Лекция 6. Нейросетевые методы. перцептрон Розенблатта_ многослойный перцептрон (2015 Лекции (Сенько))

Лекция 6Нейросетевые методы,перцептрон Розенблатта, многослойный перцептронЛектор – Сенько Олег ВалентиновичКурс «Математические основы теории прогнозирования»4-й курс, III потокСенько Олег Валентинович ()МОТП, лекция 61 / 26Содержание лекции1Нейросетевые методы2перцептрон Розенблатта2многослойный перцептрон3метод обратного распространения ошибкиСенько Олег Валентинович ()МОТП, лекция 62 / 26Нейросетевые методыВ основе нейросетевых методов лежит попытка компьютерногомоделирования процессов обучения, используемых в живыхорганизмах. Когнитивные способности живых существ связаны сфункционированием сетей связанных между собой биологическихнейронов – клеток нервной системы.

Для моделированиябиологических нейросетей используются сети, узлами которыхявляются искусственные нейроны (т.е. математические моделинейронов), Можно выделить три типа искусственных нейронов:нейроны-рецепторы, внутренние нейроны и реагирующие нейроны.Каждый внутренний или реагирующий нейрон имеет множествовходных связей, по которым поступают сигналы от рецепторов илидругих внутренних нейронов.

Пример модели внутреннего илиреагирующего нейрона представлен на рисунке 1.Сенько Олег Валентинович ()МОТП, лекция 63 / 26Нейросетевые методыРис.1. Модель внутреннего или реагирующего нейрона.Представленный на рисунке 1 нейрон имеет r внешних связей, покоторым на него поступают входные сигналы u1 , .

. . , ur . Поступившиесигналы суммируются с весами w1 , . . . , wr . PНа выходе нейронавырабатывается сигнал Φ(z), где z = w0 + ri=1 wi ui , w0 - Pпараметрсдвига.Может быть использована также форма записи z = ri=0 wi ui ,где фиктивный «сигнал» u0 тождественно равен 1.Сенько Олег Валентинович ()МОТП, лекция 64 / 26Нейросетевые методыФункцию Φ(z) обычно называют активационной функцией. Могутиспользоваться различные виды активационных функций, включаяпороговую функцию, задаваемую с помощью пороговой величиныb: Φ(z) = 1 при z ≥ b, Φ(z) = 0 при z < b;- сигмоидная функция Φ(z) =константа;1,1+e−azгде a-вещественнаягиперболический тангенс;тождественное преобразование Φ(z) = z.Методы, основанные на использовании искусственных нейронов могутбыть использованы для решения самых разнообразных задачраспознавания.

При этом сигналы, поступающие на вход перцептрона,интерпретируются как входные признаки X1 , . . . , Xn .Сенько Олег Валентинович ()МОТП, лекция 65 / 26Перцептрон РозенблаттаПервой нейросетевой моделью стал перцептрон Розенблатта,предложенный в 1957 году. В данной модели используетсяединственный реагирующий нейрон. Модель, реализующая линейнуюразделяющую функцию в пространстве входных сигналов, может бытьиспользована для решении задач распознавания с двумя классами,помеченными метками 1 или -1.

В качестве активационной функциииспользуется пороговая функция: Φ(z) = 1 при z ≥ 0, Φ(z) = −1 приz < 0. Особенностью модели Розенблатта является очень простая, новместе с тем эффективная, процедура обучения, вычисляющаязначения весовых коэффициентов (w0 , . . . , wn ). Настройка параметровпроизводится по обучающим выборкам, совершенно аналогичных тем,которые используются для обучения статистических алгоритмов. Напервом этапе производится преобразование векторов сигналов(признаковых описаний) для объектов обучающей выборки. В наборисходных признаков добавляется тождественно равная 1 нулеваякомпонента.

Затем вектора описаний из класса K2 умножаются на -1.Вектора описаний из класса K1 не изменяютсяСенько Олег Валентинович ()МОТП, лекция 66 / 26Перцептрон РозенблаттаПроцедура обучения перцептрона. . Нулевое приближение вектора(0)(0)весовых коэффициентов (w0 , . . . , wn ) выбирается случайнымобразом Преобразованные описания объектов обучающей выборки Setпоследовательно подаются на вход перцептрона. В случае еслиописание x(k) , поданное на k-ом шаге классифицируется неправильно,то происходит коррекция по правилу w(k+1) = w(k) + x.

В случаеправильной классификации w(k+1) = w(k) . Отметим, что правильнойклассификации всегда соответствует выполнение равенства(w(k) , x(k) ) ≥ 0 , а неправильной (w(k) , x(k) ) < 0. Процедураповторяется до тех пор, пока не будет выполнено одно из следующихусловий:- достигается полное разделение объектов из классов K1 и K2 ;- повторение подряд заранее заданного числа итераций неприводит к улучшению разделения;- оказывается исчерпанным заранее заданный лимит итераций.Сенько Олег Валентинович ()МОТП, лекция 67 / 26Перцептрон Розенблатта. Многослойный перцептрон.Для описанной процедуры обучения cправедлива следующая теорема.Теорема.

В случае, если описания объектов обучающей выборкилинейно разделимы в пространстве признаковых описаний, топроцедура обучения перцептрона построит линейнуюгиперплоскость разделяющую объекты двух классов законечное число шагов.Отсутствие линейной разделимости двух классов приводит кбесконечному зацикливанию gроцедуры обучения перцептрона.Существенно более высокой аппроксимирующей способностьюобладают нейросетевые методы распознавания, задаваемыекомбинациями связанных между собой нейронов. Таким методомявляется Многослойный перцептрон.Сенько Олег Валентинович ()МОТП, лекция 68 / 26Многослойный перцептронВ методе Многослойный перцептрон сеть формируется из несколькихслоёв нейронов. В их число входит слой входных рецепторов,подающих сигналы на нейроны из внутренних слоёв. Слои внутреннихнейронов осуществляют преобразование сигналов.

Слой реагирующихнейронов производит окончательную классификацию объектов наосновании сигналов, поступающих от нейронов, принадлежащихвнутренним слоям.Обычно соблюдаются следующие правила формирования структурысети.Допускаются связи между только между нейронами,находящимися в соседних слоях.Связи между нейронами внутри одного слоя отсутствуют.Активационные функции для всех внутренних нейроновидентичны.Для решения задач распознавания с L классами K1 , . . . , KLиспользуется конфигурация с L реагирующими нейронами.Сенько Олег Валентинович ()МОТП, лекция 69 / 26Многослойный перцептронСхема многослойного перцептрона с двумя внутренними слоямипредставлена на рисунке 2.Отметим, что сигналы g1 , .

. . , gL , вычисляемые на выходереагирующих нейронов, интерпретируются как оценки за классыK1 , . . . , KL . Весовые коэффициенты w сопоставлены каждой изсвязей между нейронами из различных слоёв.Сенько Олег Валентинович ()МОТП, лекция 610 / 26Многослойный перцептронРассмотрим процедуру распознавания объектов с использованиеммногослойного перцептрона. Предположим, что конфигурациянейронной сети включает наряду со слоем рецепторов и слоемреагирующих нейронов также H внутренних слоёв искусственныхнейронов. Заданы также количества нейронов в каждом слое. Пусть n– число входных нейронов-рецепторов, r(h) - число нейронов ввнутреннем слое h.

На первом этапе вектор рецепторы формируют поинформации, поступающей из внешней среды, вектор входныхпеременных (сигналов) u01 , . . . , u0n . Отметим, что входные сигналыu11 , . . . , u0n могут интерпретироваться как признаки X1 , . . . , Xn в общейпостановке задачи распознавания.Предположим, что для i-го нейрона 1-го внутреннего слоя связь срецепторами осуществляется с помощью весовых коэффициентовw1i0 , . .

. , wni0 . Сумматор i-го нейрона Pпервого внутреннего слояi0вычисляет взвешенную сумму ξ = nt=0 wti0 u0t .Сенько Олег Валентинович ()МОТП, лекция 611 / 26Многослойный перцептронСигнал на выходе i-го нейрона первого внутреннего слоя вычисляетсяпо формуле u1i = Φ(ξ i0 ) . Аналогичным образом вычисляются сигналына выходе нейронов второго внутреннего слоя. Сигналы g1 , . . . , gLрассчитываются с помощью той же самой процедуры, котораяиспользуется при вычислении сигналов на выходе нейронов извнутренних слоёв. То есть при вычислении gi на первом шагесоответствующий сумматор вычисляет взвешенную суммуnXiHξ =wtiH uHt ,t=0iHw1iH , . . .

, wr(H)где- весовые коэффициенты, характеризующие связь i–го реагирующего нейрона с нейронами последнего внутреннего слояHH, uH1 , . . . , ur(H) - сигналы на выходе внутреннего слоя H. Сигнал навыходе i -го реагирующего нейрона вычисляется по формулеgi = Φ(ξ iH ). Очевидно, что вектор выходных сигналов являетсяфункцией вектора входных сигналов u0 (вектора признаков x) иматрицы весовых коэффициентов связей между нейронами.Сенько Олег Валентинович ()МОТП, лекция 612 / 26Аппроксимирующие способности многослойных перцептроновОдин реагирующий нейрон позволяет аппроксимировать области,являющиеся полупространствами, ограниченными гиперплоскостями.Нейронная сеть с одним внутренним слоем позволяет аппроксимировать произвольную выпуклую область в многомерномпризнаковом пространстве (открытую или закрытую).

Было доказанотакже, что МП с двумя внутренними слоями позволяетаппроксимировать произвольные области многомерного признаковогопространства. Аппроксимирующая способность способностьмногослойного перцептрона с различным числом внутренних слоёвпроиллюстрирована на рисунке 3. На рисунке области,соответствующие классам ω1 и ω2 разделяются с помощью простогонейрона, а также с помощью многослойных перцептронов с одним идвумя внутренними слоями.Сенько Олег Валентинович ()МОТП, лекция 613 / 26Аппроксимирующая способность многослойных перцептроновРис.3Сенько Олег Валентинович ()МОТП, лекция 614 / 26Метод обратного распространения ошибкиНаиболее распространённым способом обучения нейросетевыхалгоритмов является метод обратного распространения ошибки.Обозначим через α∗ = (α∗1 , .