ММО и поиск достоверных закономерностей в данных. Учебное пособие. Сенько (2015 Учебное пособие ММО (Сенько)), страница 6

Обучение состоитв поиске такихзначений параметров из матрицы W , при которых максимальное число объектов Stоказывается правильно распознанным. Обозначим через r (i ) номер класса, которомупринадлежит объект siиз обучающей выборки.Максимальная точность наStсоответствует выполнению максимального числа блоков неравенств:f r (1) (x1 )  f j (x1 ), j {1,f r ( m ) (x m )  f j (x m ), j {1,Каждый из блоков соответствует, L} \ {r (1)}, L} \ {r (m)}неравенство. Таким образом суммарное число неравенств составляетПоископтимальнойматрицывключает l  1одному из объектов выборкикоэффициентовW(l  1)m .производитсяспомощьюрелаксационного алгоритма, подробно описанного в книге [10].Приведём графический пример алгоритма распознавания, построенного с помощьюметода линейная машина.

Имеется задача распознавания с классами 1, 2, 3 по признакамX1 и X 2Рис. 1 Области, соответствующие отнесению распознаваемых объектов классамK1 ,, K 3 методом линейная машина, вычисляющим оценки за классы по формулам (1).Предполагается, что с использованием метода ЛМ для каждого класса найдены линейныефункции оценок:f1 ( x1 , x2 )  4.0  2 x1  x2 для класса 1;f 2 ( x1 , x2 )  2.0  x1  3 x2 для класса 2;f3 ( x1 , x2 )  1.0  x1  2 x2(1)для класса 3.Изобразим на двумерной диаграмме области, соответствующие отнесению классов.Очевидно, что классу 1 соответствует область, для которой выполняются неравенстваf1 ( x1 , x2 )  f 2 ( x1 , x2 )эквивалентныи f1 ( x1 , x2 )  f 3 ( x1 , x2 ) . Неравенство f1 ( x1 , x2 )  f 2 ( x1 , x2 )неравенству 6  x1  2 x2  0, задающему границу I.

Неравенствоf1 ( x1 , x2 )  f3 ( x1 , x2 ) эквивалентны неравенству 3  x1  x2  0 , задающему границу II.Область, соответствующая классу 1, помечена красными квадратами. Область, неотносящаяся классу 1 при выполнении неравенстваf 2 ( x1 , x2 )  f3 ( x1 , x2 ) .Метод линейная машина подробно описан в книге [10].4.2 Нейросетевые методы4.2.1 Модель искусственного нейрона.В основе нейросетевых методов лежит попытка компьютерного моделирования процессовобучения, используемых в живых организмах. Когнитивные способности живых существсвязаны с функционированием сетей связанных между собой биологических нейронов –клеток нервной системы. Для моделирования биологических нейросетей используютсясети, узлами которых являются искусственные нейроны (т.е. математические моделинейронов), Можно выделитьтри типа искусственных нейронов: нейроны-рецепторы,внутренние нейроны и реагирующие нейроны.

Каждый внутренний или реагирующийнейрон имеет множество входных связей, по которым поступают сигналы от рецепторовили других внутренних нейронов. Пример модели внутреннего или реагирующегонейрона представлен на рисунке 1.Представленный на рисунке 1 нейрон имеет rпоступают входные сигналыw1 ,u1 ,внешних связей, по которым на него, ur .

Поступившие сигналы суммируются с весами, wr . На выходе нейрона вырабатывается сигнал  ( z ) , гдеrz  w0   wiui , w0i 1r- параметр сдвига. Может быть использована также форма записиz   wiui , гдеi 0фиктивный «сигнал» u0 тождественно равен 1.Рис.1. Модель внутреннего или реагирующего нейрона.Функцию ( z ) обычно называют активационной функцией.

Могут использоватьсяразличные виды активационных функций, включаяa) пороговую функцию, задаваемую с помощью пороговой величиныb:1 при z  b,( z )  1приzbb) сигмоидная функция ( z ) 1, где a - вещественная константа;1  e azс) гиперболический тангенс;d) тождественное преобразование  ( z )  z .Первой нейросетевой моделью стал перцептрон Розенблатта, предложенный в 1957 году.В данной модели используется единственный реагирующий нейрон.Модель,реализующая линейную разделяющую функцию в пространстве входных сигналов, можетбыть использована для решении задач распознавания с двумя классами, помеченнымиметками 1 или -1. В качестве активационной функции используется пороговая функция:1 при z  0 .( z )  1 при z  0Особенностью модели Розенблатта являетсяэффективная,очень простая, но вместе с темпроцедура обучения, вычисляющая значения весовых коэффициентовw0 , , wn .

Настройка параметров производится по обучающим выборкам, совершенноаналогичных тем, которые используются для обучения статистических алгоритмов.На первом этапе производится преобразование векторов сигналов (признаковыхописаний) для объектов обучающей выборки. В набор исходных признаков добавляетсятождественно равная 1 нулевая компонента.

Затем вектора описаний из классаумножаются на-1. Вектора описаний из класса K1K2не изменяются.Нулевое приближение вектора весовых коэффициентов w00 ,, wn0 выбирается случайнымобразом. Преобразованные описания объектов обучающей выборки St последовательноподаются на вход перцептрона.

В случае если описаниеx ( k ) , поданное на шаге kклассифицируетсякоррекциянеправильно,топроисходитпоправилуw ( k 1)  w ( k )  x( k ) . В случае правильной классификации w ( k 1)  w ( k ) .Отметим, что правильной классификации всегда соответствует выполнение равенства(w ( k ) , x( k ) )  0 а неправильной классификации соответствуетвыполнение равенства(w ( k ) , x( k ) )  0 . Процедура повторяется до тех пор, пока не будет выполнено одно изследующих условий:- достигается полное разделение объектов из классов K1- повторение подряд заранееи K2 ;заданного числа итераций не приводит к улучшениюразделения;- оказывается исчерпанным заранее заданный лимит итераций.

Для описанной процедурысправедлива следующая теорема.Теорема. В случае, если описания объектов обучающей выборки линейно разделимы впространстве признаковых описаний, то процедура обучения перцептрона построитлинейную гиперплоскость разделяющую объекты двух классов за конечное число шагов.Отсутствиелинейнойразделимостидвухклассовприводиткбесконечномузацикливанию процедуры обучения перцептрона.Существенно более высокой аппроксимирующей способностью обладают нейросетевыеметоды распознавания, задаваемые комбинациями является связанных между собойнейронов. Таким методом является многослойный перцептрон.4.2.2 Многослойный перцептрон.В методе многослойный перцептрон сеть формируется из нескольких слоёв нейронов.В их число входит слой входных рецепторов, подающихсигналы нанейроны извнутренних слоёв.

Слои внутренних нейронов осуществляют преобразование сигналов.Слой реагирующих нейронов производит окончательную классификацию объектов наосновании сигналов, поступающих от нейронов, принадлежащих внутренним слоям.Обычно соблюдаются следующие правила формирования структуры сети.Допускаются связи между только между нейронами, находящимися в соседних слоях.Связи между нейронами внутри одного слоя отсутствуют.Активационные функции для всех внутренних нейронов идентичны и задаютсясигмоидными функциями.Для решения задач распознавания с L классами K1 ,, K L используется конфигурацияс L реагирующими нейронами. Схема многослойного перцептрона с двумя внутреннимислоями представлена на рисунке 3.Рис.

3 Схема многослойного перцептрона с двумя внутренними слоями.Отметим, что сигналыg1 ,, g L , вычисляемые на выходе реагирующих нейронов,интерпретируются как оценки за классыK1 ,, K L . Весовые коэффициенты wсопоставлены каждой из связей между нейронами из различных слоёв. Рассмотримпроцедуру распознавания объектов с использованием многослойного перцептрона.Предположим, что конфигурация нейронной сети включает наряду со слоем рецепторов ислоем реагирующих нейронов также H внутренних слоёв искусственных нейронов.Заданы также количества нейронов в каждом слое.

Пусть n – число входных нейроноврецепторов, r ( h) - число нейронов в внутреннем слое h .На первом этапе векторрецепторыформируют по информации, поступающей из0внешней среды,вектор входных переменных (сигналов) u1 ,0входные сигналы u1 ,, un0 .

Отметим, что, un0 могут интерпретироваться как признаки X 1 ,, X n в общейпостановке задачи распознавания.Предположим, чтодлянейрона с номером i из первого внутреннего слоя связь срецепторами осуществляетсяСумматорнейрона ii0с помощьювесовых коэффициентов w1 ,, wni 0 .первого внутреннего слоя вычисляет взвешенную суммуn i 0   wti 0ut0 .t 0Сигнал на выходенейрона i первого внутреннего слоя вычисляется по формулеui1   ( i 0 ) . Аналогичным образом вычисляются сигналы на выходе нейронов второговнутреннего слоя.

Сигналыg1 ,, gLрассчитываются с помощью той же самойпроцедуры, которая используется при вычислении сигналов на выходе нейронов извнутренних слоёв. То есть при вычисленииgiна первом шаге соответствующийсумматор вычисляет взвешенную суммуiHr(H )wt 0iHгде w1 ,, wriH( h )-iH Httu ,весовые коэффициенты, характеризующие связьнейрона i с нейронами последнего внутреннего слоя H ,сигналы на выходе внутреннего слоя H . Сигнал на выходеu1H ,реагирующего, urH( H )-реагирующего нейрона iвычисляется по формулеgi  ( iH ) . Очевидно, что вектор выходныхявляется функцией вектора входных сигналов (вектора признаков )сигналови матрицы весовыхкоэффициентов связей между нейронами.Аппроксимирующие способности многослойных перцептронов. Один реагирующийнейронпозволяетаппроксимироватьобласти,являющиесяполупространствами,ограниченными гиперплоскостями.

Нейронная сеть с одним внутренним слоем позволяетаппроксимировать произвольную выпуклую область в многомерном признаковомпространстве (открытую или закрытую).Было доказано также, чтоаппроксимироватьМП с двумя внутреннимислоямипозволяетпроизвольные области многомерного признакового пространства.Аппроксимирующая способность способность многослойного перцептрона с различнымчислом внутренних слоёв проиллюстрирована на рисунке 3.Рис. 3 На рисунке проиллюстрирована аппроксимирующая способность нейронных сетей.с различным числом внутренних слоёв.Области, соответствующие классам2 разделяются с помощью простого1 инейрона, а также с помощью многослойных перцептронов с одним и двумя внутреннимислоями.Верхняяконфигурацияиллюстрируетразделяющуюспособностьотдельногоискусственного нейрон, функционирующего в соответствии с моделью Розенблатта.Ниже представлена конфигурация с одним внутренним слоем нейронов.