ММО2 (2015 Учебное пособие ММО (Сенько))

4 Модели распознавания, основанные на различныхспособах обученияСтатистические методы распознавания нередкоточностьв прикладных исследованиях.обеспечивали достаточно высокуюОднако в различных областях науки ипрактической деятельности возникали задачи диагностики и прогнозирования, которыемогли быть сведенык задачам распознавания. При этом исследователям удавалосьсобрать обучающую выборку весьма ограниченного объёма. а число показателей, которыепотенциально могли быть использованы оказывалось достаточно большим. Для решениятаких задач стали предлагаться новые подходы, не содержащие предположений олежащих в основе изучаемого процесса вероятностных распределений. Оказалось, чтотакие подходы часто имеют более высокую эффективность, чем статистические методы.4.1 Метод Линейная машина.

Метод «Линейная машина» предназначен для решения задачи распознавания склассами K1 ,, KL . .В процессе обучения классамфункции f1 ,K1 ,K1 ,ставятся в соответствие линейные, KL, f L от переменных X 1 , , X n , являющиеся оценками за классы, K L . То есть для произвольного вектора значений переменных x  ( x1 ,, xn )f1 (x)  w01  w11 x1   w1n xnf L (x)  w0L  w1L x1   wnL xnДля того, чтобы распознать объектs , описание которого задаётся вектором x .вычисляются значения функций f1 ,, fLв точкеx . Объект sбудет отнесёнклассу K l , если выполняется набор неравенств: fl (x)  f j (x), j {1,, L} \ {l}Таким образом алгоритм распознавания задаётся матрицей вещественных параметров w01 w11W wL wL 0 1w1n L wn .Обучения ведётся по выборке St  {s1  ( y1 , x1 ),значениями дискретной, sm  ( ym , x m )} , где { y1 ,, ym } являютсяпрогнозируемой переменной, указывающей на номер класса,которому принадлежит соответствующий объект.

Обучение состоитв поиске такихзначений параметров из матрицы W , при которых максимальное число объектов Stоказывается правильно распознанным. Обозначим через r (i ) номер класса, которомупринадлежит объект siиз обучающей выборки.Максимальная точность наStсоответствует выполнению максимального числа блоков неравенств:f r (1) (x1 )  f j (x1 ), j {1,f r ( m ) (x m )  f j (x m ), j {1,Каждый из блоков соответствует, L} \ {r (1)}, L} \ {r (m)}неравенство.

Таким образом суммарное число неравенств составляетПоископтимальнойматрицывключает l  1одному из объектов выборкикоэффициентовW(l  1)m .производитсяспомощьюрелаксационного алгоритма, подробно описанного в книге [10].Приведём графический пример алгоритма распознавания, построенного с помощьюметода линейная машина. Имеется задача распознавания с классами 1, 2, 3 по признакамX1 и X 2Рис. 1 Области, соответствующие отнесению распознаваемых объектов классамK1 ,, K 3 методом линейная машина, вычисляющим оценки за классы по формулам (1).Предполагается, что с использованием метода ЛМ для каждого класса найдены линейныефункции оценок:f1 ( x1 , x2 )  4.0  2 x1  x2 для класса 1;f 2 ( x1 , x2 )  2.0  x1  3 x2 для класса 2;f3 ( x1 , x2 )  1.0  x1  2 x2(1)для класса 3.Изобразим на двумерной диаграмме области, соответствующие отнесению классов.Очевидно, что классу 1 соответствует область, для которой выполняются неравенстваf1 ( x1 , x2 )  f 2 ( x1 , x2 )эквивалентныи f1 ( x1 , x2 )  f 3 ( x1 , x2 ) .

Неравенство f1 ( x1 , x2 )  f 2 ( x1 , x2 )неравенству 6  x1  2 x2  0, задающему границу I. Неравенствоf1 ( x1 , x2 )  f3 ( x1 , x2 ) эквивалентны неравенству 3  x1  x2  0 , задающему границу II.Область, соответствующая классу 1, помечена красными квадратами. Область, неотносящаяся классу 1 при выполнении неравенстваf 2 ( x1 , x2 )  f3 ( x1 , x2 ) .Метод линейная машина подробно описан в книге [10].4.2 Нейросетевые методы4.2.1 Модель искусственного нейрона.В основе нейросетевых методов лежит попытка компьютерного моделирования процессовобучения, используемых в живых организмах. Когнитивные способности живых существсвязаны с функционированием сетей связанных между собой биологических нейронов –клеток нервной системы.

Для моделирования биологических нейросетей используютсясети, узлами которых являются искусственные нейроны (т.е. математические моделинейронов), Можно выделитьтри типа искусственных нейронов: нейроны-рецепторы,внутренние нейроны и реагирующие нейроны. Каждый внутренний или реагирующийнейрон имеет множество входных связей, по которым поступают сигналы от рецепторовили других внутренних нейронов. Пример модели внутреннего или реагирующегонейрона представлен на рисунке 1.Представленный на рисунке 1 нейрон имеетпоступают входные сигналыw1 ,u1 ,r внешних связей, по которым на него, ur .

Поступившие сигналы суммируются с весами, wr . На выходе нейрона вырабатывается сигнал  ( z ) , гдеrz  w0   wiui , w0i 1r- параметр сдвига. Может быть использована также форма записиz   wiui , гдеi 0фиктивный «сигнал» u0 тождественно равен 1.Рис.1. Модель внутреннего или реагирующего нейрона.Функцию ( z ) обычно называют активационной функцией. Могут использоватьсяразличные виды активационных функций, включаяa) пороговую функцию, задаваемую с помощью пороговой величиныb:1 при z  b,( z )  1приzbb) сигмоидная функция ( z ) 1, где a - вещественная константа;1  e azс) гиперболический тангенс;d) тождественное преобразование  ( z )  z .Первой нейросетевой моделью стал перцептрон Розенблатта, предложенный в 1957 году.В данной модели используется единственный реагирующий нейрон.Модель,реализующая линейную разделяющую функцию в пространстве входных сигналов, можетбыть использована для решении задач распознавания с двумя классами, помеченнымиметками 1 или -1.

В качестве активационной функции используется пороговая функция:1 при z  0 .( z )  1 при z  0Особенностью модели Розенблатта являетсяэффективная,очень простая, но вместе с темпроцедура обучения, вычисляющая значения весовых коэффициентовw0 , , wn . Настройка параметров производится по обучающим выборкам, совершенноаналогичных тем, которые используются для обучения статистических алгоритмов.На первом этапе производится преобразование векторов сигналов (признаковыхописаний) для объектов обучающей выборки.

В набор исходных признаков добавляетсятождественно равная 1 нулевая компонента. Затем вектора описаний из классаумножаются на-1. Вектора описаний из класса K1K2не изменяются.Нулевое приближение вектора весовых коэффициентов w00 ,, wn0 выбирается случайнымобразом. Преобразованные описания объектов обучающей выборки St последовательноподаются на вход перцептрона. В случае если описаниеx ( k ) , поданное на шаге kклассифицируетсякоррекциянеправильно,топроисходитпоправилуw ( k 1)  w ( k )  x( k ) .

В случае правильной классификации w ( k 1)  w ( k ) .Отметим, что правильной классификации всегда соответствует выполнение равенства(w ( k ) , x( k ) )  0 а неправильной классификации соответствуетвыполнение равенства(w ( k ) , x( k ) )  0 . Процедура повторяется до тех пор, пока не будет выполнено одно изследующих условий:- достигается полное разделение объектов из классов K1- повторение подряд заранееи K2 ;заданного числа итераций не приводит к улучшениюразделения;- оказывается исчерпанным заранее заданный лимит итераций.

Для описанной процедурысправедлива следующая теорема.Теорема. В случае, если описания объектов обучающей выборки линейно разделимы впространстве признаковых описаний, то процедура обучения перцептрона построитлинейную гиперплоскость разделяющую объекты двух классов за конечное число шагов.Отсутствиелинейнойразделимостидвухклассовприводиткбесконечномузацикливанию процедуры обучения перцептрона.Существенно более высокой аппроксимирующей способностью обладают нейросетевыеметоды распознавания, задаваемые комбинациями является связанных между собойнейронов. Таким методом является многослойный перцептрон.4.2.2 Многослойный перцептрон.В методе многослойный перцептрон сеть формируется из нескольких слоёв нейронов.В их число входит слой входных рецепторов, подающихсигналы нанейроны извнутренних слоёв.

Слои внутренних нейронов осуществляют преобразование сигналов.Слой реагирующих нейронов производит окончательную классификацию объектов наосновании сигналов, поступающих от нейронов, принадлежащих внутренним слоям.Обычно соблюдаются следующие правила формирования структуры сети.Допускаются связи между только между нейронами, находящимися в соседних слоях.Связи между нейронами внутри одного слоя отсутствуют.Активационные функции для всех внутренних нейронов идентичны и задаютсясигмоидными функциями.Для решения задач распознавания с L классами K1 ,, K L используется конфигурацияс L реагирующими нейронами.

Схема многослойного перцептрона с двумя внутреннимислоями представлена на рисунке 3.Рис. 3 Схема многослойного перцептрона с двумя внутренними слоями.Отметим, что сигналыg1 ,, g L , вычисляемыеинтерпретируются как оценки за классына выходе реагирующихK1 ,нейронов,, K L . Весовые коэффициенты wсопоставлены каждой из связей между нейронами из различных слоёв. Рассмотримпроцедуру распознавания объектов с использованием многослойного перцептрона.Предположим, что конфигурация нейронной сети включает наряду со слоем рецепторов ислоем реагирующих нейронов также H внутренних слоёв искусственных нейронов.Заданы также количества нейронов в каждом слое.

Пустьn – число входных нейронов-рецепторов, r ( h) - число нейронов в внутреннем слое h .На первом этапе векторрецепторыформируют по информации, поступающей из0внешней среды,вектор входных переменных (сигналов) u1 ,0входные сигналы u1 ,, un0 . Отметим, что, un0 могут интерпретироваться как признаки X 1 ,, X n в общейпостановке задачи распознавания.Предположим, чтодлянейрона с номером i из первого внутреннего слоя связь срецепторами осуществляетсяСумматорнейрона ii0с помощьювесовых коэффициентов w1 ,, wni 0 .первого внутреннего слоя вычисляет взвешенную суммуn i 0   wti 0ut0 .t 0Сигнал на выходенейрона i первого внутреннего слоя вычисляется по формулеui1   ( i 0 ) .