Модели распознавания_ основанные на различных способах обучения. Часть 2 (2015 Лекции (Сенько))

4 Модели распознавания, основанные на различных способах обучения

Статистические методы распознавания нередко обеспечивали достаточно высокую точность в прикладных исследованиях. Однако в различных областях науки и практической деятельности возникали задачи диагностики и прогнозирования, которые могли быть сведены к задачам распознавания. При этом исследователям удавалось собрать обучающую выборку весьма ограниченного объёма. а число показателей, которые потенциально могли быть использованы оказывалось достаточно большим. Для решения таких задач стали предлагаться новые подходы, не содержащие предположений о лежащих в основе изучаемого процесса вероятностных распределений. Оказалось, что такие подходы часто имеют более высокую эффективность, чем статистические методы.

4.1 Метод Линейная машина

. Метод «Линейная машина» предназначен для решения задачи распознавания с классами . .

_{В процессе обучения классам} ставятся в соответствие линейные функции от переменных , являющиеся оценками за классы . То есть для произвольного вектора значений переменных

Для того, чтобы распознать объект , описание которого задаётся вектором . вычисляются значения функций в точке . Объект будет отнесён классу , если выполняется набор неравенств:

Таким образом алгоритм распознавания задаётся матрицей вещественных параметров

.

Обучения ведётся по выборке , где являются значениями дискретной прогнозируемой переменной, указывающей на номер класса, которому принадлежит соответствующий объект. Обучение состоит в поиске таких значений параметров из матрицы , при которых максимальное число объектов оказывается правильно распознанным. Обозначим через номер класса, которому принадлежит объект из обучающей выборки. Максимальная точность на соответствует выполнению максимального числа блоков неравенств:

Каждый из блоков соответствует одному из объектов выборки включает неравенство. Таким образом суммарное число неравенств составляет .

Поиск оптимальной матрицы коэффициентов производится с помощью релаксационного алгоритма, подробно описанного в книге [10].

Приведём графический пример алгоритма распознавания, построенного с помощью метода линейная машина. Имеется задача распознавания с классами 1, 2, 3 по признакам и

Рис. 1 Области, соответствующие отнесению распознаваемых объектов классам методом линейная машина, вычисляющим оценки за классы по формулам (1).

Предполагается, что с использованием метода ЛМ для каждого класса найдены линейные функции оценок:

для класса 1;

для класса 2; (1)

для класса 3.

Изобразим на двумерной диаграмме области, соответствующие отнесению классов.

Очевидно, что классу 1 соответствует область, для которой выполняются неравенства

и . Неравенство эквивалентны неравенству , задающему границу I. Неравенство эквивалентны неравенству , задающему границу II. Область, соответствующая классу 1, помечена красными квадратами. Область, не относящаяся классу 1 при выполнении неравенства .

Метод линейная машина подробно описан в книге [10].

4.2 Нейросетевые методы

4.2.1 Модель искусственного нейрона.

В основе нейросетевых методов лежит попытка компьютерного моделирования процессов обучения, используемых в живых организмах. Когнитивные способности живых существ связаны с функционированием сетей связанных между собой биологических нейронов – клеток нервной системы. Для моделирования биологических нейросетей используются сети, узлами которых являются искусственные нейроны (т.е. математические модели нейронов), Можно выделить три типа искусственных нейронов: нейроны-рецепторы, внутренние нейроны и реагирующие нейроны. Каждый внутренний или реагирующий нейрон имеет множество входных связей, по которым поступают сигналы от рецепторов или других внутренних нейронов. Пример модели внутреннего или реагирующего нейрона представлен на рисунке 1.

Представленный на рисунке 1 нейрон имеет внешних связей, по которым на него поступают входные сигналы . Поступившие сигналы суммируются с весами . На выходе нейрона вырабатывается сигнал , где , - параметр сдвига. Может быть использована также форма записи , где фиктивный «сигнал» тождественно равен 1.

Рис.1. Модель внутреннего или реагирующего нейрона.

Функцию обычно называют активационной функцией. Могут использоваться различные виды активационных функций, включая

1. пороговую функцию, задаваемую с помощью пороговой величины : ,

b) сигмоидная функция , где - вещественная константа;

с) гиперболический тангенс;

d) тождественное преобразование .

Первой нейросетевой моделью стал перцептрон Розенблатта, предложенный в 1957 году. В данной модели используется единственный реагирующий нейрон. Модель, реализующая линейную разделяющую функцию в пространстве входных сигналов, может быть использована для решении задач распознавания с двумя классами, помеченными метками 1 или -1. В качестве активационной функции используется пороговая функция:

.

Особенностью модели Розенблатта является очень простая, но вместе с тем эффективная, процедура обучения, вычисляющая значения весовых коэффициентов . Настройка параметров производится по обучающим выборкам, совершенно аналогичных тем, которые используются для обучения статистических алгоритмов.

На первом этапе производится преобразование векторов сигналов (признаковых описаний) для объектов обучающей выборки. В набор исходных признаков добавляется тождественно равная 1 нулевая компонента. Затем вектора описаний из класса умножаются на -1. Вектора описаний из класса не изменяются.

Нулевое приближение вектора весовых коэффициентов выбирается случайным образом. Преобразованные описания объектов обучающей выборки последовательно подаются на вход перцептрона. В случае если описание , поданное на шаге классифицируется неправильно, то происходит коррекция по правилу . В случае правильной классификации .

Отметим, что правильной классификации всегда соответствует выполнение равенства а неправильной классификации соответствует выполнение равенства . Процедура повторяется до тех пор, пока не будет выполнено одно из следующих условий:

- достигается полное разделение объектов из классов и ;

- повторение подряд заранее заданного числа итераций не приводит к улучшению разделения;

- оказывается исчерпанным заранее заданный лимит итераций. Для описанной процедуры справедлива следующая теорема.

Теорема. В случае, если описания объектов обучающей выборки линейно разделимы в пространстве признаковых описаний, то процедура обучения перцептрона построит линейную гиперплоскость разделяющую объекты двух классов за конечное число шагов.

Отсутствие линейной разделимости двух классов приводит к бесконечному зацикливанию процедуры обучения перцептрона.

Существенно более высокой аппроксимирующей способностью обладают нейросетевые методы распознавания, задаваемые комбинациями является связанных между собой нейронов. Таким методом является многослойный перцептрон.

4.2.2 Многослойный перцептрон.

В методе многослойный перцептрон сеть формируется из нескольких слоёв нейронов.

В их число входит слой входных рецепторов, подающих сигналы на нейроны из внутренних слоёв. Слои внутренних нейронов осуществляют преобразование сигналов. Слой реагирующих нейронов производит окончательную классификацию объектов на основании сигналов, поступающих от нейронов, принадлежащих внутренним слоям. Обычно соблюдаются следующие правила формирования структуры сети.

Допускаются связи между только между нейронами, находящимися в соседних слоях.

Связи между нейронами внутри одного слоя отсутствуют.

Активационные функции для всех внутренних нейронов идентичны и задаются сигмоидными функциями.

Для решения задач распознавания с классами используется конфигурация с реагирующими нейронами. Схема многослойного перцептрона с двумя внутренними слоями представлена на рисунке 3.

Рис. 3 Схема многослойного перцептрона с двумя внутренними слоями.

Отметим, что сигналы , вычисляемые на выходе реагирующих нейронов, интерпретируются как оценки за классы . Весовые коэффициенты сопоставлены каждой из связей между нейронами из различных слоёв. Рассмотрим процедуру распознавания объектов с использованием многослойного перцептрона. Предположим, что конфигурация нейронной сети включает наряду со слоем рецепторов и слоем реагирующих нейронов также внутренних слоёв искусственных нейронов. Заданы также количества нейронов в каждом слое. Пусть – число входных нейронов-рецепторов, - число нейронов в внутреннем слое .

На первом этапе вектор рецепторы формируют по информации, поступающей из внешней среды, вектор входных переменных (сигналов) . Отметим, что входные сигналы могут интерпретироваться как признаки в общей постановке задачи распознавания.

Предположим, что для нейрона с номером из первого внутреннего слоя связь с рецепторами осуществляется с помощью весовых коэффициентов . Сумматор нейрона первого внутреннего слоя вычисляет взвешенную сумму .

Сигнал на выходе нейрона первого внутреннего слоя вычисляется по формуле . Аналогичным образом вычисляются сигналы на выходе нейронов второго внутреннего слоя. Сигналы рассчитываются с помощью той же самой процедуры, которая используется при вычислении сигналов на выходе нейронов из внутренних слоёв. То есть при вычислении на первом шаге соответствующий сумматор вычисляет взвешенную сумму