ММО и поиск достоверных закономерностей в данных. Учебное пособие. Сенько (1185322), страница 6

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 6)

для класса 3.

Изобразим на двумерной диаграмме области, соответствующие отнесению классов.

Очевидно, что классу 1 соответствует область, для которой выполняются неравенства

и . Неравенство эквивалентны неравенству , задающему границу I. Неравенство эквивалентны неравенству , задающему границу II. Область, соответствующая классу 1, помечена красными квадратами. Область, не относящаяся классу 1 при выполнении неравенства .

Метод линейная машина подробно описан в книге [10].

4.2 Нейросетевые методы

4.2.1 Модель искусственного нейрона.

В основе нейросетевых методов лежит попытка компьютерного моделирования процессов обучения, используемых в живых организмах. Когнитивные способности живых существ связаны с функционированием сетей связанных между собой биологических нейронов – клеток нервной системы. Для моделирования биологических нейросетей используются сети, узлами которых являются искусственные нейроны (т.е. математические модели нейронов), Можно выделить три типа искусственных нейронов: нейроны-рецепторы, внутренние нейроны и реагирующие нейроны. Каждый внутренний или реагирующий нейрон имеет множество входных связей, по которым поступают сигналы от рецепторов или других внутренних нейронов. Пример модели внутреннего или реагирующего нейрона представлен на рисунке 1.

Представленный на рисунке 1 нейрон имеет внешних связей, по которым на него поступают входные сигналы . Поступившие сигналы суммируются с весами . На выходе нейрона вырабатывается сигнал , где , - параметр сдвига. Может быть использована также форма записи , где фиктивный «сигнал» тождественно равен 1.

Рис.1. Модель внутреннего или реагирующего нейрона.

Функцию обычно называют активационной функцией. Могут использоваться различные виды активационных функций, включая

1. пороговую функцию, задаваемую с помощью пороговой величины : ,

b) сигмоидная функция , где - вещественная константа;

с) гиперболический тангенс;

d) тождественное преобразование .

Первой нейросетевой моделью стал перцептрон Розенблатта, предложенный в 1957 году. В данной модели используется единственный реагирующий нейрон. Модель, реализующая линейную разделяющую функцию в пространстве входных сигналов, может быть использована для решении задач распознавания с двумя классами, помеченными метками 1 или -1. В качестве активационной функции используется пороговая функция:

.

Особенностью модели Розенблатта является очень простая, но вместе с тем эффективная, процедура обучения, вычисляющая значения весовых коэффициентов . Настройка параметров производится по обучающим выборкам, совершенно аналогичных тем, которые используются для обучения статистических алгоритмов.

На первом этапе производится преобразование векторов сигналов (признаковых описаний) для объектов обучающей выборки. В набор исходных признаков добавляется тождественно равная 1 нулевая компонента. Затем вектора описаний из класса умножаются на -1. Вектора описаний из класса не изменяются.

Нулевое приближение вектора весовых коэффициентов выбирается случайным образом. Преобразованные описания объектов обучающей выборки последовательно подаются на вход перцептрона. В случае если описание , поданное на шаге классифицируется неправильно, то происходит коррекция по правилу . В случае правильной классификации .

Отметим, что правильной классификации всегда соответствует выполнение равенства а неправильной классификации соответствует выполнение равенства . Процедура повторяется до тех пор, пока не будет выполнено одно из следующих условий:

- достигается полное разделение объектов из классов и ;

- повторение подряд заранее заданного числа итераций не приводит к улучшению разделения;

- оказывается исчерпанным заранее заданный лимит итераций. Для описанной процедуры справедлива следующая теорема.

Теорема. В случае, если описания объектов обучающей выборки линейно разделимы в пространстве признаковых описаний, то процедура обучения перцептрона построит линейную гиперплоскость разделяющую объекты двух классов за конечное число шагов.

Отсутствие линейной разделимости двух классов приводит к бесконечному зацикливанию процедуры обучения перцептрона.

Существенно более высокой аппроксимирующей способностью обладают нейросетевые методы распознавания, задаваемые комбинациями является связанных между собой нейронов. Таким методом является многослойный перцептрон.

4.2.2 Многослойный перцептрон.

В методе многослойный перцептрон сеть формируется из нескольких слоёв нейронов.

В их число входит слой входных рецепторов, подающих сигналы на нейроны из внутренних слоёв. Слои внутренних нейронов осуществляют преобразование сигналов. Слой реагирующих нейронов производит окончательную классификацию объектов на основании сигналов, поступающих от нейронов, принадлежащих внутренним слоям. Обычно соблюдаются следующие правила формирования структуры сети.

Допускаются связи между только между нейронами, находящимися в соседних слоях.

Связи между нейронами внутри одного слоя отсутствуют.

Активационные функции для всех внутренних нейронов идентичны и задаются сигмоидными функциями.

Для решения задач распознавания с классами используется конфигурация с реагирующими нейронами. Схема многослойного перцептрона с двумя внутренними слоями представлена на рисунке 3.

Рис. 3 Схема многослойного перцептрона с двумя внутренними слоями.

Отметим, что сигналы , вычисляемые на выходе реагирующих нейронов, интерпретируются как оценки за классы . Весовые коэффициенты сопоставлены каждой из связей между нейронами из различных слоёв. Рассмотрим процедуру распознавания объектов с использованием многослойного перцептрона. Предположим, что конфигурация нейронной сети включает наряду со слоем рецепторов и слоем реагирующих нейронов также внутренних слоёв искусственных нейронов. Заданы также количества нейронов в каждом слое. Пусть – число входных нейронов-рецепторов, - число нейронов в внутреннем слое .

На первом этапе вектор рецепторы формируют по информации, поступающей из внешней среды, вектор входных переменных (сигналов) . Отметим, что входные сигналы могут интерпретироваться как признаки в общей постановке задачи распознавания.

Предположим, что для нейрона с номером из первого внутреннего слоя связь с рецепторами осуществляется с помощью весовых коэффициентов . Сумматор нейрона первого внутреннего слоя вычисляет взвешенную сумму .

Сигнал на выходе нейрона первого внутреннего слоя вычисляется по формуле . Аналогичным образом вычисляются сигналы на выходе нейронов второго внутреннего слоя. Сигналы рассчитываются с помощью той же самой процедуры, которая используется при вычислении сигналов на выходе нейронов из внутренних слоёв. То есть при вычислении на первом шаге соответствующий сумматор вычисляет взвешенную сумму

,

где - весовые коэффициенты, характеризующие связь реагирующего нейрона с нейронами последнего внутреннего слоя , - сигналы на выходе внутреннего слоя . Сигнал на выходе реагирующего нейрона вычисляется по формуле . Очевидно, что вектор выходных сигналов является функцией вектора входных сигналов (вектора признаков ) и матрицы весовых коэффициентов связей между нейронами.

Аппроксимирующие способности многослойных перцептронов. Один реагирующий нейрон позволяет аппроксимировать области, являющиеся полупространствами, ограниченными гиперплоскостями. Нейронная сеть с одним внутренним слоем позволяет аппроксимировать произвольную выпуклую область в многомерном признаковом пространстве (открытую или закрытую).

Было доказано также, что МП с двумя внутренними слоями позволяет аппроксимировать произвольные области многомерного признакового пространства. Аппроксимирующая способность способность многослойного перцептрона с различным числом внутренних слоёв проиллюстрирована на рисунке 3.

Рис. 3 На рисунке проиллюстрирована аппроксимирующая способность нейронных сетей. с различным числом внутренних слоёв.

Области, соответствующие классам и разделяются с помощью простого нейрона, а также с помощью многослойных перцептронов с одним и двумя внутренними слоями.

Верхняя конфигурация иллюстрирует разделяющую способность отдельного искусственного нейрон, функционирующего в соответствии с моделью Розенблатта.

Ниже представлена конфигурация с одним внутренним слоем нейронов. Данная конфигурация позволяет выделять в многомерном пространстве признаков выпуклые области произвольного типа. Наконец, в нижней части рисунка иллюстрируется разделяющая способность многослойного перцептрона с двумя внутренним слоями. Данная конфигурация позволяет выделять в многомерном пространстве признаков области, которые могут быть получены из набора выпуклых областей с помощью операций объединеия и пересечения. Очевидно, что многослойный перцептрон обладает очень высокой аппроксимирующей способностью.

Характеристики

Список файлов книги