_учебник_ Журавлев Ю.И. Распознавание. Математические методы. Программная система. Практические применения (2005) (_учебник_ Журавлев Ю.И. Распознавание. Математические методы. Программная система. Практические применения (2005).doc), страница 5
Описание файла
Документ из архива "_учебник_ Журавлев Ю.И. Распознавание. Математические методы. Программная система. Практические применения (2005).doc", который расположен в категории "". Всё это находится в предмете "(ммо) методы машинного обучения" из 10 семестр (2 семестр магистратуры), которые можно найти в файловом архиве МГУ им. Ломоносова. Не смотря на прямую связь этого архива с МГУ им. Ломоносова, его также можно найти и в других разделах. .
Онлайн просмотр документа "_учебник_ Журавлев Ю.И. Распознавание. Математические методы. Программная система. Практические применения (2005)"
Текст 5 страницы из документа "_учебник_ Журавлев Ю.И. Распознавание. Математические методы. Программная система. Практические применения (2005)"
Рис. 3. Разделение двух классов комитетом из трех линейных функций
В работах /42, 43, 45/ доказано существование комитетов для непротиворечивых таблиц обучения, исследованы задачи построения минимальных комитетов, исследованы обобщения комитетов на нелинейные случаи.
Другим примером построения кусочно-линейных разделяющих поверхностей являются алгоритмы обобщенного портрета /11/.
С помощью алгоритмов кластерного анализа исходное пространство признаковых описаний делится на p «простых» непересекающихся областей таких, что классы линейно разделимы по объектам обучающей выборки для каждой из областей. Значение p заранее не известно. Для каждой области строится линейная разделяющая классы функция, максимально удаленная от классов. Классификация осуществляется в два этапа. Сначала определяется, какой области принадлежит распознаваемый объект 
. Затем для его классификации применяется соответствующая линейная функция.
Прямым обобщением линейных и кусочно-линейных разделяющих поверхностей являются полиномиальные, в частности, квадратичные поверхности. Разделяющие функции ищутся в виде полиномов степени не выше k , где k задается заранее или вычисляется одновременно с коэффициентами. Степень k полинома (1.8) определяется максимальной суммой степеней параметров 
в отдельных слагаемых (1.8)
(1.8)
Обозначив 
задача сводится к построению линейной разделяющей функции 
в спрямляющем пространстве размерности N относительно переменных 
.
1.2.3. Метод потенциальных функций.
Метод основан на аналогии с задачами электростатики. Рассмотрим случай двух классов. Предполагается, что каждый элемент обучающей выборки Si первого класса имеет положительный «заряд» +qi а элемент Sj второго класса - отрицательный заряд –qj . Объекты первого класса создают «потенциал» +
в каждой точке S пространства признаковых описаний, а объекты второго класса – потенциал - . Здесь 
является величиной потенциала, создаваемого в точке S единичным зарядом. Тогда значение потенциальной функции в точке S определяется как
.
При классификации некоторого объекта S вычисляется значение потенциальной функции 
. Классификация проводится согласно решающему правилу
В качестве основных требований к виду функций предъявляются следующие два:
1. 
;
2. 
при 
(т.е. монотонно убывает при 
).
Распространенными примерами выбора являются следующие:
1. 
, где σ - числовой параметр;
2. 
;
Таким образом, для классификации достаточно выбрать конкретный вид функции и задать неизвестные значения параметров 
.
Вычисление значений параметров 
при фиксированном σ (а следовательно и функции 
) осуществляется в процессе обучения согласно правилу коррекции (1.9) /2/. Пусть на некотором шаге имеется функция . Для классификации предъявляется некоторый объект Si обучающей выборки. Если результат классификации правильный, предъявляется для классификации следующий объект обучающей выборки. Если классификация является неправильной, осуществляется коррекция функции согласно правилу (1.9) .
(1.9)
Объекты обучающей выборки предъявляются, например, циклически или в случайном порядке. Процесс обучения продолжается до достижения безошибочного распознавания всех объектов обучающей выборки полученной функцией или «стабилизации» - достижения ситуации, когда среднее число ошибок перестает уменьшаться за заданное число итераций.
K2
Рис.4. Примеры возможной коррекции функции при условии 
, 
.
На рис.4 проиллюстрирована коррекция потенциальной функции (множество точек =0 изображено жирной линией) при предъявлении некоторого объекта из второго класса, неправильно классифицируемого данной функцией. Функция 
будет отличаться от практически лишь в окрестности Si (участки заметного отличия отмечены пунктирами). При повторном предъявлении Si потенциальная функция может правильно классифицировать объект (жирный пунктир) или опять неправильно. Во втором случае (тонкий пунктир), тем не менее, коррекция будет сделана «в нужную сторону» , 
/2, 19/.
1.2.4. Нейросетевые модели распознавания.
Данные алгоритмы являются попыткой моделирования способности человеческого мышления, в частности, способности обучаться и решать задачи распознавания по прецедентам. Они основаны на достижениях биологии и медицины - простейших моделях человеческого мозга, созданных в середине прошлого века. Биологический мозг рассматривается как множество элементарных элементов - нейронов, соединенных друг с другом многочисленными связями. Нейроны бывают трех типов: рецепторы (принимающие сигналы из внешней среды и передающие другим нейронам), внутренние нейроны (принимающие сигналы от других нейронов, преобразующие их и передающие другим нейронам) и реагирующие нейроны (принимающие сигналы от нейронов и вырабатывающие сигналы во внешнюю среду).
Рассмотрим простейшую и наиболее распространенную модель человеческого мозга, ориентированную на решение задач распознавания – искусственную многослойную нейронную сеть.
Элементарной ячейкой нейронной сети является модель искусственного нейрона (рис. 5).
Рис. 5. Модель искусственного нейрона
Каждый внутренний или реагирующий нейрон имеет множество входных связей (синапсов), по которым поступают сигналы от других внутренних нейронов или рецепторов, и одну выходящую связь (аксон). Каждая связь имеет некоторый «вес» 
. При поступлении на вход нейрона совокупности сигналов 
они «усиливаются» с соответствующими весами 
. Нейрон переходит в состояние, числовая оценка которого вычисляется как 
. Величина выходного сигнала вычисляется как 
, где 
- активационная функция. Примеры активационных функций приведены на рис. 6-9.
|
|
|
| Рис. 6. Функция единичного скачка | Рис. 7. Единичный скачок с линейным порогом |
|
|
|
| Рис. 8. Гиперболический тангенс f(x)=th(x) | Рис.9. Функция сигмоида f(x)=1/(1+exp(-ax)) |
Нейрон считается «возбужденным», если выходной сигнал отличен от нуля, а величина 
характеризует степень возбуждения. Вид функций и область их изменения отражают априорные представления о функционировании биологических нейронов: величина возбуждения зависит монотонно от состояния, ограничена снизу и сверху, и «сильно» меняется в небольшом интервале значений .
Наиболее простыми, распространенными и исследованными являются многослойные нейронные сети прямого действия. Общий вид подобной сети изображен на рис. 10. Сеть состоит из N слоев, каждые слой состоит из 
нейронов, каждый нейрон j-го уровня связан с каждым нейроном j+1 – го уровня. Фиктивный нулевой слой состоит из n входных нейронов, на каждый из которых подается значение некоторого признака . Результатами классификации являются выходные значения нейронов N -го слоя.
Распознаваемый объект S поступает на 0-й слой. Далее поступивший сигнал (признаковое описание) последовательно преобразуется по слоям согласно заданным фиксированным весам синаптических связей и выбранной активационной функции. Если 
есть значение j-го нейрона выходного слоя, то информационный вектор результатов классификации S вычисляется согласно (1.10)
(1.10)
Рис.10. Структурная схема нейронной классифицирующей сети прямого действия
Значения неизвестных весовых коэффициентов находятся в результате процесса обучения сети. Начальные значения весовых коэффициентов задаются случайно. Объекты обучения последовательно поступают на вход сети. Если предъявленный объект классифицируется правильно, коэффициенты остаются прежними и на вход сети поступает следующий объект. Если при классификации объекта происходит ошибка, весовые коэффициенты изменяются определенным образом. Для однослойной сети они меняются согласно простой итерационной формуле подобно используемой в методе потенциальных функций. Для многослойной сети используются специальные рекуррентные формулы пересчета весовых коэффициентов от последнего уровня до первого (метод «обратного распространения ошибки»). Обучение заканчивается, если изменение коэффициентов не приводит к дальнейшему уменьшению суммарного числа ошибок на обучающей выборке /57/.
1.2.5. Решающие деревья.
Методы распознавания, основанные на построении решающих деревьев, относятся к типу логических методов. В данном классе алгоритмов распознавание объекта осуществляется как прохождение по бинарному дереву из корня в некоторую висячую вершину. В каждой вершине вычисляется определенная логическая функция. В зависимости от полученного значения функции происходит переход далее по дереву в левую или правую вершину следующего уровня. Каждая висячая вершина связана с одним из классов, в который и относится распознаваемый объект, если путь по дереву заканчивается в данной вершине.
