Рассел С., Норвиг П. Искусственный интеллект. Современный подход (2-е изд., 2006) (1245267), страница 270
Текст из файла (страница 270)
Во время проверки проводилось голосование между тремя сетями с назначенными с помон!ью их весами для каждой из десяти цифр, а полученные оценки складывались для определения победителя. Частота ошибок при обработке проверочного набора составляла 0,7% Машина поддерживающих векторов (см. раздел 20.6) с 25000 поддерживающих векторов достигла частоты ошибок 1,1% Это — замечательное достижение, поскольку метод 5ЧМ, как и простой подход с использованием ближайших соседних точек, почти не потребовал размышлений или неоднократных экспериментов со стороны разработчика, но вместе с тем позволил сразу же приблизиться к производительности сетей 1.еХец на создание которых ушли годы интенсивных разработок. Разумеется, в машине поддерживающих векторов не используются данные о структуре задачи, поэтому она действовала бы с таким же успехом, если бы те же пикселы были представлены после применения к ним какой-то перестановки.
Ж Виртуальная машина поддерживающих векторов начинает работу с обычной машины БЧМ, а затем совершенствует ее с помощью метода, позволяющего воспользоваться данными о структуре задачи. В этом подходе не разрешается использовать произведения всех пар пикселов — вместо этого в основном применяются ядерные функции, сформированные с помощью пар ближайших пикселов.
В нем также была предусмотрена возможность дополнять обучающий набор преобразованными вариантами примеров, как и в проекте ) еНец Виртуальная машина 5ЧМ достигла наилучшего показателя частоты ошибок, зарегистрированного до настоящего времени, который равен 0,56% Согласование с формой — это метод из области машинного зрения, который используется для выравнивания соответствующих частей двух различных изображений объектов (см. главу 24). Идея этого метода состоит в том, что выбирается множество точек каждого из двух изображений, а затем для кахозой точки из первого изображения с помощью вычислений определяется, какая точка соответствует ей во втором изображении. После этого на основании полученных данных о выравнивании вычисляется преобразование между изображениями, которое позволяет определить значение критерия расстояния между этими изображениями.
Такой критерий расстояния является более обоснованным по сравнению с простым подсчетом количества различающихся пикселов, и, как оказалось, очень высокую производительность показывает алгоритм с тремя ближайшими соседними точками, в котором используется этот критерий расстояния. После обучения только на 20000 из 60000 цифр и с использованием 100 выборочных точек в расчете на каждое изображение, выделенных с помощью детектора края Кэнни, классификатор с согласованием формы достиг частоты ошибок при обработке проверочного набора, равной 0,63% По некоторым оценкам, люди допускают ошибки при решении задачи распознавания рукописных цифр с частотой примерно 0,2% Но этим данным не следует полностью доверять, поскольку отнюдь не проводилась такая исчерпывающая проверка способностей людей, как самих алгоритмов машинного обучения. На анало- 998 Часть ЪЧ.
Обучение гичном наборе данных, состоящем из цифр, полученных из почтовой службы США, частота ошибок, допущенных людьми, составляла примерно 2,5%. Цифры, приведенные ниже, представляют собой итоговые данные по частоте ошибок, производительности на этапе прогона, потребностям в памяти и продолжительности времени обучения лля семи описанных здесь алгоритмов. К этим данным добавлен еще один критерий — процентное количество цифр, которые должны быть отброшены, чтобы можно было достичь частоты ошибок 0,5%. Например, если при использовании алгоритма 83гМ разрешено отбрасывать 1,8% входных данных (т.е. передавать их кому-то другому, чтобы он сделал окончательное заключение), то частота ошибок на оставшихся 98,2% входных данных сокрагцается с 1,1% до 0,5%. Итоговые данные по частоте ошибок и некоторых других характеристиках семи методов, описанных в этом разделе, приведены в табл.
20.2. Таблица 20.2. Итоговые данные о семи методах распознавании рукописных цифр С тремя бли- С 300 )л)яе! Усиленная БУМ жайшими со- скрьггых (е)нег седиими точка- элементов ми Виртуальная Согласование БУМ формы 1,6 0,9 0,7 1,1 0,56 0,63 1О 2000 200 0,49 10 1,8 20.8. РЕЗЮМЕ Разработан широкий перечень статистических методов обучения, начиная от простого вычисления средних и заканчивая построением сложных моделей, таких как байесовские и нейронные сети. Эти методы находят широкое применение в компьютерной науке, техническом проектировании, нейробиологии, психологии и физике.
В данной главе представлены некоторые основные идеи из этой области и приведена часть математических выкладок. Основные темы, рассматриваемые в этой главе, перечислены ниже. ° В методах байесовского обучения задача обучения формулируется как один из видов вероятностного вывода, в котором наблюдения используются для обновления распределений априорных вероятностей по гипотезам. Такой подход представляет собой хороший способ реализации принципа бритвы Оккама, но быстро становится трудноосуществимым при возрастании сложности пространства гипотез. Частота ошибок 2,4 (проценты) Время выполне- 1000 ния (мс/цифра) Потребность в 12 памяти (Мбайт) Время обучение 0 (суток) Процент отверг- 8,! нугых примеров, позволявший достичь ошибки 0,5% 30 50 0,012 0,21 14 30 1,8 0,5 Глава 20. Статистические методы обучения 999 В обучении на основе максимальной апостериорной вероятности (Махппшп А Роаегюп' — МАР) выбирается единственная гипотеза, наиболее вероятная согласно имеющимся данным.
При этом все еще используется распределение априорных вероятностей гипотезы и сам этот метод часто является более легко осуществимым, чем полное байесовское обучение. В обучении с учетом максимального правдоподобия выбирается гипотеза, которая максимизирует правдоподобие данных; этот метод эквивалентен методу обучения МАР с равномерным распределением априорных вероятностей. В простейших случаях, таких как линейная регрессия и полностью наблюдаемые байесовские сети, решения с учетом максимального правдоподобия можно легко найти в замкнутой форме.
Особенно эффективным методом, который хорошо масштабируется, является наивное байесовское обучение. Если некоторые переменные скрыты, то решения с локальным максимальным правдоподобием можно найти с использованием алгоритма ЕМ. В число приложений соответствующего метода входит кластеризация с помощью смешанных гауссовых распределений, обучение байесовских сетей и скрытых марковских моделей. ° Определение в процессе обучения структур байесовских сетей представляет собой пример метола выбора модели. В этом методе обычно предусматривает- ся дискретный поиск в пространстве структур.
При этом необходимо каким- то образом обеспечить поиск компромисса между сложностью модели и сте- пенью ее соответствия данным. В моделях иа основе экземпляра распределение представлено с использованием коллекции обучающих экземпляров. Таким образом, количество параметров растет с увеличением размеров обучающего множества. В методах ближайшей соседней точки осуществляется поиск экземпляров, ближайших к рассматриваемой точке, а в ядерных методах формируется комбинация всех экземпляров, взвешенная по расстоянию. Нейронные сети позволяют определять в процессе обучения сложные нелинейные функции со многими параметрами. Изучение этих параметров может осуществляться с применением зашумленных данных, а сами нейронные сети используются в тысячах приложений.
Персептрон — это нейронная сеть с прямым распространением без скрытых элементов, которая способна представить только линейно разделимые функции. Если данные являются линейно разделимыми, то для обеспечения точного согласования с данными может использоваться простое правило обновления весов. ° Такие нейронные сети, как многослойные сети с прямым распространением, спо- собны представлять любые функции при наличии достаточного количества элементов. В алгоритме обратного распространения реализуется метод градиентного спуска в пространстве параметров для минимизации выходной ошибки.
Статистическое обучение продолжает оставаться очень активной областью исследования. Были достигнуты колоссальные успехи как в теории, так и в практике, и уровень знаний поднялся на такую высоту, что теперь существует возможность оп- 1000 Часть Ч1.
Обучение ределить в процессе обучения параметры почти любой модели, для которой осуще- ствим точный или приближенный вероятностный вывод. БИБЛИОГРАФИЧЕСКИЕ И ИСТОРИЧЕСКИЕ ЗАМЕТКИ В ранние годы развития искусственного интеллекта приложения статистических методов обучения были активной областью исследований [421), но отделились от основного направления искусственного интеллекта после того, как работы в этом направлении сосредоточились на символических методах. Тем не менее исследования статистических методов обучения продолжались в различных формах (часть которых явно относилась к вероятностным, а другая — нет) в таких областях, как распознавание образов [394] и информационный поиск [1347[. Возрождение всеобщего интереса к этой теме началось вскоре после появления моделей байесовских сетей в конце 1980-х годов; приблизительно в то же время начала формироваться статистическая научная трактовка процесса обучения нейронных сетей.
В конце 1990-х голов произошло заметное пробуждение интереса к машинному обучению, статистике и нейронным сетям и значительные усилия были сосредоточены на разработке методов создания больших вероятностных моделей на основе данных. Наивная байесовская модель представляет собой одну из самых старых и наиболее простых форм байесовской сети, которая была впервые описана в 1950-х годах. О том, каково происхождение этой модели, упоминалось в заметках в конце главы 13; частичное описание этой темы приведено в [402). Программа на основе усиленной формы наивного байесовского обучения стала победителем первого соревнования по интеллектуальному анализу данных на кубок КРР Сир [435). В [641] приведено превосходное введение в общую проблему обучения байесовской сети. Определение параметров байесовской сети с помощью распределений априорных вероятностей Дирихле для байесовских сетей рассматривалось в [1450).
Многие из этих идей были реализованы в программном пакете Вцйз [555[, который представляет собой очень мощное инструментальное средство для формулировки и обучения сложных вероятностных моделей. В первых алгоритмах для определения в процессе обучения структур байесовских сетей использовались проверки условной независимости [1191), [1193]. В [1452] разработан исчерпывающий подход и описан пакет Теггаг) для обучения байесовских сетей на основе аналогичных идей.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
