Рассел С., Норвиг П. Искусственный интеллект. Современный подход (2-е изд., 2006) (1245267), страница 236

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 236)

Осуществляя попытки выполнения действий и наблюлая за их результатами (например, проводя жесткое торможение на мокрой дороге), он может определить путем обучения, каковы результаты его действий (компонент 3). В дальнейшем, перестав получать чаевые от пассажиров, которые почувствовали себя полностью разбитыми во время утомительной поездки, агент может обучить полезный компонент своей обшей функции полезности (компонент 4), который будет подсказывать, что пассажиров надо беречь.

Тип обратной связи, доступной для обучения, обычно является наиболее важным фактором, определяющим характер задачи обучения, с которой сталкивается агент. В области машинного обучения, как правило, различаются три случая: контролируемое обучение, неконтролируемое обучение и обучение с подкреплением. В задаче Ъ. контролируемого обучения предусматривается изучение некоторой функции на примерах ее входных и выходных данных. Все приведенные выше случаи, касающиеся компонентов 1, 2 и 3, представляют собой примеры задач контролируемого обучения.

В случае, который относится к компоненту 1, агент изучает правило "условие — действие", касающееся торможения, т.е. функцию, которая связывает входные состояния с булевым выходом (тормозить или не тормозить). В случае компонента 2 агент изучает функцию, преобразующую входные изображения в булев выход (который показывает, содержит ли изображение автобус). В случае компонента 3 сведения о торможении выражаются в виде функции, которая связывает 866 Часть тг(.

Обучение состояния и действия по торможению, скажем, с длиной тормозного пути в футах. Обратите внимание на то, что в случаях! и 2 учитель указывает в примерах правильное выходное значение, а в случае 3 выходное значение должно быть получено непосредственно из результатов восприятия агента. В полностью наблюдаемых вариантах среды всегда соблюдается такое условие, что агент может наблюдать за результатами своих действий и поэтому использовать методы контролируемого обучения, чтобы научиться предсказывать эти результаты. В частично наблюдаемых вариантах среды задача обучения становится более сложной, поскольку непосредственные результаты могут оказаться недоступными для восприятия.

Задача 'а. неконтролируемого обучения касается выявления определенных закономерностей во входных данных в тех условиях, когда не задаются конкретные выходные значения. Например, агент-водитель такси может постепенно развить представление о "днях с хорошими условиями дорожного движения" и "днях с плохими условиями дорожного движения", даже не получая обозначенных соответствующими заголовками примеров тех или других дней.

Обучающийся агент, полностью остающийся без контроля, не может узнать в процессе обучения, что делать, поскольку он не имеет информации о том, каковым является определение понятия правильного действия или желательного состояния. Мы будем изучать проблему неконтролируемого обучения в основном в контексте систем формирования вероятностных рассуждений (глава 20). Задача Ъ. обучения с подкреплением, которая будет рассматриваться в главе 21, является наиболее обшей из этих трех категорий. Агент, проходящий обучение с подкреплением, не получает от учителя указаний о том, что делать, а должен обучаться на основе 'в.

подкрепления'. Например, отсутствие чаевых в конце поездки (или большой штраф за столкновение с идущим впереди автомобилем) будет служить для агента определенным показателем того, что его поведение нежелательно. Залача обучения с подкреплением обычно включает подзадачу обучения тому, как функционирует среда, в которой существует агент. В определении того, как должен действовать алгоритм обучения, важную роль играет также применяемое представление той информации, которая должна быть освоена в процессе обучения. Любой из компонентов агента можно представить с использованием любой из схем представления, описанных в этой книге. Выше уже было привелено несколько примеров: в программах ведения игр для представления функций полезности применяются полиномы с линейными весами; высказывания в пропозициональной логике и логике первого порядка применимы для представления всех компонентов логического агента; а вероятностные описания, такие как байесовские сети, применяются в компонентах агента, действующего на основе теории решений, которые предназначены для обеспечения вероятностною вывода.

Для всех этих средств представления разработаны эффективные алгоритмы обучения. В данной главе рассматриваются методы, относящиеся к пропозициональной логике, в главе 19 описаны методы для логики первого порядка, а в главе 20 — методы для байесовских и нейронных сетей (которые включают линейные полиномы в качестве частного случая). ' Термин подкрепление является синонимом термина вознаграждение, который использовался в гяавс 17. Глава 18.

Обучение на основе наблюдений 867 Последним важным аспектом проектирования обучающихся систем является наличие априорных знаний. Большинство исследований проблем обучения, проводимых в области искусственного интеллекта, компьютерных наук и психологии, касались того случая, в котором агент приступает к обучению, вообще не имея никаких знаний о том, что он пытается изучить. Он имеет доступ только к примерам, полученным на основе собственного опыта. Хотя этот случай представляет собой важный частный случай, его не следует рассматривать как общий случай. Основная часть человеческого обучения проходит в контексте, связанном с наличием большого объема фоновых знаний.

Некоторые психологи и лингвисты утверждают, что даже новорожденные младенцы демонстрируют наличие у них знаний о мире. Но, независимо от того, являются ли эти утверждения истинными, нет никакого сомнения в том, что априорные знания могут оказать огромную помощь в обучении. Физик, рассматривающий стопку фотографий, полученных с помощью пузырьковой камеры, может оказаться способным создать теорию, доказывающую существование новой частицы с определенной массой и зарядом, а если та же стопка фотографий будет показана без дополнительных пояснений искусствоведу, то он сможет лишь утверждать, будто этот "художник" относится к какой-то школе абстракционистов или экспрессионистов.

В главе 19 будет показано несколько способов, позволяюгцих упростить обучение с использованием существующих знании; кроме того, в ней показано, как можно компилировать знания для ускорения процесса принятия решений. В ~лаве 20 описаны способы применения априорных знаний для упрощения изучения вероятностных теорий. 1о.2. ИНДУКТИВНОЕ ОБУЧЕНИЕ Любой алгоритм детерминированного контролируемого обучения получает в качестве исходной информации правильные значения неизвестной функции, соответствующие конкретным входным паиным, и должен предпринять попытку восстановить эту неизвестную функцию или сформировать какую-то другую функцию, близкую к ней. Более формально можно определить, что ъ.

пример представляет собой пару (х, г(х) ), где х — входное, а Е(х) — выходное значение функции, применяемой к х. Основная задача 'ок чисто индуктивного логического вывода (или просто индукции) указана ниже. На основании совокупности примеров входных и выходных данных функции с получить функцию й, которая аппроксимирует д Функция )з называется оь гипотезой. С концептуальной точки зрения та причина, по которой задача обучения является трудной, состоит в том, что обычно нелегко определить, действительно ли какая-то конкретная функция )з является хорошей аппроксимацией для Е. Качественная гипотеза должна обеспечивать приемлемое ох обобщение, т.е.

должна правильно предсказывать появление еще не полученных примеров. В этом состоит фундаментальная ок проблема индукции. Эта проблема изучалась в течение многих столетий; в разделе 18.5 приведено ее частичное решение. На рис. 18.1 приведен известный пример: подгонка функции от одной переменной к некоторым точкам из набора данных. Примеры представляют собой Часть \Ч. Обучение 8б8 пары (х, Г(х) ), где и х и Г(х) — действительные числа. Выберем в качестве гв пространства гипотез и (множества гипотез, которые мы будем рассматривать в качестве потенциально приемлемых) множество полиномов, имеющих степень не больше )с, таких как Зхз+2, ххз-4хз и т.д.

На рис. 18.1, а показаны данные, которые соответствуют некоторой прямой (полиному первой степени). Эта прямая называется Ж совместимой с гипотезой, поскольку она согласуется со всеми данными. На рис. 18.1, б показан полипом более высокой степени, который также согласуется с этими данными. Данный случай может служить иллюстрацией к наиболее важной проблеме в индуктивном обучении: с)у как осуи!ествлять выбор среди многочисленных согласованных гипотез р Ответ состоит в использовании принципа бритвы Оккама', согласно которому предпочтение следует отдавать наиболее простой гипотезе, согласующейся с данными.

Характеристики

Список файлов книги