1 Различные задачи машинного обучения (1162169), страница 3

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 3)

необходимо заменить на соответствующиеноминальные либо числовые значенияПлан лекцииЛекция 1.РазличныезадачимашинногообученияВетров,КропотовОсновные задачимашинногообученияОсновныепроблемымашинногообученияМалый объемобучающейвыборкиНекорректностьвходных данныхПереобучениеЛикбез1 Основные задачи машинного обученияЗадачаЗадачаЗадачаЗадачаЗадачаЗадачаклассификациивосстановления регрессиикластеризации (обучения без учителя)идентификациипрогнозированияизвлечения знаний2 Основные проблемы машинного обученияМалый объем обучающей выборкиНекорректность входных данныхПереобучение3 ЛикбезОсновные понятия мат.

статистикиИдея машинного обученияЛекция 1.РазличныезадачимашинногообученияВетров,КропотовОсновные задачимашинногообученияОсновныепроблемымашинногообученияМалый объемобучающейвыборкиНекорректностьвходных данныхПереобучениеЛикбез• Задача машинного обучения заключается ввосстановлении зависимостей по конечным выборкамданных (прецедентов)• Пусть (X, t) = (xi , ti )ni=1 – обучающая выборка, гдеxi ∈ Rd – признаковое описание объекта, а t ∈ T –значение скрытой компоненты (классоваяпринадлежность (не по Марксу!), значение прогноза,номер кластера и т.д.)• При статистическом подходе к решению задачи МОпредполагается, что обучающая выборка являетсявыборкой из некоторой генеральной совокупности сплотностью p(x, t)• Требуется восстановить p(t|x), т.е. знание о скрытойкомпоненте объекта по измеренным признакамПроблема переобученияЛекция 1.РазличныезадачимашинногообученияВетров,КропотовПрямая минимизация невязки на обучающей выборке ведетк получению решающих правил, способных объяснить всечто угодно и найти закономерности даже там, где их нет.43Основные задачимашинногообучения210ОсновныепроблемымашинногообученияМалый объемобучающейвыборкиНекорректностьвходных данныхПереобучениеЛикбез−1−2−3−3−2−10123453210−1−2−3123456Способы оценки и увеличения обобщающейспособностиЛекция 1.РазличныезадачимашинногообученияВетров,КропотовОсновные задачимашинногообученияОсновныепроблемымашинногообученияМалый объемобучающейвыборкиНекорректностьвходных данныхПереобучениеЛикбез• На сегодняшний день единственным универсальнымспособом оценивания обобщающей способностиявляется кросс-валидация• Все попытки предложить что-нибудь отличное отметода проб и ошибок пока не привели кобщепризнанному решению.

Наиболее известны из нихследующие:• Структурная минимизация риска (В. Вапник,А. Червоненкис, 1974)• Минимизация длины описания (Дж. Риссанен, 1978)• Информационные критерии Акаике и Байеса-Шварца(Акаике, 1974, Шварц, 1978)• Максимизация обоснованности (МакКай, 1992)• Последний принцип позволяет надеяться наконструктивное решение задачи выбора моделиПримеры задач выбора моделиЛекция 1.РазличныезадачимашинногообученияВетров,КропотовОсновные задачимашинногообученияОсновныепроблемымашинногообученияМалый объемобучающейвыборкиНекорректностьвходных данныхПереобучениеЛикбез• Определение числа кластеров в данных• Выбор коэффициента регуляризации в задачемашинного обучения (например, коэффициентазатухания весов (weight decay) в нейронных сетях)• Установка степени полинома при интерполяциисплайнами• Выбор наилучшей ядровой функции в методе опорныхвекторов (SVM)• Определение количества ветвей в решающем дереве• и многое другое...План лекцииЛекция 1.РазличныезадачимашинногообученияВетров,КропотовОсновные задачимашинногообученияОсновныепроблемымашинногообученияЛикбезОсновныепонятия мат.статистики1 Основные задачи машинного обученияЗадачаЗадачаЗадачаЗадачаЗадачаЗадачаклассификациивосстановления регрессиикластеризации (обучения без учителя)идентификациипрогнозированияизвлечения знаний2 Основные проблемы машинного обученияМалый объем обучающей выборкиНекорректность входных данныхПереобучение3 ЛикбезОсновные понятия мат.

статистикиКраткое напоминание основныхвероятностных понятийЛекция 1.РазличныезадачимашинногообученияВетров,КропотовОсновные задачимашинногообученияОсновныепроблемымашинногообученияЛикбезОсновныепонятия мат.статистики• X : Ω → R – случайная величина• Вероятность попадания величины в интервал (a, b)равнаP(a ≤ X ≤ b) =bp(x)dx,aгде p(x) – плотность распределения X, ∞p(x) ≥ 0,p(x)dx = 1−∞• Если поведение случайной величины определяетсянекоторым параметром, возникают условныеплотности p(x|θ).

Если рассматривать уcловнуюплотность как функцию от параметраf (θ) = p(x|θ),то принято говорить о т.н. функции правдоподобияОсновная задача мат. статистикиЛекция 1.РазличныезадачимашинногообученияВетров,КропотовОсновные задачимашинногообученияОсновныепроблемымашинногообученияЛикбезОсновныепонятия мат.статистики• Распределение случайной величины X известно сточностью до параметра θ• Имеется выборка значений величины X, x = (x1 , . . .

, xn )• Требуется оценить значение θ• Метод максимального правдоподобияθ̂ML = arg max f (θ) = arg max p(x|θ) = arg maxnp(xi |θ)i=1• Можно показать, что ММП является ассимптотическиоптимальным при n → ∞• Увы, мир несовершенен. Величина n конечна и обычноне слишком велика• Необходима регуляризация методаПример некорректного использованияметода максимального правдоподобияЗадача восстановления смеси нормальных распределенийЛекция 1.РазличныезадачимашинногообученияВетров,КропотовОсновные задачимашинногообучения2• X ∼ w1 N (μ1 , σ12 ) + · · · + wm N (μm , σm)• Необходимо определитьθ = (m, μ1 , σ12 , . .

. , μm , σm2 , w1 , . . . , wm )• Применяем ММПp(x|θ) =p(xi |θ) =i=1Основныепроблемымашинногообученияmn ЛикбезОсновныепонятия мат.статистикиni=1 j=1xi − μj 2√exp −2σj22πσjwj• Решениеm̂ML = nμ̂j,ML = xj2σ̂j,ML=01ŵML,j =n→ maxθВыводыЛекция 1.РазличныезадачимашинногообученияВетров,КропотовОсновные задачимашинногообученияОсновныепроблемымашинногообученияЛикбезОсновныепонятия мат.статистики• Не все параметры можно настраивать в ходе обучения• Существуют специальные параметры (будем называтьих структурными), которые должны бытьзафиксированы до начала обучения• !! В данном случае величина m (количество компонентсмеси) является структурным параметром!!• Основной проблемой машинного обучения являетсяпроблема выбора структурных параметров,позволяющих избегать переобучения.

Характеристики

Список файлов лекций