ROC-анализ. Цифровые методы диагностики и прогнозирования систем (2015 Лекции (Сенько)), страница 2

И

(2)

соответственно. То есть функционал является произведением плотностей вероятности в точках, соответствующим объектам обучающей выборки из класса , функционал является произведением плотностей вероятности в точках, соответствующим объектам обучающей выборки из класса .

Поскольку натуральный логарифм является монотонной функцией аргумента , то задача максимизации эквивалентна задаче максимизации . Отметим, что

, (3)

где - число объектов из класса в выборке . Из формулы (3) следует, что задача максимизации сводится к задаче минимизации . Необходимым условием минимума является выполнение равенства , что эквивалентно выполнение равенства

. (4)

Из равенства (4) следует, что . То есть применение ММП приводит к тривиальному выводу о равенстве параметра среднему значению признака по всем объектам обучающей выборки из класса . Очевидно, что поиск оптимального значения параметра с помощью ММП совершенно аналогичен поиску оптимального значения параметра и приводит к одинаковому результату.

В общем случае нам требуется найти параметры совместного распределения переменных . Данная задача может быть решена с помощью максимизации функционал правдоподобия

, (5)

который является произведением плотностей вероятностей в точках, соответствующих объектам обучающей выборки . Метод ММП является одним из важнейших инструментов настройки алгоритмов распознавания или регрессионных моделей в математической статистике. Однако использованием ММП требует знания вида вероятностного распределения. На практике чаще используется метод минимизации эмпирического риска, который требует знания только общего вида алгоритма прогнозирования.

Метод минимизации эмпмрмческого риска (ММЭР). Основным способом поиска закономерностей является поиск некотором априори заданном семействе алгоритмов прогнозирования алгоритма, наилучшим образом аппроксимирующего связь переменных из набора с переменной на обучающей выборке, где - область возможных значений векторов переменных , - область возможных значений переменной . Отметим, что чаще всего алгоритм задаётся с помощью прогнозирующей функции.

Пусть - величина “потерь”, произошедших в результате использования в качестве прогноза величины . Одним из способов обучения является минимизация на обучающей выборке функционала эмпирического риска

Приведём примеры конкретного вида функции потерь . В задачах регрессии чаще всего используется квадрат ошибки прогноза . Также может быть использован модуль ошибки .

В случае задачи распознавания функция потерь может быть равной 0 при правильной классификации и 1 при ошибочной. При этом функционал эмпирического риска равен числу ошибочных классификаций.

Следует отметить тесную связь между ММП и ММЭР. Данная связь буде проанализирована далее при рассмотрении методов регрессионного анализа.

Точность алгоритма прогнозирования на всевозможных новых не использованных для обучения объектах, которые возникают в результате процесса, соответствующего рассматриваемой задаче прогнозирования принято называть обобщающей способностью. Иными словами обобщающую способность алгоритма прогнозирования можно определить как точность на всей генеральной совокупности. Мерой обобщающей способности служит математическое ожидание потерь по генеральной совокупности - ._. При решении задач прогнозирования основной целью является достижение наилучшей обобщающей способности, при которой математическое ожидание потерь минимально.

1.5 Эффект переобучения.

Расширение модели , увеличение её сложности всегда приводит к повышению точности аппроксимации на обучающей выборке. Однако повышение точности на обучающей выборке, связанное с увеличением сложности модели, часто не ведёт к увеличению обобщающей способности. Более того, обобщающая способность может даже снижаться. Различие между точностью на обучающей выборке и обобщающей способностью при этом возрастает. Данный эффект называется эффектом переобучения.

Рис. 1.4

На левой части показано, что использование кусочно-линейной модели (красная линия)позволяет значительно лучше аппроксимировать зависимость на обучающей выборке , чем простая линейная регрессия (тёмно-синяя прямая). Однако оказывается (правый слайд), что точность аппроксимации новой контрольной выборки , взятой из той же самой генеральной совокупности, для простой линейной регрессии значительно лучше, чем для кусочно-линейной.

Рис. 1.5

На левой части показано, что использование кусочно-линейной границы (красная линия)позволяет значительно лучше разделить объекты класса K1

и класса K2 обучающей выборке , чем простая линейная граница (тёмно-синяя прямая). Однако оказывается (правый слайд), что точность на новой контрольной выборки , взятой из той же самой генеральной совокупности, для простой линейной границы значительно лучше, чем для кусочно-линейной

1.5 Методы оценивания обобщающей способности.

Обобщающая способность алгоритма прогнозирования на генеральной совокупности , может оцениваться по случайной выборке объектов из , которую обычно называют контрольной выборкой. При этом контрольная выборка не должна содержать объектов из обучающей выборки. В противном случае величина потерь может оказаться завышенной.

Контрольная выборка имеет вид , где

- значение переменной для j-го объекта;

- значение вектора переменных для j-го объекта;

- число объектов в .

Обобщающая способность алгоритма прогнозирования может оцениваться с помощью функционала риска

При согласно закону больших чисел

Обычно при решении задачи прогнозирования по прецедентам в распоряжении исследователей сразу оказывается весь массив существующих эмпирических данных , по которому необходимо построить алгоритм прогнозирования и оценить его точность. Для оценки точности прогнозирования могут быть использованы следующие стратегии.

1) Выборка случайным образом расщепляется на выборку для обучения алгоритма прогнозирования и выборку для оценки точности

2) Процедура кросс-проверки. Выборка случайным образом расщепляется на выборки и . На первом шаге используется для обучения и для контроля. На втором шаге, наоборот, для обучения используется , а используется для контроля.

3) Процедура скользящего контроля выполняется по полной выборке за шагов .

на j -ом шаге формируется обучающая выборка , где - j- ый объект в , и контрольная выборка , состоящая из единственного объекта . Величина потерь методе скользящий контроль оценивается с помощью функционала

_{В книге [}1] было показано, что функционал является несмещённой оценкой математического ожидания потерь

1.6 Существующие методы и модели для решения задач прогнозирования и распознавания

Для подавляющего числа приложений вид распределений или значения конкретных их параметров неизвестны. Не известен обычно также вид регрессионной зависимости, или разделяющей поверхности в задачах распознавания. В связи с эти возникло большое число разнообразных подходов, в которых поиск оптимальных алгоритма прогнозирования производится внутри достаточно обширных семейств (моделей). Обычно такие семейства задаются с помощью набора параметров. Для поиска оптимальных значений параметров используются ММП или ММЭР. При этом для повышения устойчивости обучения нередко используются модифицированные варианты ММП или ММЭР, позволяющие добиваться более высокой устойчивости обучения. Использование которы данных подходов позволяет добиваться определённых успехов при решении конкретных задач. Для решения задач распознавания часто используются

- cтатистические методы, включая байесовские метод;

- методы, основанные на линейной разделимости;

- методы, основанные на ядерных оценках;

- нейросетевые методы;

- комбинаторно-логические методы и алгоритмы вычисления оценок;

- алгебраические методы;

- решающие деревья и леса;

- методы, основанные на принятии коллективных решений по системам закономерностей

- методы, основанные на опорных векторах.

Для решения задач регрессии используются

многомерная линейная регрессия;

ядерные оценки;

нейросетевые методы;

метод опорных векторов.

1. Линейная регрессия

2.1 Методы настройки моделей

_{Распространённым средством решения задач прогнозирования величины} по переменным является использование метода множественной линейной регрессии. В данном методе связь переменной с переменными задаётся с помощью линейной модели

_,

где вещественные регрессионные коэффициенты, - случайная величина, являющаяся ошибкой прогнозирования.

Регрессионные коэффициенты ищутся по обучающей выборке , где - значение прогнозируемой переменной , - вектор значений переменных , .

Предположим, что ошибка распределена нормально с нулевым ожиданием и стандартным отклонением . Откуда следует, что разность также распределена нормально с нулевым ожиданием и стандартным отклонением . Откуда следует, что функционал правдоподобия (1.9) может быть записан в виде .

Прологарифмировав функцию правдоподобия