ММО1 (2015 Учебное пособие ММО (Сенько)), страница 3

Регрессионные коэффициенты ищутся по обучающей выборке , где - значение прогнозируемой переменной , - вектор значений переменных , .

Предположим, что ошибка распределена нормально с нулевым ожиданием и стандартным отклонением . Откуда следует, что разность также распределена нормально с нулевым ожиданием и стандартным отклонением . Откуда следует, что функционал правдоподобия (1.9) может быть записан в виде .

Прологарифмировав функцию правдоподобия

Традиционным способом поиска регрессионных коэффициентов является метод наименьших квадратов (МНК). МНК заключается в минимизации функционала эмпирического риска с квадратичными потерями _. То есть оценки регрессионных коэффициентов по методу МНК удовлетворяют условию . Очевидно, МНК является вариантом метода минимизации эмпирического риска с квадратичной функцией потерь. Покажем, что для задач, в которых величина случайной ошибки не зависит от переменных

2.2 Одномерная регрессия.

Рассмотрим простейший вариант линейной регрессии, описывающей связь между переменной и единственной переменной : _. . Функционал эмпирического риска на выборке принимает вид .

Необходимым условием минимума функционала является выполнение системы из двух уравнений

(2)

Оценки являются решением системы (2) относительно параметров соответственно .

Таким образом оценки могут быть записаны в виде

, , где

Выражение для может быть переписано в виде , где

является выборочной ковариацией переменных и , - выборочная дисперсия переменной .

2.3 Многомерная регрессия.

При вычислении оценки вектора параметров в случае многомерной линейной регрессии удобно использовать матрицу плана размера ,

которая строится по обучающей выборке , где - вектор значений переменных . Матрица плана имеет вид .

Пусть - вектор значений переменной . Связь значений с переменными на объектах обучающей выборки может быть описана с помощью матричного уравнения , где - вектор ошибок прогнозирования для объектов .

Функционал может быть записан в виде

, где - элементы матрицы плана , определяемые равенствами , при .

Необходимым условием минимума функционала является выполнение системы из уравнений

(3)

Вектор оценок значений регрессионных коэффициентов является решением системы уравнений (3) . В матричной форме система (3) может быть записана в виде

(4)

Решение системы (4) существует, если . В этом случае для существует обратная матрица и решение (4) относительно вектора может быть записано в виде: . Из теории матриц следует, что если ранг матрицы по строкам менее , что происходит, если -мерный вектор значений одной из переменных на выборке является линейной комбинаций -мерных векторов значений на других переменных из . При сильной коррелированности -мерного вектора значений одной из переменных на выборке с какой-либо линейной комбинацией других переменных значение оказывается близким к 0. При этом вычисленный вектор оценок может сильно изменяться при относительно небольших чисто случайных изменениях вектора . Таким образом оценивание с использованием МНК при наличии мультиколлинеарности оказывается неустойчивым. Отметим также, что при . Поэтому МНК не может использоваться для оценивания регрессионных коэффициентов, когда число переменных превышает число объектов в обучающей выборке. На практике высокая устойчивость достигается только, когда число объектов в выборках по крайней мере в 3-5 раз превышает число переменных. Для подробного изучения методов многомерной линейно регрессии может быть рекомендована, например, книга [27]

2.4. Методы, основанные на регуляризации по Тихонову

Одним из возможных способов борьбы с неустойчивостью является использование методов, основанных на включение в исходный оптимизируемый функционал дополнительной штрафной компоненты. Введение такой компоненты позволяет получить решение, на котором достаточно близок к своему глобальному минимуму. Однако данное решение оказывается значительно более устойчивым и благодаря устойчивости позволяет достигать существенно более высокой обобщающей способности. Подход к получению более эффективных решений с помощью включения штрафного слагаемого в оптимизируемый функционал принято называть регуляризацией по Тихонову.

На первом этапе переходим от исходных переменных к стандартизированным , где а также от исходной прогнозируемой переменной к стандартизованной прогнозируемой переменной . Пусть , при , где - значение признака для j-го объекта. Пусть также - матрица плана для стандартизированных переменных, - вектор значений стандартизованной переменной .

Одним из первых методов регрессии, использующих принцип регуляризации, является метод гребневой регрессии (ridge regression). В гребневой регрессии в оптимизируемый функционал дополнительно включается сумма квадратов регрессионных коэффициентов при переменных . В результате функционал имеет вид ,

где - положительный вещественный параметр, для j-го объекта, Пусть является вектором оценок регрессионных коэффициентов, полученным в результате минимизации . Отметим, что увеличение регрессионных коэффициентов приводит к увеличению . Таким образом использование гребневой регрессии приводит к снижению длины вектора регрессионных коэффициентов при переменных .

Рассмотрим конкретный вид вектора регрессионных коэффициентов . Необходимым условием минимума функционала является выполнение системы из уравнений

(5)

Поэтому вектор оценок регрессионных коэффициентов в методе гребневая регрессия является решением системы (5).

В матричной форме система (5) может быть записана в виде или в виде , где – единичная матрица.

Отметим, что произведение представляет собой симметрическую неотрицательно определённую матрицу. Матрица также является симметрической матрицей. Каждому собственному значению матрицы соответствует собственное значение матрицы . Таким образом минимальное собственное значение матрицы удовлетворяет неравенству . Откуда следует, что всегда , а обратная матрица всегда существует. Большая величина приводит к относительно небольшим изменениям оценок регрессионных коэффициентов при небольших изменениях в обучающих выборках.

Наряду с гребневой регрессией в последние годы получил распространение метод Лассо, основанный на минимизации функционала . Интересной особенностью метода Лассо является равенство 0 части из регрессионных коэффициентов . Однако равенство 0 коэффициента на самом деле означает исключение из модели соответствующей ему переменной. Поэтому метод Лассо не только строит оптимальную регрессионную модель, но и производит отбор переменных. Метод может быть использован для отбора переменных в условиях, когда размерность данных превышает размер выборки. Отметим, что общее число отобранных переменных не может превышать размера обучающей выборки . Эксперименты показали, что эффективность отбора переменных методом Лассо снижается, при высокой взаимной корреляции некоторых из них.

Данными недостатками не обладает другой метод построения регрессионной модели, основанный на регуляризации по Тихонову, который называется эластичная сеть. Метод эластичная сеть основан на минимизации функционала

, где .

Метод эластичная сеть включает в себя метод гребневая регрессия и Лассо как частные случаи.

Методы регрессионного анализа подробно рассматриваются в большом числе публикации. Например можно привести учебное пособие [4]. Методы регрессионного анализа, основанные на регуляризации по Тихонову рассматриваются в курсе лекций [3] и книге [16]

1. Методы распознавания

3.1 Методы оценки эффективности алгоритмов распознавания

Каждый алгоритм распознавания классов независимо от задачи или используемой модели может быть представлен как последовательное выполнение распознающего оператора и решающего правила : . Оператор оценок вычисляет для распознаваемого объекта вещественные оценки за классы соответственно. Решающее правило производит отнесение объекта по вектору оценок к одному из классов. Распространённым решающим правилом является простая процедура, относящая объект в тот класс, оценка за который максимальна. В случае распознавания двух классов и распознаваемый объект будет отнесён к классу , если и классу в противном случае.

Назовём приведённое выше правило правилом . Однако точность распознавания правила может оказаться слишком низкой для того, чтобы обеспечить требуемую величину потерь, связанных с неправильной классификацией объектов, на самом деле принадлежащих классу . Для достижения необходимой величины потерь может быть использовано пороговое решающее правило : распознаваемый объект будет отнесён к классу , если и классу в противном случае.

Обозначим через вероятность правильной классификации правилом объекта , на самом деле принадлежащего , . При , но . Уменьшая , мы увеличиваем и уменьшаем . Напротив, увеличивая , мы уменьшаем и увеличиваем . Зависимость между и может быть приближённо восстановлена по обучающей выборке , включающей описания объектов

Пусть - матрица оценок за классы объектов . По данной матрице оценок легко получить множество величин , где .

Предположим, что величины принимают r различных значений , Данным величинам можно сопоставить решающие правила . Для каждого из правил вычислим две величины:

1. долю среди объектов обучающей выборки, удовлетворяющих условию , которую обозначим ;

2. долю среди объектов обучающей выборки, удовлетворяющих условию , которую обозначим .

В результате мы получим r пар чисел

.

Каждая пара чисел может рассматриваться как точка на плоскости в декартовой системе координат. Таким образом, набору пороговых элементов соответствует набор точек на плоскости.

Соединив соседние по номеру точки отрезками прямых, получим ломаную линию, соединяющую точки (1,0) и (0,1), которая изображена на рисунке 3.1. Данная линия графически отображает аппроксимацию по обучающей выборке взаимозависимости между и при всевозможных значениях . Соответствующий пример представлен на рисунке 2. Взаимозависимость между и наиболее полно оценивает эффективность распознающего оператора R. Отметим, что постепенно убывает по мере роста .