Лекция 3. Линейн. регресс. Метод наименьших квадратов_ макс правдоподобия_ Одномерн модель_ .. (1185305), страница 2

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 2)

Пусть R(X1 , . . . , Xn )регрессионная функция, которая не может быть улучшена с помощьюдополнительного линейного преобразования. Иными словами припроизвольных α0 и α1EΩ [Y − α0 − α1 R]2 ≥ EΩ [Y − R]2(18)То есть минимум EΩ [Y − α0 − α1 R]2 достигается при 0 = 0 и α1 = 1.Необходимым условием минимума EΩ [Y − α0 − α1 R]2 являетсяравенство 0 частных производных∂EΩ [Y − α0 − α1 R]2= 0,∂α0(19)∂EΩ [Y − α0 − α1 R]2= 0.∂α1Сенько Олег Валентинович ()ММО - Регрессия18 / 13Свойства оптимальных регрессийПроведём простейшие преобразованияEΩ [Y − α0 − α1 R]2 = EΩ Y 2 − 2α0 EΩ Y − 2α1 EΩ Y R + ++α12 EΩ R2 + 2α0 α1 EΩ R + α02 .Откуда следует, что уравнения (19) эквивалентны уравнениям2α1 EΩ R + 2α0 − 2α1 EΩ Y = 0,(20)−2EΩ (Y R) + 2α1 EΩ R2 + 2α0 EΩ R = 0.Принимая во внимание, что в точке экстремума α0 = 0 и α1 = 1получаем из системы (20) следующие свойства оптимальноголинейного прогнозирующего алгоритма 1) EΩ R = EΩ Y ,2)EΩ (Y R) = EΩ R2 ,Сенько Олег Валентинович ()ММО - Регрессия19 / 13Свойства оптимальных регрессийИз свойств 1) 2) следует , что дисперсия R равна ковариации Y и R.Действительно,D(R) = EΩ (R − EΩ R)2 = EΩ R2 − (EΩ R)2.

Однакоcov(Y, R) = EΩ (R − EΩ R)(Y − EΩ Y ) = EΩ Y R − EΩ R2. То есть3)cov(Y, R) = D(R).Рассмотрим теперь коэффициент корреляции между Y и R - ρ(Y, R).√D(R)cov(Y, R)=.ρ(Y, R) = √D(Y )D(Y )D(R)Сенько Олег Валентинович ()ММО - Регрессия20 / 13Свойства оптимальных регрессийРассмотрим величину ошибки прогнозирования Y с помощью R.4)∆(Y, R) = EΩ (Y − R)2 = EΩ Y 2 − 2EΩ (Y R) + EΩ R2 == EΩ Y 2 − EΩ R2 = EΩ Y 2 − (EΩ Y )2 + (EΩ Y )2 − EΩ R2 == EΩ Y 2 − EΩ R2 = EΩ Y 2 − (EΩ Y )2 + (EΩ R)2 − EΩ R2 = D(Y ) − D(R).Из свойств (3) и (4) легко следует свойство для относительнойошибки ∆rel (Y, R) = ∆(Y,R)D(Y ) :5)∆rel (Y, R) = 1 − ρ2 (Y, R).Сенько Олег Валентинович ()ММО - Регрессия21 / 13Структура ошибки прогнозирования. Обобщённая ошибка.Напомним, что обобщающая способность алгоритма прогнозированияA, обученного по выборке Set с помощью некоторого метода Mизмеряется величиной потерь на генеральной совокупности Ω:EΩ λ[Y, A(x, Set )].Для оценки эффективности использования метода прогнозирования Mдля прогнозирования случайного процесса, связанного с генеральнойсовокупностью Ω, при фиксированном размере обучающей выборки mестественно использовать математическое ожидание потерь попространству всевозможных обучающих выборок длины m:∆G = EΩm EΩ λ[Y, A(x, Set )],где Ωm - рассмотренное ранее пространство обучающих выборокдлины m.Сенько Олег Валентинович ()ММО - Регрессия22 / 13Структура ошибки прогнозирования.

Обобщённая ошибка.Величину ∆G будем называть обобщёнными потерями. Прииспользовании в качестве функции потерь квадрата ошибкиобобщённые потери становятся обобщённой квадратичной ошибкой ипринимают вид∆G = EΩm EΩ [Y − A(x, Set )]2 .Проведём простые преобразования:EΩm EΩ [Y − A(x, Set )]2 = EΩm EΩ [Y − E(Y | x)++E(Y | x) − A(x, Set )]2 = EΩm EΩ [Y − E(Y | x)]2 ++EΩm EΩ [EΩ (Y | x) − A(x, Set )]2 ++2EΩm EΩ {[E(Y | x) − A(x, Set )][Y − E(Y | x)]}.Сенько Олег Валентинович ()ММО - Регрессия23 / 13Структура обобщённой ошибки.Покажем справедливость равенстваEΩm EΩ {[EΩ (Y | x) − A(x, Set )][Y − E(Y | x)]} = 0(21)ДействительноEΩ {[EΩ (Y | x) − A(x, Set )][Y − E(Y | x)]} =∫=eXEΩ {[EΩ (Y | x) − A(x, Set )][Y − E(Y | x)] | x}p(x)dX1 .

. . dXn ,e совместная область допустимых значений X1 , . . . , Xn вгде Xe При любомпространстве Rn , p(x) - плотность вероятности внутри X.фиксированном x множитель [EΩ (Y | x) − A(x, Set )] не зависит отобъекта, для которого производится прогнозирование, и может бытьвынесен за знак математического ожидания:Сенько Олег Валентинович ()ММО - Регрессия24 / 13Структура обобщённой ошибки.EΩ {[EΩ (Y | x) − A(x, Set )][Y − E(Y | x)] | x} == [EΩ (Y | x) − A(x, Set )]EΩ {[Y − EΩ (Y | x)] | x}.Однако по определению условного математического ожидания прилюбом xEΩ {[Y − EΩ (Y | x)] | x} = 0.Откуда следует справедливость равенства (21). Принимая вовнимание, что [Y − EΩ (Y | x)] не зависит от Set получаемEΩm EΩ [Y − E(Y | x)]2 = EΩ [Y − E(Y | x)]2. В итоге∆G = EΩ [Y − E(Y | x)]2 + EΩm EΩ [EΩ (Y | x) − A(x, Set )]2 .Введём обозначениеСенько Олег Валентинович ()Â(x) = EΩm A(x, Set )ММО - Регрессия25 / 13Структура обобщённой ошибки.Компонента разложенияEΩm EΩ [EΩ (Y | x) − A(x, Set )]2может быть представлена в видеEΩm EΩ [EΩ (Y | x) − Â(x) + Â(x) − A(x, Set )]2 == EΩm EΩ [EΩ (Y | x) − Â(x)]2 + EΩm EΩ [Â(x) − A(x, Set )]2 ++2EΩm EΩ [EΩ (Y | x) − Â(x)][Â(x) − A(x, Set )]Справедливо равенство2EΩm EΩ [EΩ (Y | x) − Â(x)][Â(x) − A(x, Set )] = 0.Сенько Олег Валентинович ()ММО - Регрессия(22)26 / 13Структура обобщённой ошибки.Действительно2EΩm EΩ [EΩ (Y | x) − Â(x)][Â(x) − A(x, Set )] =2EΩ {[EΩ (Y | x) − Â(x)]EΩm [Â(x) − A(x, Set )]}.Однако из определения Â(x) следует, чтоEΩ [Â(x) − A(x, Set )] = 0.Поэтому равенство (22) справедливо.

В итоге справедливотрёхкомпонентное разложение обобщённой квадратичной ошибки ∆G :∆G = EΩ [Y − E(Y | x)]2 + EΩ [EΩ (Y | x) − Â(x)]2 +(23)+EΩm EΩ [Â(x) − A(x, Set )]2 == ∆ N + ∆B + ∆VСенько Олег Валентинович ()ММО - Регрессия27 / 13Структура обобщённой ошибки.Шумовая компонента.∆N = EΩ [Y − E(Y | x)]2является минимально достижимой квадратичной ошибкой прогноза,которая не может быть устранена с использованием толькоматематических средств. Составляющая сдвига (Bias).∆B = EΩ [EΩ (Y | x) − Â(x)]2Высокое значение компоненты сдвига соответствует отсутствию вf = {A : Xe → Ye , внутри которой осуществляется поиск,модели Mалгоритмов, достаточно хорошо аппроксимирующих объективносуществующую зависимость Y от переменных X1 , .

. . , Xn .Составляющая сдвига может быть снижена, например, путёмрасширения модели за счёт включения в него дополнительных болеесложных алгоритмов, что обычно позволяет повысить точностьаппроксимации данных.Сенько Олег Валентинович ()ММО - Регрессия28 / 13Структура обобщённой ошибки.Дисперсионная составляющая (Variance).∆V = EΩm EΩ [Â(x) − A(x, Set )]2характеризует неустойчивость обученных прогнозирующих алгоритмовпри статистически возможных изменениях в обучающих выборках.Дисперсионная составляющая возрастает при небольших размерахобучающей выборки.

Дисперсионная составляющая может бытьснижена путём выбора сложности модели, соответствующей размеруобучающих данных.Сенько Олег Валентинович ()ММО - Регрессия29 / 13Структура обобщённой ошибки.Таким образом существует Bias-Variance дилемма Составляющаясдвига может быть снижена путём увеличения разнообразия модели.Однако увеличение разнообразия модели при недостаточном объёмеобучающих данных ведёт к росту компоненты сдвига. Наиболеевысокая точность прогноза достигается, при поддержании правильногобаланса между разнообразием используемой модели и объёмомобучающих данныхСенько Олег Валентинович ()ММО - Регрессия30 / 13Методы регуляризацииОдним из возможных способов борьбы с неустойчивостью являетсяиспользование методов, основанных на включение в исходныйоптимизируемый функционал Q(S̃t , β0 , β1 , .

. . , βn ) дополнительнойштрафной компоненты. Введение такой компоненты позволяетполучить решение, на котором Q(S̃t , β0 , β1 , . . . , βn ) достаточно близокк своему глобальному минимуму. Однако данное решение оказываетсязначительно более устойчивым и благодаря устойчивости позволяетдостигать существенно более высокой обобщающей способности.Подход к получению более эффективных решений с помощьювключения штрафного слагаемого в оптимизируемый функционалпринято называть регуляризацией по Тихонову.Сенько Олег Валентинович ()ММО - Регрессия31 / 13Методы регуляризацииНа первом этапе переходим от исходных переменных {X1 , .

. . , Xn } кстандартизированным {X1s , . . . , Xns } , где Xis = Xiσ̂−iX̂i ,√ ∑m1 ∑m12X̂i = m j=1 xji , σ̂i = mj=1 (X̂i − xji ), а также от исходнойпрогнозируемой переменнойY к стандартизованной прогнозируемой1 ∑msпеременной Y = Y − m j=1 yj . Пусть x̆sj1 = 1 , x̆sji = xsj(i−1) приi > 1 , где xsj(i−1) - значение признака Xis для j-го объекта. Пусть1 xs11 . . .

xs1n. . . . . . . . . . . . ssтакже Xs = 1 xj1 . . . xjn . - матрица плана для. . . . . . . . . . . . 1 xsm1 . . . xsmns ) - вектор значенийстандартизированных переменных, y s = (y1s , . . . , ymстандартизованной переменной Ys .Сенько Олег Валентинович ()ММО - Регрессия32 / 13Методы регуляризацииОдним из первых методов регрессии, использующих принципрегуляризации, является метод гребневой регрессии (ridge regression).В гребневой регрессии в оптимизируемый функционал дополнительновключается сумма квадратов регрессионных коэффициентов припеременных {X1s , . . . , Xns } . В результате функционал имеет видQridge (S̃t , β0 , . . . , βn ) =∑∑1 ∑[yj − β0 −βi x̆sji ]2 + γβi2 ,mmnnj=1i=1i=1(24)где γ - положительный вещественный параметр. Пусть β r являетсявектором оценок регрессионных коэффициентов, полученным врезультате минимизации Qridge (S̃t , β0 , .

. . , βn ).Сенько Олег Валентинович ()ММО - Регрессия33 / 13Методы регуляризацииОтметим, что увеличение регрессионных коэффициентов приводит кувеличению Qridge (S̃t , β0 , . . . , βn ) . Таким образом использованиегребневой регрессии приводит к снижению длины векторарегрессионных коэффициентов при переменных {X1s , . . . , Xns } .Рассмотрим конкретный вид вектора регрессионных коэффициентовβ r в гребневой регрессии. Необходимым условием минимумафункционала Qridge (S̃t , β0 , . .

. , βn ) является выполнение системы изn + 1 уравнений:Сенько Олег Валентинович ()ММО - Регрессия34 / 13Методы регуляризацииmm n+1∑∑∂Qridge (S̃t , β0 , . . . , βn )2 ∑yj x̆sj1 −βi x̆sji x̆sj1 ] + 2γβ0 = 0=− [∂β0mj=1j=1 i=1(25).........................................................mm n+1∑∑∂Qridge (S̃t , β0 , . . . , βn )2 ∑=− [yj x̆sjn −βi x̆sji x̆sjm ] + 2γβn = 0∂βnmj=1j=1 i=1Поэтому вектор оценок регрессионных коэффициентов в методегребневая регрессия является решением системы (25).Сенько Олег Валентинович ()ММО - Регрессия35 / 13Методы регуляризацииВ матричной форме система (25) может быть записана в виде−2Xts y ts + (2Xts Xs + 2γI)β tr = 0(26)β tr = Xts y ts (Xts Xs + γI)−1(27)или в видегде I - единичная матрица.

Характеристики

Список файлов лекций