Лекция 3. Линейная регрессия (2014 Лекции (Сенько)), страница 2

Пусть R(X1 , . . . , Xn )регрессионная функция, которая не может быть улучшена с помощьюдополнительного линейного преобразования. Иными словами припроизвольных α0 и α1EΩ [Y − α0 − α1 R]2 ≥ EΩ [Y − R]2(18)То есть минимум EΩ [Y − α0 − α1 R]2 достигается при 0 = 0 и α1 = 1.Необходимым условием минимума EΩ [Y − α0 − α1 R]2 являетсяравенство 0 частных производных∂EΩ [Y − α0 − α1 R]2= 0,∂α0(19)∂EΩ [Y − α0 − α1 R]2= 0.∂α1Сенько Олег Валентинович ()МОТП, лекция 318 / 38Свойства оптимальных регрессийПроведём простейшие преобразованияEΩ [Y − α0 − α1 R]2 = EΩ Y 2 − 2α0 EΩ Y − 2α1 EΩ Y R + ++α12 EΩ R2 + 2α0 α1 EΩ R + α02 .Откуда следует, что уравнения (19) эквивалентны уравнениям2α1 EΩ R + 2α0 − 2α1 EΩ Y = 0,(20)−2EΩ (Y R) + 2α1 EΩ R2 + 2α0 EΩ R = 0.Принимая во внимание, что в точке экстремума α0 = 0 и α1 = 1получаем из системы (20) следующие свойства оптимальноголинейного прогнозирующего алгоритма 1) EΩ R = EΩ Y ,2)EΩ (Y R) = EΩ R2 ,Сенько Олег Валентинович ()МОТП, лекция 319 / 38Свойства оптимальных регрессийИз свойств 1) 2) следует , что дисперсия R равна ковариации Y и R.Действительно,D(R) = EΩ (R − EΩ R)2 = EΩ R2 − (EΩ R)2.

Однакоcov(Y, R) = EΩ (R − EΩ R)(Y − EΩ Y ) = EΩ Y R − EΩ R2. То есть3)cov(Y, R) = D(R).Рассмотрим теперь коэффициент корреляции между Y и R - ρ(Y, R).sD(R)cov(Y, R)=.ρ(Y, R) = pD(Y )D(Y )D(R)Сенько Олег Валентинович ()МОТП, лекция 320 / 38Свойства оптимальных регрессийРассмотрим величину ошибки прогнозирования Y с помощью R.4)∆(Y, R) = EΩ (Y − R)2 = EΩ Y 2 − 2EΩ (Y R) + EΩ R2 == EΩ Y 2 − EΩ R2 = EΩ Y 2 − (EΩ Y )2 + (EΩ Y )2 − EΩ R2 == EΩ Y 2 − EΩ R2 = EΩ Y 2 − (EΩ Y )2 + (EΩ R)2 − EΩ R2 = D(Y ) − D(R).Из свойств (3) и (4) легко следует свойство для относительнойошибки ∆rel (Y, R) = ∆(Y,R)D(Y ) :5)∆rel (Y, R) = 1 − ρ2 (Y, R).Сенько Олег Валентинович ()МОТП, лекция 321 / 38Структура ошибки прогнозирования.

Обобщённая ошибка.Напомним, что обобщающая способность алгоритма прогнозированияA, обученного по выборке Set с помощью некоторого метода Mизмеряется величиной потерь на генеральной совокупности Ω:EΩ λ[Y, A(x, Set )].Для оценки эффективности использования метода прогнозирования Mдля прогнозирования случайного процесса, связанного с генеральнойсовокупностью Ω, при фиксированном размере обучающей выборки mестественно использовать математическое ожидание потерь попространству всевозможных обучающих выборок длины m:∆G = EΩm EΩ λ[Y, A(x, Set )],где Ωm - рассмотренное ранее пространство обучающих выборокдлины m.Сенько Олег Валентинович ()МОТП, лекция 322 / 38Структура ошибки прогнозирования. Обобщённая ошибка.Величину ∆G будем называть обобщёнными потерями. Прииспользовании в качестве функции потерь квадрата ошибкиобобщённые потери становятся обобщённой квадратичной ошибкой ипринимают вид∆G = EΩm EΩ [Y − A(x, Set )]2 .Проведём простые преобразования:EΩm EΩ [Y − A(x, Set )]2 = EΩm EΩ [Y − E(Y | x)++E(Y | x) − A(x, Set )]2 = EΩm EΩ [Y − E(Y | x)]2 ++EΩm EΩ [EΩ (Y | x) − A(x, Set )]2 ++2EΩm EΩ {[E(Y | x) − A(x, Set )][Y − E(Y | x)]}.Сенько Олег Валентинович ()МОТП, лекция 323 / 38Структура обобщённой ошибки.Покажем справедливость равенстваEΩm EΩ {[EΩ (Y | x) − A(x, Set )][Y − E(Y | x)]} = 0(21)ДействительноEΩ {[EΩ (Y | x) − A(x, Set )][Y − E(Y | x)]} =ZEΩ {[EΩ (Y | x) − A(x, Set )][Y − E(Y | x)] | x}p(x)dX1 .

. . dXn ,=eXe совместная область допустимых значений X1 , . . . , Xn вгде Xe При любомпространстве Rn , p(x) - плотность вероятности внутри X.фиксированном x множитель [EΩ (Y | x) − A(x, Set )] не зависит отобъекта, для которого производится прогнозирование, и может бытьвынесен за знак математического ожидания:Сенько Олег Валентинович ()МОТП, лекция 324 / 38Структура обобщённой ошибки.EΩ {[EΩ (Y | x) − A(x, Set )][Y − E(Y | x)] | x} == [EΩ (Y | x) − A(x, Set )]EΩ {[Y − EΩ (Y | x)] | x}.Однако по определению условного математического ожидания прилюбом xEΩ {[Y − EΩ (Y | x)] | x} = 0.Откуда следует справедливость равенства (21).

Принимая вовнимание, что [Y − EΩ (Y | x)] не зависит от Set получаемEΩm EΩ [Y − E(Y | x)]2 = EΩ [Y − E(Y | x)]2. В итоге∆G = EΩ [Y − E(Y | x)]2 + EΩm EΩ [EΩ (Y | x) − A(x, Set )]2 .Введём обозначениеÂ(x) = EΩm A(x, Set )Сенько Олег Валентинович ()МОТП, лекция 325 / 38Структура обобщённой ошибки.Компонента разложенияEΩm EΩ [EΩ (Y | x) − A(x, Set )]2может быть представлена в видеEΩm EΩ [EΩ (Y | x) − Â(x) + Â(x) − A(x, Set )]2 == EΩm EΩ [EΩ (Y | x) − Â(x)]2 + EΩm EΩ [Â(x) − A(x, Set )]2 ++2EΩm EΩ [EΩ (Y | x) − Â(x)][Â(x) − A(x, Set )]Справедливо равенство2EΩm EΩ [EΩ (Y | x) − Â(x)][Â(x) − A(x, Set )] = 0.Сенько Олег Валентинович ()МОТП, лекция 3(22)26 / 38Структура обобщённой ошибки.Действительно2EΩm EΩ [EΩ (Y | x) − Â(x)][Â(x) − A(x, Set )] =2EΩ {[EΩ (Y | x) − Â(x)]EΩm [Â(x) − A(x, Set )]}.Однако из определения Â(x) следует, чтоEΩ [Â(x) − A(x, Set )] = 0.Поэтому равенство (22) справедливо.

В итоге справедливотрёхкомпонентное разложение обобщённой квадратичной ошибки ∆G :∆G = EΩ [Y − E(Y | x)]2 + EΩ [EΩ (Y | x) − Â(x)]2 +(23)+EΩm EΩ [Â(x) − A(x, Set )]2 == ∆N + ∆B + ∆VСенько Олег Валентинович ()МОТП, лекция 327 / 38Структура обобщённой ошибки.Шумовая компонента.∆N = EΩ [Y − E(Y | x)]2является минимально достижимой квадратичной ошибкой прогноза,которая не может быть устранена с использованием толькоматематических средств. Составляющая сдвига (Bias).∆B = EΩ [EΩ (Y | x) − Â(x)]2Высокое значение компоненты сдвига соответствует отсутствию вf = {A : Xe → Ye , внутри которой осуществляется поиск,модели Mалгоритмов, достаточно хорошо аппроксимирующих объективносуществующую зависимость Y от переменных X1 , .

. . , Xn .Составляющая сдвига может быть снижена, например, путёмрасширения модели за счёт включения в него дополнительных болеесложных алгоритмов, что обычно позволяет повысить точностьаппроксимации данных.Сенько Олег Валентинович ()МОТП, лекция 328 / 38Структура обобщённой ошибки.Дисперсионная составляющая (Variance).∆V = EΩm EΩ [Â(x) − A(x, Set )]2характеризует неустойчивость обученных прогнозирующих алгоритмовпри статистически возможных изменениях в обучающих выборках.Дисперсионная составляющая возрастает при небольших размерахобучающей выборки. Дисперсионная составляющая может бытьснижена путём выбора сложности модели, соответствующей размеруобучающих данных.Сенько Олег Валентинович ()МОТП, лекция 329 / 38Структура обобщённой ошибки.Таким образом существует Bias-Variance дилемма Составляющаясдвига может быть снижена путём увеличения разнообразия модели.Однако увеличение разнообразия модели при недостаточном объёмеобучающих данных ведёт к росту компоненты сдвига.

Наиболеевысокая точность прогноза достигается, при поддержании правильногобаланса между разнообразием используемой модели и объёмомобучающих данныхСенько Олег Валентинович ()МОТП, лекция 330 / 38Методы регуляризацииОдним из возможных способов борьбы с неустойчивостью являетсяиспользование методов, основанных на включение в исходныйоптимизируемый функционал Q(S̃t , β0 , β1 , . .

. , βn ) дополнительнойштрафной компоненты. Введение такой компоненты позволяетполучить решение, на котором Q(S̃t , β0 , β1 , . . . , βn ) достаточно близокк своему глобальному минимуму. Однако данное решение оказываетсязначительно более устойчивым и благодаря устойчивости позволяетдостигать существенно более высокой обобщающей способности.Подход к получению более эффективных решений с помощьювключения штрафного слагаемого в оптимизируемый функционалпринято называть регуляризацией по Тихонову.Сенько Олег Валентинович ()МОТП, лекция 331 / 38Методы регуляризацииНа первом этапе переходим от исходных переменных {X1 , .

. . , Xn } кстандартизированным {X1s , . . . , Xns } , где Xis = Xiσ̂−iX̂i ,q Pm11 Pm2X̂i = m j=1 xji , σ̂i = mj=1 (X̂i − xji ), а также от исходнойпрогнозируемой переменнойY к стандартизованной прогнозируемой1 Pmsпеременной Y = Y − m j=1 yj . Пусть x̆sj1 = 1 , x̆sji = xsj(i−1) приi > 1 , где xsj(i−1) - значение признака Xis для j-го объекта. Пусть1 xs11 .