Лекция 3. Линейн. регресс. Метод наименьших квадратов_ макс правдоподобия_ Одномерн модель_ .. (1185305), страница 3

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 3)

Отметим, что произведение Xts Xsпредставляет собой симметрическую неотрицательно определённуюматрицу. Матрица Xts Xs + γI также является симметрическойматрицей. Каждому собственному значению λk матрицы Xts Xsсоответствует собственное значение λk + γ матрицы Xts Xs + γI . Пустьλγmin минимальное собственное значение матрицы Xts Xs + γIудовлетворяет неравенству λγmin > γ . Откуда следует, что всегдаdet(Xts Xs + γI) > 0 , а обратная матрица (Xts Xs + γI)−1 всегдасуществует. Достаточно большая величина det(Xts Xs + γI) приводит котносительно небольшим изменениям оценок регрессионныхкоэффициентов при небольших изменениях в обучающих выборках.Сенько Олег Валентинович ()ММО - Регрессия36 / 13Методы регуляризацииНаряду с гребневой регрессией в последние годы получилраспространение метод Лассо, основанный на минимизациифункционалаmnn∑∑∑Qlasso (S̃t , β0 , .

. . , βn ) =[yj − β0 −βi x̆sji ]2 + γ| βi |.j=1i=1(28)i=1Интересной особенностью метода Лассо является равенство 0 части изрегрессионных коэффициентов . Однако равенство 0 коэффициента насамом деле означает исключение из модели соответствующей емупеременной. Поэтому метод Лассо не только строит оптимальнуюрегрессионную модель, но и производит отбор переменных. Методможет быть использован для отбора переменных в условиях, когдаразмерность данных превышает размер выборки. Отметим, что общеечисло отобранных переменных не может превышать размераобучающей выборки . Эксперименты показали, что эффективностьотбора переменных методом Лассо снижается, при высокой взаимнойкорреляции некоторых из них.Сенько Олег Валентинович ()ММО - Регрессия37 / 13Методы регуляризацииДанными недостатками не обладает другой метод построениярегрессионной модели, основанный на регуляризации по Тихонову,который называется эластичная сеть.

Метод эластичная сеть основанна минимизации функционалаQelnet (S̃t , β0 , . . . , βn ) =m∑j=1nn∑∑[yj −β0 −βi x̆sji ]2 +γ[βi2 θ + (1 − θ) | βi |],i=1i=1(29)где θ ∈ [0, 1] . Метод эластичная сеть включает в себя метод гребневаярегрессия и Лассо как частные случаи.Сенько Олег Валентинович ()ММО - Регрессия38 / 13.

Характеристики

Список файлов лекций