Лекция 1. Задачи прогнозирования_ обобщающая способность_ скользящий контроль (1185278), страница 3

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 3)

В связи с этимвозникло большое число разнообразных подходов к решению задачпрогнозирования, использование которых позволяло добиватьсяопределённых успехов при решении конкретных задач.Сенько Олег Валентинович ()МОТП, лекция 140 / 50Методы прогнозированияСтатистические методыЛинейные модели регрессионного анализаРазличные методы, основанные на линейной разделимостиМетоды, основанные на ядерных оценкахНейросетевые методыКомбинаторно-логические методы и алгоритмы вычисленияоценокАлгебраические методыРешающие или регрессионные деревья и лесаМетоды, основанные на опорных векторахСенько Олег Валентинович ()МОТП, лекция 141 / 50Эмпирические методы оценки обобщающей способностиОбобщающая способность алгоритма прогнозирования на генеральнойсовокупности Ω может оцениваться по случайной выборке объектов изΩ , которую обычно называют контрольной выборкой.

При этомконтрольная выборка не должна содержать объектов из обучающейвыборки. В противном случае оценка величины потерь обычнооказывается заниженной. Контрольная выборка имеет видS̃c = {(y1 , x1 ), . . . , (ymc , xmc )}, гдеyj – значение переменной Y для j-го объекта;xj – значение вектора переменных X1 , . .

. , Xn для j-го объекта;mc – число объектов в S̃c .Сенько Олег Валентинович ()МОТП, лекция 142 / 50Эмпирические методы оценки обобщающей способностиОбобщающая способность A может оцениваться с помощьюфункционала рискаQ(S̃c , A) =mc1 Xλ[yj , A(xj )].mci=1При mc → ∞ согласно закону больших чиселQ(S̃c , A) → EΩ {λ[Y, A(x)]}.Сенько Олег Валентинович ()МОТП, лекция 143 / 50Эмпирические методы оценки обобщающей способностиОбычно при решении задачи прогнозирования по прецедентам враспоряжении исследователей сразу оказывается весь массивсуществующих эмпирических данных S̃in .

Для оценки точностипрогнозирования могут быть использованы следующие стратегии:1Выборка S̃in случайным образом расщепляется на выборку S̃t дляобучения алгоритма прогнозирования и выборку S̃c для оценкиточности;2Процедура кросс-проверки. Выборка S̃in случайным образомрасщепляется на выборки S̃A и S̃B . На первом шаге S̃Aиспользуется для обучения и S̃B для контроля.

На следующемшаге S̃A и S̃B меняются местами.Сенько Олег Валентинович ()МОТП, лекция 144 / 50Эмпирические методы оценки обобщающей способности3Процедура скользящего контроля выполняется по полной выборкеS̃in за m = |S̃in | шагов. На j-ом шаге формируется обучающаявыборка S̃tj = S̃in \sj , где sj = (yj , xj ) – j-ый объект S̃in , иконтрольная выборка S̃c , состоящая из единственного объекта sj .Процедура скользящего контроля вычисляет оценку обобщающейспособности какmQsc (S̃in , A) =1 Xλ[yj , A(xj , S̃tj )].mj=1Сенько Олег Валентинович ()МОТП, лекция 145 / 50Несмещённость оценки скользящего контроляПод несмещённостью оценки скользящего контроля понимаетсявыполнение следующего равенстваEΩm {Qsc (S̃m , A)} = EΩm−1 EΩ {λ[Y, A(x, S̃m−1 )]}.Покажем, что несмещённость имеет место, если выборка S̃in являетсяслучайной независимой выборкой объектов из генеральнойсовокупности Ω.Сенько Олег Валентинович ()МОТП, лекция 146 / 50Несмещённость оценки скользящего контроляНапомним, что в этом случае S̃in является элементом вероятностногопространства hΩm , Σm , Pm i.

Подвыборка S̃in размером m0 < m спроизвольным порядком объектов является элементом вероятностногопространства hΩm0 , Σm0 , Pm0 i, которое строится также, как ивероятностное пространство hΩm , Σm , Pm i.Сенько Олег Валентинович ()МОТП, лекция 147 / 50Несмещённость оценки скользящего контроляМатематическое ожидание оценки потерь по методу скользящегоконтроля может быть представлено в в виде средней величиныматематических ожиданий оценок потерь на каждом шаге:EΩm {Qsc (S̃m , A)} = EΩmm1 Xmj=1λ[yj , A(xj , Stj )] =m1 XEΩm λ[yj , A(xj , Stj )].mj=1Однако из ранее сказанного следует, что ∀j выборка S̃tj являетсяэлементом пространства Ωm−1 . Объект (yj , xj ) является элементом Ω.Сенько Олег Валентинович ()МОТП, лекция 148 / 50Несмещённость оценки скользящего контроляИз равенства,привеённого на предыдущем слайде, а также изизвестной теоремы Фубини, обосновывающей правомерностьизменения порядка интегрирования, следует равенствоEΩm {λ[yj , A(xj , S̃tj )]} = EΩm−1 EΩ {λ[Y, A(x, Sm−1 )]}.Таким образом,mEΩm {Qsc [S̃m , A]} =1 XEΩm−1 EΩ {λ[Y, A(x, S̃m−1 )]} =mi=1EΩm−1 EΩ {λ[Y, A(x, S̃m−1 )]}.Сенько Олег Валентинович ()МОТП, лекция 149 / 50Несмещённость оценки скользящего контроляВ результате приходим к заключению о справедливости равенстваe sc (Sem , A)] = EΩeEΩm [Qm−1 EΩ {λ[Y, A(x, Sm−1 )]},что по определению соответствует несмещённости оценки потерь пометоду скользящего контроля.

Отметим, что скользящий контрольявляется достаточно трудоёмкой процедурой. Снижение трудоёмкостиможет быть достигнуто при формировании контрольных выборок неиз одного, а из нескольких объектов. При этом контрольная выборка,формируемая на каждом шаге не должна пересекаться сконтрольными выбоками, формируемыми на предыдущих шагах.Сенько Олег Валентинович ()МОТП, лекция 150 / 50.

Характеристики

Список файлов лекций