Лекция 1. Задачи прогнозирования_ обобщающая способность_ байесовский классификатор_ скользящий контроль (2015 Лекции (Сенько)), страница 3

Контрольная выборка не должна содержатьобъекты из обучающей выборки.Контрольная выборка имеет вид S̃c = {(y1 , x1 ), . . . , (ymc , xmc )}, гдеyj – значение переменной Y для j-го объекта;xj – значение вектора переменных X1 , . . . , Xn для j-го объекта;mc – число объектов в S̃c .Сенько Олег Валентинович ()ММО - основные понятия39 / 47Эмпирические методы оценки обобщающей способностиОбобщающая способность A может оцениваться с помощьюфункционала рискаQ(S̃c , A) =mc1 Xλ[yj , A(xj )].mci=1При mc → ∞ согласно закону больших чиселQ(S̃c , A) → EΩ {λ[Y, A(x)]}.Сенько Олег Валентинович ()ММО - основные понятия40 / 47Эмпирические методы оценки обобщающей способностиОбычно при решении задачи прогнозирования по прецедентам враспоряжении исследователей сразу оказывается весь массивсуществующих эмпирических данных S̃in . Для оценки точностипрогнозирования могут быть использованы следующие стратегии:1Выборка S̃in случайным образом расщепляется на выборку S̃t дляобучения алгоритма прогнозирования и выборку S̃c для оценкиточности;2Процедура кросс-проверки.

Выборка S̃in случайным образомрасщепляется на выборки S̃A и S̃B . На первом шаге S̃Aиспользуется для обучения и S̃B для контроля. На следующемшаге S̃A и S̃B меняются местами.Сенько Олег Валентинович ()ММО - основные понятия41 / 47Эмпирические методы оценки обобщающей способности3Процедура скользящего контроля выполняется по полной выборкеS̃in за m = |S̃in | шагов. На j-ом шаге формируется обучающаявыборка S̃tj = S̃in \sj , где sj = (yj , xj ) – j-ый объект S̃in , иконтрольная выборка S̃c , состоящая из единственного объекта sj .Процедура скользящего контроля вычисляет оценку обобщающейспособности какmQsc (S̃in , A) =1 Xλ[yj , A(xj , S̃tj )].mj=1Сенько Олег Валентинович ()ММО - основные понятия42 / 47Несмещённость оценки скользящего контроляПод несмещённостью оценки скользящего контроля понимаетсявыполнение следующего равенстваEΩm {Qsc (S̃m , A)} = EΩm−1 EΩ {λ[Y, A(x, S̃m−1 )]}.Покажем, что несмещённость имеет место, если выборка S̃in являетсянезависимой выборкой объектов из генеральной совокупности Ω.Сенько Олег Валентинович ()ММО - основные понятия43 / 47Несмещённость оценки скользящего контроляНапомним, что в этом случае S̃in является элементом вероятностногопространства hΩm , Σm , Pm i.

Произвольная подвыборка S̃in размеромm0 < m с произвольным порядком объектов является элементомвероятностного пространства hΩm0 , Σm0 , Pm0 i, которое строится также,как и вероятностное пространство hΩm , Σm , Pm i.Сенько Олег Валентинович ()ММО - основные понятия44 / 47Несмещённость оценки скользящего контроляEΩm {Qsc (S̃m , A)} = EΩmm1 Xmj=1λ[yj , A(xj , Stj )] =m1 XEΩm λ[yj , A(xj , Stj )].mj=1Однако из ранее сказанного следует, что ∀j выборка S̃tj являетсяэлементом пространства Ωm−1 . Объект (yj , xj ) является элементом Ω.Сенько Олег Валентинович ()ММО - основные понятия45 / 47Несмещённость оценки скользящего контроляИз упомянутых свойств, а также из теоремы Фубини следуетEΩm {λ[yj , A(xj , S̃tj )]} = EΩm−1 EΩ {λ[Y, A(x, Sm−1 )]}.Таким образом,m1 XEΩm−1 EΩ {λ[Y, A(x, S̃m−1 )]} =EΩm {Qsc [S̃m , A]} =mi=1EΩm−1 EΩ {λ[Y, A(x, S̃m−1 )]}.Сенько Олег Валентинович ()ММО - основные понятия46 / 47.