ММО и поиск достоверных закономерностей в данных. Учебное пособие. Сенько (2015 Учебное пособие ММО (Сенько)), страница 2

В общем случаеММП требует априорных предположений о типе распределений. Чаще всего используетсягипотеза о нормальности распределения. Значения параметровконкретныйвидраспределений,правдоподобия, представляющегоищутсяпутём1 , , rмаксимизации, задающихфункционаласобой произведение плотностей вероятностей наобъектах обучающей выборки. Рассмотрим в качестве примера задачу распознаваниядвух классовклассыK1 и K 2 по единственному признакуX . При этом предполагается, чтоK1 и K 2 распределены нормально, то есть точки, описывающие объекты изданных классов,p2 ( x) 1e2имеют плотности распределения ( x  2 )22 21p1 ( x) e2 ( x  1 )22 2соответственно при значении признака X равномпустим, что нам неизвестны параметры1и2иx .

До, являющиеся математическимиожиданиями признака X в классахмогутбытьнайденысK1 и K 2 . Математические ожидания 1 и 2помощьюММПпообучающей, sm  ( ym , xm )} , где y j  1 при s j  K1 и y j  2 приSt  {s1  ( y1 , x1 ),1этом подбираются такие значения2ивыборкеs j  K 2 . При, при которых достигают максимумафункционалы правдоподобияL1 ( St , 1 )  p (x )  1s j K1js j K11e2 ( x  1 ) 22 2(1)ИL2 ( St , 1 )  p (x )  s j K 22js j K 21e2 ( x  2 )22 2(2)То есть функционал L1 ( St , 1 ) является произведением плотностейсоответственно.вероятности в точках, соответствующим объектам обучающей выборки из класса K1 ,функционал L2 ( St , 1 ) является произведением плотностей вероятности в точках,соответствующим объектам обучающей выборки из класса K 2 .Поскольку натуральный логарифмln( z )является монотонной функцией аргументаz,то задача максимизации L1 ( St , 1 ) эквивалентна задаче максимизации ln[ L1 ( St , 1 )] .Отметим, чтоm1ln[ L1 ( St , 1 )]   ln[e2s j K1  m1 ln( )  m1 ln(2 ) 12гдеs j K1 ( x j  1 ) 22 21]   {ln()  ln[e2s j K1( x j  1 ) 22 2, ( x j  1 ) 22 2]} (3)m1 - число объектов из класса K1 в выборке St .

Из формулы (3) следует, что задачамаксимизацииln[ L1 ( St , 1 )]сводитсякзадачеминимизацииQ ( St , 1 ) ( x j  1 ) 22 2s j K1выполнение равенства. Необходимым условием минимума Q ( St , 1 )Q ( St , 1 ) 0 , что эквивалентно выполнение равенства12( x j  1 )2 2s j K1Из равенства (4) следует, что1 1m1xs j K1jвсем объектам обучающей выборки из класса21Y , X1, , X n .среднему значению признака Xсовершенно аналогиченпопоиску1 и приводит к одинаковому результату.В общем случае нам требуется найти параметрыпеременных(4)K1 . Очевидно, что поиск оптимальногос помощью ММПоптимального значения параметра 0..

То есть применение ММП приводит ктривиальному выводу о равенстве параметразначения параметраявляется1 , , rсовместного распределенияДанная задача может быть решенас помощьюмаксимизации функционал правдоподобияL( St ,1 ,m, r )   p ( y j , x j ,1 ,j 1, r ) ,(5)который является произведением плотностей вероятностей в точках, соответствующихобъектам обучающей выборки St  {s1  ( y1 , x1 ),однимизважнейшихинструментов, sm  ( ym , x m )} . Метод ММП являетсянастройкиалгоритмовраспознаванияилирегрессионных моделей в математической статистике. Однако использованием ММПтребует знаниявида вероятностного распределения. На практике чаще используетсяметод минимизации эмпирического риска, который требует знания только общего видаалгоритма прогнозирования.Метод минимизации эмпмрмческого риска (ММЭР).

Основным способом поисказакономерностей является поиск некотором априори заданном семействепрогнозированияM  {A : X  Y }алгоритма,алгоритмовнаилучшимобразомаппроксимирующего связь переменных из наборана обучающей выборке,X1,гдеXX1,с переменной Y, Xn- область возможных значений векторов переменных, X n , Y - область возможных значений переменнойY . Отметим, что чаще всегоалгоритм A задаётся с помощью прогнозирующей функции.Пусть[ y j , A(x j )] - величина “потерь”, произошедших в результате использованияв качестве прогноза величиныA( x j ) . Одним из способов обучения являетсяминимизациявыборкеQ( St , A) наm1mj 1обучающейфункционалаэмпирическогориска[ y j , A(x j )]Приведём примеры конкретного вида функции потерь [ y j , A(x j )] . В задачахрегрессиичащевсего[ y j , A(x j )]  [ y j  A(x j )]2используетсяквадратошибкипрогноза. Также может быть использован модуль ошибки[ y j , A(x j )] |[ y j  A(x j )] | .В случае задачи распознавания функция потерь может быть равнойклассификации и0 при правильной1 при ошибочной.

При этом функционал эмпирического риска равенчислу ошибочных классификаций.Следует отметить тесную связь между ММП иММЭР. Данная связь будепроанализирована далее при рассмотрении методов регрессионного анализа.Точность алгоритма прогнозирования на всевозможных новых не использованных дляобучения объектах, которые возникают в результате процесса, соответствующегорассматриваемой задаче прогнозированияспособностью.принято называтьобобщающейИными словами обобщающую способность алгоритма прогнозированияможно определить как точность на всей генеральной совокупности. Мерой обобщающейспособности служит математическое ожидание потерь по генеральной совокупности -E{[Y , A(x)]} .. При решении задач прогнозирования основной целью являетсядостижение наилучшейобобщающей способности, при которой математическоеожидание потерь E {[Y , A( x)]} минимально.1.5 Эффект переобучения.Расширение моделиM  { A : X  Y } , увеличение её сложности всегда приводит кповышению точности аппроксимации на обучающей выборке.

Однако повышениеточности на обучающей выборке, связанное с увеличением сложности модели, часто неведёт к увеличению обобщающей способности. Более того, обобщающая способностьможетдаже снижаться. Различие междуточностью на обучающей выборке иобобщающей способностью при этом возрастает. Данный эффект называется эффектомпереобучения.Рис. 1.4На левой части показано, что использование кусочно-линейной модели (краснаялиния)позволяет значительно лучше аппроксимировать зависимость на обучающейвыборке St , чем простая линейная регрессия (тёмно-синяя прямая).

Однако оказывается(правый слайд), что точность аппроксимации новой контрольной выборки Sc , взятой изтой же самой генеральной совокупности, для простой линейной регрессии значительнолучше, чем для кусочно-линейной.Рис. 1.5На левой частипоказано, что использование кусочно-линейнойграницы (краснаялиния)позволяет значительно лучше разделить объекты класса K1и классаK2обучающей выборке St , чем простая линейная граница (тёмно-синяяпрямая). Однако оказывается (правый слайд), чтоточностьна новой контрольнойвыборки Sc , взятой из той же самой генеральной совокупности, для простой линейнойграницы значительно лучше, чем для кусочно-линейной1.5 Методы оценивания обобщающей способности.Обобщающая способность алгоритма прогнозирования на генеральной совокупности  ,может оцениваться по случайной выборке объектов из  , которую обычно называютконтрольной выборкой.

При этом контрольная выборка не должна содержать объектов изобучающей выборки. В противном случае величина потерь может оказаться завышенной.Контрольная выборка имеет вид Sc  {( y1 , x1 ),,( ymc , xmc )} , гдеy j - значение переменной Y для j-го объекта;x j - значение вектора переменных X 1 ,, X n для j-го объекта;mc - число объектов в Sc .Обобщающая способность алгоритма прогнозирования A может оцениваться спомощью функционала рискаQ( Sc , A) Приmc  mc1mj 1[ y j , A( x j )]согласно закону больших чисел E{[Y , A(x)]}Q( Sc , A)Обычно при решении задачи прогнозирования по прецедентам в распоряженииисследователей сразу оказывается весь массив существующих эмпирических данных Sin, по которому необходимо построить алгоритм прогнозирования и оценить его точность.Для оценки точности прогнозирования могут быть использованы следующие стратегии.1) ВыборкаSinслучайным образом расщепляется на выборку Stалгоритма прогнозирования и выборку Sc2) Процедура кросс-проверки.

Выборкавыборки S1иS2 . На первом шагедля обучениядля оценки точностиSinслучайным образом расщепляется наS1 используется для обучения иконтроля. На втором шаге, наоборот, для обучения используется S 2 , аS1 дляS1используется для контроля.3) Процедура скользящего контроля выполняется по полной выборке Sinзашагов m | Sin | .на j -ом шаге формируется обучающая выборкаобъект в SinSt  St j \ s j , гдеsj -j- ый, и контрольная выборка , состоящая из единственного объекта s j .Величина потерь методе скользящий контроль оценивается с помощью функционала1 mQsc ( Sin , A)   [ y j , A( x j , St j )]m j 1В книге [1] было показано, что функционал Qsc ( Sin , A) является несмещённой оценкойматематического ожидания потерь1.6 Существующие методы и модели для решения задачпрогнозирования и распознаванияДля подавляющего числа приложений вид распределений или значения конкретных ихпараметров неизвестны.

Не известен обычно также вид регрессионной зависимости, илиразделяющей поверхности в задачах распознавания. В связи с эти возникло большоечислоразнообразныхподходов,вкоторыхпрогнозирования производится внутри достаточнопоископтимальныхалгоритмаобширных семейств (моделей).Обычно такие семейства задаются с помощью набора параметров. Для поискаоптимальных значений параметров используются ММП или ММЭР.При этом дляповышения устойчивости обучения нередко используются модифицированные вариантыММП или ММЭР, позволяющие добиваться более высокой устойчивости обучения.Использование которы данных подходов позволяет добиваться определённых успеховпри решении конкретных задач.