Чураков Е.П. Оптимальные и адаптивные системы (1987) (1249286), страница 39
Текст из файла (страница 39)
Пусть нам неабхо.гизи на,жи оценку сзучаинога вектора параметров А па (72+1) марион выборке Ч-= (о«, ..., аи) ', представ синан моделью (7 1). Апряорпой информациеи о вероягпосзныз сванствах оцениваемых параметров и апибок >щзьзерещзи не располагаезц поззаму невоз мол но воспета зоваться тяьнми четолами опеннвання, как принципы макскмума апосгериорноп плотности пероятностей и минимума среднего бапесовского риска, поскольку неизвестны участвующие в пл формировании априори те плотности а(А) и ги(Р) Однако будем полагать, ~то чо.к.
на организовать серию независимых наблюдений Ч, Чз, , Ч«, каждое из которых тождественно по своему сцыс ловому содержанию, ик. ючая размерность п существо математической модели, вещору Ч и известны значения А, вектора параметров А, соотнес твующие кая.;юму наб зюдснию Ч, (з=-1, 2,, л). Пель заключает в там, чтобы по серии наблюдении Ч„т-=1, и, с известнымп прн кагкдалг вайд~слепни значениями пэрзчстра А «иаучитьз спсзсму обработки данных оценивать вещор А тогда,, агда прилет вектор наб. юлсний Ч без у а ~анпя соответствующего ему значения А Подобную процелуру принято иазывагь обучелиеч с уюте«ем (в отличие ат обучлия без у щтеля, при катаром сведения о значениях параметра А в пронессе обучения не сообщаются), а сери1о наблюдений Ч, ...,Ч« — абучгнащгг> последовательностью Оценпваиие, ос>ществляемое па полученном> в регзулыате обузе~ пя алгоритму, образ»ст рабочий рен.ич системы Итак, полагаем, что в режиме обучения наблюдаются пары величин Нь Ац ..: Ч„, А.„формирующие л.краз ное повторение вазмозкных измерений прп различных зна ~ециях параметра А.
Предположим, что ьазкдый элемент Ч«в составе обучающей паслелова~елг,насти чол ез принимать лишь дискретное значение нз ряда Уь Уь,У„. Выделим из всех л элементов обучающеи пос. ел;всзельпосги те ее зле«зги|э ы, которые оказались равнылаз ун те элементы, которые сказа.
ись равиымн Ут п т. д, те элементы, которые оказались равными Ч„. Пусть и, — количество э, емептов, равных Ч, Очевидно, что п1+гы+ . (-п,= — п. Символом з, 1=-1, Ч, обозначим номера соответствующих элемен гав, символам Й, множества, состоящие из зтпх номеров.
При априори известных функциях а(А), г. (Р) оценку А 232 7 можно было бы вычислить из условяя минимума среднего байесова рнсла (7,57), которыя удобно записать так 7(Л): ~ ) С(А, А)я.'Ч,*1«(Л Ч)йдг(Ч ! 7(Л Ч)я(Ч)г(Ч, Чл Ч (8.6) 7;Л >,) - С!Ач,, Л) 18.7) ""7(А Чз) 1'— '1 Ч. (8.8) х 2>З где ф»зпа>и>о 7(ЛУЧ) называют ппощериорны.и риском, Так как в рассматриваемых условиях вычисление и наследующая лшнимизация среднего риска невозчозкны, в рассмотрЕние вводятся эяпирические аналоги апос~ериориога риска, представленные следующей формяруечой иа основании обучающих ланных послелователыюстью функппй: 7(Л У,) - — уэ С(А„, Л); чг иг«ц, 1(А УВ: — Г С(А„, А): я ~«~=~« „.
Х Эти функции называют условныли злпири щеки.чи рисках~и. В нх составе пол А,, понимается известное значение вектора А, сопутствующее изыер~ ччю Ч.л=-У, в обучающей последовательиосзи Такич образом, для зычно>ения, например, эмпирического риска У(А/У;) выбира~ат тс эле менты обучающей послсдовательнасзи, которые приняли значение Чб регистрирщот соозветствующис ~ьз . пачсния 1'" А,: вектора А,при этих значениях паха:ят фупкщзи стаимогти С(Аа, А); зти юуиьцпн >средняю го всем элементам па последавагезьнас~ч обучь~гзщсй последовательности, принявщич значение у, для вычисления эмпирических )исков (87) можно органи,зонагь рекуррентную процедуру, которая основывается иа принципах, похабных использованнызз при установлении (7.93).
Кагьдая из функц п) (8 7) зависпз от пси. всстнан сиенкп А О ~евндно, прп некоторых А эмпирические риски досзигают минимальных значений Пусть Л, значение А, мнищизнрующее )-й э«шири есьий рнсь, т. е соотяетствуг ющее условию 7(Л, У) яч, й .' в (1 (8.9) Хз(Ч„, у), й =-1, 2 Так как в составе функции 7(А/Чг) все известно, кроме А, то аптнмальное значение А, определяемое условием (8.8), может бить найдено одним нз рассмотренных конечных пли рекуррснтныл алтари(мов.
Так, при квадратнчной фупкцая по(ерь (762) ле»ко устапавлнвается оценка А,-:..~ э', Ал 1:1, д. о( пу 2 соответствующая тон подпоследовательностн обу(аюшей послед(аательпостн, которая приняла значенне Чп н нахо( , ет а А, дптся апа простым >срез(пеняем зпачепнн параметра наблюдаемых в этой патпоследовательности. Прн произ вольных функцяял стонмостн удобно пользоваться рек>рре(мнычн алгоритмамн, средн ко(ортх выделим сле. ующая А Сй) .
А (2--1) — --- цгасС (А!й"-1) А,в(Х Д ч. 1 лг А,(я) †-значение оцепкя А„ полученное после прихода й-го элемен.га Ъ', обучающен посс(едавательностн; б( Ч,) -дельта снчвал 1(ропекера, приннмающнп значение единицы прн Ч„:=Ч( н нуля при Чвэеу, Присутствие сомножителя б'(Ч(„Ч,) приводят к том>.
что оценка А, (й) нзменяе(ся лишь тогда, когда элемент Ч„ оказывается равным Ч„что в конечном результаге обес- нечнвает вычнс. ение оцеикн А, только по т о те»( элементам обучаюпгеи выборки, которые ровны У,. Обу(енне заканчнвается вычислением всех оценок Ао =1, . Следует иметь в виду, чта объем обучающей по- следовательности должен быть достаточ о л н большим,(ля обеспечеши качественнога оцепнвання Это контролнруетыполненнем ряда спецнальпыл условий ( ]. Таким образом, после окончания режима обучения и еч набор опепок б ( А„ ..., Ав. В рабочем режиме оцсниванне ц ествляют так: палуч:(ют пзмгреннс Ч, которое в силу исходных положений метода оказываешься р РомУ дискРетномУ значенвк( кз 1 л ь..., „ Р, (яла Ч,..., Ч, например Чы в качестве оценки А вс(шара А, соответсщ(ующего апо- 234 о стерворным данным Ч, прнннмиот величину А, минпмнзирующу(о в режиме обучения эмппрцчесшш условный Ряск /(А/Ч,).
А.(горнтм аценнвання, пос(роенныя на эмппрнческом байесовоч рнске, нспользуе( предположенне о лнслретном , ', хара~~ере мно (встав зпачепни Ч, что является пршшиппальныч аграничщ(нем ме:ода На практпке преодоленне это(о огранвчения проводя( путем гр>пппраааиня данпыл. Тал, обдаст(, реальнь(х зна (енн(( измерений Ч разбнвают на д падоблас ген По какому либо прянцппу наш.'ачают «центры» под(юластсй Волн не( отаров пзчереняе Ч попадет в 1-ю подобласть, то условно пр(шнма(от, (то н(черенке совпадает с «центром» иодоблалп.
Эмпирические рнскн строя по прннцнцу (8.7), но в качестве шсьретных значеш(й Ч, пряника(ог «центры» соответствующих подобластей Последующую обработку проводят цо пре(кней схеме, что дрн дос~аточно большом (7 приводят к успеху. вв» ммод стах»с»и«всход вяя»о«симвции Прц рассмагрекьш разг нчвь х методов оцецнванпя вндпм, что навек оценок да'(.е и условиях полная априорной определенное:и не является в аычнслптельпоч отношении процедурой элсмен(арлей Априорные ограпкчения существенно ее условкня(от.
Довотьпо простой спо(об преадолеш(я трудностеи за(ипо (ается в том, что за.(аются некоторой структурой оценки как ф>нк(п:я нзмерення. апреде ленной с точн(югшо до совокуг(ности параметров. В результате процедура пояска оптимальной функциональной завш пчос(п оценкн от нзмереннй подменяется более прас- 1.- Ь."; ". топ задачея пснска оптнмальнь(х параметров, содержащплся в вь(бранной структуре оценкн. Хозя эффектнвность этого подхода в значи(елькой степени определяется удачей прп выборе стр>ктуры оценки, ега простота н наглядность обеспечивают ему шнрокуго популярность в практнческой пня еперной деятслы(ости Особенное значение это под,К ход прпобретает прн непараметрнчсск(щ лпрворныл огра шшецнях.
Зададпмся сгруктурап анечки А:=А(Ъ', %), где %— вектор неизвестных параметров. (лон( ретны(( впд функциональной завнснмостн А(Ч, %), размерность вектора % и фпзвческая суп(ность ега к. чпанепта определяю(ся природой лаждоп частнои запани н обычно не подвергаются общему обсужденпю.
Наша цель за(..(ючается не в пояске 233 ценки А, так как ее структура задана, а в поиске ~акой цепки % вектора %, при которои качес:во о сеш>ванна параметра А, осушсствс яем> го по фучн ци» а.>ьной схеме А=..А(Ч, %), в установленном нами смысле окал. ется паи высшим. Рассмотри»т вначале решение это>т задачи при условии, что раслолагаеж асей игобсодцвой для ргшгмнч априорной инфор.наци'й. Решение будем >шкет» с иа> более общих позиций бапссовского среднего ряска Соответствующая схема является достато ио явной В соответствии с (7 57) средний баиесовский риск (8 10) 7 - й((С[А, А(Н, %)Ц=Т>(%) после проведения всех усреднепий оказывается функциеи вектора %.
Решается задача оптимизации (8 11) 7 (%) . пни 7 (%), тр экиивалс~»ная решеншо уравнения (8.! 2) цгпб У(%) . 8>аб Л! (С(А, А (Ч, %>]) . - О, н> % которое монсет быть найдена одним из регулярных или рекурреитных методов. При использовании, например, дне. кретного метода градиента получим прави.го последовательного приближения %>» .%з" +78>ас!7(%з с), 7(О, й 1, 2,...
(818) ту Предположим, что априорная инфорыицил отсутствует. Если сведений о плотностях а(А), ш(Р) нет, то выраже- ННЕ для срЕднего риска как функцию % установи.ь пеаоз монсно, и схема (8 11) (8.13) оказывается неработоспособной. Если опера>,ип дифференцирования по % и усред неш>я по А и Н нерестаноаочны, то уравнение (8,!2) представим в виде (88 4) Л! (ргайС[А, А>Ч. %>]) '. О. , Уравнением (8.14) по прежнему невозможно воспо>шзоваться для отыскания %, так как по существу левая час~ь (8.14) не определена нз-за невозможности проведения усреднения.
Как и в предыдущем методе эмпирического 23б и ., байесовского риска, положим, что имеется иозможаость (-,",';:,''!;.:организовать обучшощу>о последовательность Чь Аы... „., Ч,, А„... ка>кдын элемент ко>ороп представляет статистичес>.ии аналог вектора измерении Ч в рабочем режиме Аналогия здесь понимается в том см>,сле, что при !!.",, каждо: паре Ч,, А, иыполняется условие й((С[А, А(Н„%)]) =- И(С[А, А(Ч, %)])- У(%), (815) т. е. ка кдый элемент обучающей после овательностн статистически эквивалентен паре Ч, А Дла панька корня >раааепнп аида (з >41 прн наличии обучаю>цей послед аа>е.,ьн ста а нас>сю ее время разратотан ряд нероятнпстных !'''.
' рекурре: т ы» а>корнтмоа (Зб 47). а поеанп»>» нз прн,шипе столасюыескс„о> рс>. илш>ии рсш»>ая >адат подобныо типа гбе-ол сто хастнчес кой аппрок.нмацан ана шге был предложен длп реыення Грижгш>я регрессии П>с ь имеются,.ае с а~п пюес»к а а:мосзп аияые еслнчнны н у В начес>ее т>егы нх с~атис>пят>кот> связы используют на>емаишеское ожидание оакои аелнчнны прн фнжнроаанном значении дру ой, > а.>рикер М(т;р)- ф(у>. Эту функпкю назыпают регрессиеи х ~ а у Зази ямшп ст(р) памтаают фуницаей регрессни, а ураенекне ср(у) о-- урааяеппсм регрессин часто необходимо найти такое значена«р, прн котором фуи:цня регрыы>н равна нулю, что зкниаалюино пон ку карпя уоаанепо, ре ремня Вс>~н ю»естпа услааная плотность !.(худ ы проб»ечы не так >лк урия>спке лт(к>>р) .— ~хс(хАО>пх 70>1 имеет конкретное аяалатичсс.ое о ч.елеленне а решаетсн обыиин ие.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
