Н.М. Новикова - Курс лекций (1125270), страница 8

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 8)

(wOZMOVNO I UWELI^ENIE [AGAPRI STABILXNOM UBYWANII f , T.E. PRIBLIVENNYJ SKOREJ[IJ SPUSK.)pRAWILO aRMIHO | PUTEM DROBLENIQ [AGA DOBIWAEMSQ DLQ t WYPOLNENIQ USLOWIQ f (xt t gradf (xt )) f (xt ) "t kgradf (xt )k2 .w OB]EM SLU^AE DIFFERENCIRUEMOJ, OGRANI^ENNOJ SNIZU f MOVNO POLU^ITX SHODIMOSTX GRADIENTNOGO METODA K MNOVESTWU STACIONARNYH TO^EK, A PRI DOPOLNITELXNYH PREDPOLOVENIQH DOKAZYWAETSQ(ZA ISKL@^ENIEM WARIANTA S UBYWA@]IM [AGOM) LINEJNAQ SKOROSTXSHODIMOSTI, KOTORAQ W WYPUKLYH ZADA^AH OZNA^AET kxt+1 x k qkxt xk DLQ NEKOTOROGO 0 < q < 1. uKAZANNAQ LINEJNAQ OCENKAOB_QSNQETSQ TEM, ^TO W PROCESSE MINIMIZACII GRADIENTNYM METODOMISPOLXZUETSQ LINEJNAQ APPROKSIMACIQ CELEWOJ FUNKCII NA KAVDOM[AGE. bOLEE WYSOKU@ SKOROSTX SHODIMOSTI POLU^A@T DLQ METODOW,OSNOWANNYH NA KWADRATI^NOJ APPROKSIMACII, W PREDPOLOVENII DWAVDY DIFFERENCIRUEMOSTI f .

tIPI^NYM PRIMEROM ZDESX QWLQETSQMETOD nX@TONA.42pUSTX f 2 C2 Rn RAZLOVIM FUNKCI@ f W RQD tEJLORA W OKRESTNOSTI TEKU]EJ TO^KI xt(),-:f x f xt h f xt ;x xti hf 00 xt x xt ;x xti o kx xtk2 :wYBEREM xt+1 IZ USLOWIQ MINIMIZACII KWADRATI^NOJ APPROKSIMACII f x W TO^KE xt T E KWADRATI^NOJ ^ASTI PRIRA]ENIQ f x f xt()() =grad()+1(2)()+ ()-(),. .POLU^IM METOD nX@TONA()(),:xt+1 xt f 00 xt 1 f xt ; t ; ;:::;GDE NA^ALXNOE PRIBLIVENIE x1 DOLVNO NAHODITXSQ DOSTATO^NO BLIZKO K TO^KE OPTIMUMA x w TAKOM SLU^AE I PRI DOPOLNITELXNYH=(())grad()= 1 2-.(PREDPOLOVENIQH BOLEE SILXNYH ^EM DLQ PRIWEDENNOJ RANEE OCENKI SKOROSTI SHODIMOSTI GRADIENTNOGO METODA DLQ METODA nX@TONABUDET SPRAWEDLIWA KWADRATI^NAQ SKOROSTX SHODIMOSTI,,-)kxt+1 xk Qkxt xk2; T:E: kxt+1 xk Q Qkx1 xk 2t ;^TO PREDPOLAGAET kx1 x k < =Q OCENKU DLQ Q SM NAPRIMER11(().,,W Se]E RAZ POD^ERKNEM ^TO GRADIENTNYJ METOD W OTLI^IE OT NX@TONOWSKOGO SHODITSQ PRI L@BOM NA^ALXNOM PRIBLIVENIIiZ OPREDELENIQ METODA nX@TONA TAKVE SLEDUET TREBOWANIE NEWYROVDENNOSTI MATRICY WTORYH PROIZWODNYH GESSIANA FUNKCII fnETRUDNO WIDETX ^TO POLU^ENNAQ FORMULA METODA nX@TONA RE[ENIQ ZADA^ BEZUSLOWNOJ MINIMIZACII SOWPADAET S FORMULOJ METODAnX@TONA RE[ENIQ SISTEMY URAWNENIJfxSOOTWETSTWU@]EJ NEOBHODIMYM USLOWIQM \KSTREMUMA23: dLQ ZADA^ USLOWNOJ MINIMIZACII; NAPRIMERx2[1;2] x ;[5,.

192]).,.-().,-grad() = 0,-.minPREDLOVENNYE METODY NUVDA@TSQ W MODIFIKACII w ^ASTNOSTI DLQPRIWEDENNOGO PRIMERA KOGDA MNOVESTWO X IMEET DOSTATO^NO PROSTU@ STRUKTURU UKAZANNYE WY[E FORMULY SOWME]A@TSQ S PROCEDUROJ PROEKTIROWANIQ NA X NA KAVDOM [AGE METODA tAK PRIHODIM KMETODU PROEKCII GRADIENTA.,,-,-.xt+1X fxt= Prtf xt g; tgrad()43; ;:::; 8x1 2 Rn:= 1 2dLQ BOLEE SLOVNYH MNOVESTW X DOPUSTIM ZADAWAEMYH OGRANI^ENIQMI NERAWENSTWAMI,,X : fx 2 Rnj gi x 8i 2 M g;=()0-(3)UNIWERSALXNYM SPOSOBOM OSWOBOVDENIQ OT OGRANI^ENIJ QWLQETSQ IH[TRAFOWANIE a IMENNO DLQ DOSTATO^NO BOLX[OJ KONSTANTY C >WMESTO ZADA^I USLOWNOJ MINIMIZACIIRASSMATRIWA@T ZADA^UBEZUSLOWNOJ MINIMIZACII O[TRAFOWANNOJ CELEWOJ FUNKCIIX + pX + pfxCgx;gi xGDEfginx2R.0(1),(3)min() +[()][()]i2Mi2M\TO FUNKCIQ [TRAFA([TRAFNAQ FUNKCIQ) DLQ OGRANI^ENIJ NERAWENSTW, g+ () =: max[0;g()] | SREZKA g, PARAMETR [TRAFA p 1.dRUGIE WIDY FUNKCIJ [TRAFA SM Ww USLOWIQH NEPRERYWNOSTI FUNKCIJ f; gi NEPUSTOTY X I OGRANI^ENNOSTI MNOVESTWA lEBEGAFUNKCII f MOVNO DOKAZATX ^TO S ROSTOM KONSTANTY [TRAFA(.[4,5].)-,,X + pf(x) + C[gi (x)] g = f :fnxR2C "1i2Mlim min(4)eSLI pFUNKCIQ SREZKA I SLEDOWATELXNO[TRAFNAQ FUNKCIQQWLQETSQ OSTROJ TO 9C ff x C Pi2M gi+ x g f SU]ESTWUET TO^NYJ [TRAF oDNAKO PRI p >GLADKIJ [TRAF PODOBNOE RAWENSTWO OZNA^ALO BY NESU]ESTWENNOSTX OGRANI^ENIJ x 2 XTO^KA BEZUSLOWNOGO MINIMUMA I TAK NAHODITSQ W X1 nuTWERVDENIE4.

pUSTXP +f;gip2 C R WYPUKLY p > I 9C:Cxff x C gi x g 2 X TOGDAxC 2 x2Rn f x ; T:E: x2Rn f x x2X f x := 1 (-,),:,min()+().)=(1 |--().(= arg min()+[Arg min(()]),,1:,)min() = min()dOKAZATELXSTWO. tAK KAK xC TO^KA BEZUSLOWNOGO \KSTREMUMADIFFERENCIRUEMOJ FUNKCII TO GRADIENTO[TRAFOWANNOJ FUNKCIIC C p P gi+ xC p 1 gi xCfxCELI W NEJ RAWEN NUL@nO IZ USLOWIQ xC 2 X WSE WYRAVENIQ W KWADRATNYH SKOBKAH A ZNA^IT I WTOROE SLAGAEMOE RAWNY NUL@ oTS@DA SLEDUET f xCT E NEOBHODIMOE USLOWIE \KSTREMALXNOSTI TO^KI xC DLQ ZADA^I BEZ|,: grad()+[()]grad() = 0.,,.. .grad(-) = 0,-USLOWNOJ OPTIMIZACII KOTOROE W WYPUKLOM SLU^AE OKAZYWAETSQ I,44DOSTATO^NYM SM UTWERVDENIE pO\TOMU xC TO^KA BEZUSLOWNOGO MINIMUMA f nO xC 2 X TAK ^TO xC I TO^KA USLOWNOGOMINIMUMA f NA X IBO BEZUSLOWNYJ MINIMUM NE PREWY[AET USLOWNOGO uTWERVDENIE DOKAZANOtAKIM OBRAZOM DLQ GLADKOGO [TRAFA NE UDAETSQ SWESTI ZADA^UUSLOWNOJ MINIMIZACII K BEZUSLOWNOJ TEM NE MENEE FORMULA POZWOLQET ITERATIWNO KOMBINIROWATX METOD [TRAFOW I GRADIENTNYJMETOD W SLEDU@]EJ PROCEDURE 8x1 2 Rn(.2)..|,-|,-..,,xt+1 xt tf=gradf xt C t p()+:Xi 2M[(4)gi+ xt p()]1gradgi xt g; t()-; ;:::;= 1 2KOTORAQ SHODITSQ PRI OPREDELENNYH SOOTNO[ENIQHP 2 2MEVDU ft g It Ct < 1 NAPRIW ^ASTNOSTI DLQUBYWA@]EGO[AGAPRIpMER t =t; Ct < tuTWERVDENIE POKAZYWAET ^TO TRAEKTORII METODA [TRAFA PROHODQT WOOB]E GOWORQ WNE MNOVESTWA OGRANI^ENIJ X HOTQ I SHODQTSQ K DANNOMU MNOVESTWU iZ ZA \TOGO RASSMOTRENNYJ METOD INOGDATAKVE NAZYWA@T METODOM WNE[NIH [TRAFOW W OTLI^IE OT METODOWWNUTRENNEJ TO^KI ILI BARXEROW tIPI^NYM PRIMEROM PRIMENENIQMETODA BARXEROW QWLQETSQ OPISANNYJ W x METOD kARMARKARA KOGDAZADA^A \KWIWALENTNAQ ZADA^E USLOWNOJ MINIMIZACIIfC t g,(,= 1-).4,,-,,.--,.7(9),x0; P xj =Nmin,px;()SWODITSQ K BEZUSLOWNOJ MINIMIZACII SPECIALXNOJ BARXERNOJ FUNKCII k x NE POZWOLQ@]EJ METODU nX@TONA WYJTI ZA OGRANI^ENIQx > ESLI W \TIH OGRANI^ENIQH WYBRANO NA^ALXNOE PRIBLIVENIErAZLI^NYE WIDY BARXERNYH FUNKCIJ SM WDLQ NIH HARAKTERNO BYSTROE WOZRASTANIE PRI PRIBLIVENII IZNUTRI K GRANICE MNOVESTWA OGRANI^ENIJ TOGDA KAK [TRAFNAQ FUNKCIQ STREMITSQ K NUL@PRI PRIBLIVENII K MNOVESTWU OGRANI^ENIJ IZWNE dLQ RE[ENIQ OB]EJ ZADA^I mpS OGRANI^ENIQMI NERAWENSTWAMI METODU kARMARKARA SOOTWETSTWUET ISPOLXZOWANIE WMESTO RASSMOTRENNOJWY[E [TRAFNOJ FUNKCII OSNOWANNOJ NA SREZKE LOGARIFMI^ESKOJBARXERNOJ FUNKCII RAWNOJ-(),0,..[4,5] |--(|).(1),(3)-,,,1-XC i2Mln[45gi x()]PRI gi x < 8i 2 M I 1 W PROTIWNOM SLU^AE |TA FUNKCIQ TAKVEPRIBAWLQETSQ K CELEWOJ I SPRAWEDLIWO SOOTNO[ENIE ANALOGI^NOE()0+.,,(4).dRUGIE SPOSOBY SWEDENIQ ZADA^ USLOWNOJ OPTIMIZACII K BEZUSLOWNOJ OSNOWANNYE NA METODE MNOVITELEJ lAGRANVA BUDUT WYTEKATXIZ REZULXTATOW SLEDU@]EGO PARAGRAFA-,,.x9.

dWOJSTWENNOSTX W mpnEOBHODIMYE USLOWIQ LOKALXNOGO MINIMUMA OBOB]ENNO DIFFERENCIRUEMYH FUNKCIJ PRI OGRANI^ENIQH NERAWENSTWAH. tEOREMAkUNA-tAKKERA. pONQTIE O REGULQRNOSTI OGRANI^ENIJ NERAWENSTW WZADA^E mp. mETOD MNOVITELEJ lAGRANVA.1. w \TOM PARAGRAFE BUDEM RASSMATRIWATX ZADA^U USLOWNOJ OPTIMIZACII (1) S X Rn ; X =6 ;, PO PREIMU]ESTWU, S OGRANI^ENIQMI NERAWENSTWAMI (3). kAK UVE OTME^ALOSX, USLOWIE RAWENSTWA NUL@GRADIENTA DLQ TAKIH ZADA^ MOVET NE IMETX NIKAKOGO OTNO[ENIQ KTO^KAM USLOWNOGO \KSTREMUMA. pO\TOMU WYWEDEM SOOTWETSTWU@]IENEOBHODIMYE USLOWIQ DLQ RASSMATRIWAEMOGO SLU^AQ. wNA^ALE ONIBUDUT DANY W DOSTATO^NO OB]EJ FORME, DOPUSKA@]EJ PRIMENENIEDLQ [IROKOGO KLASSA ZADA^ mp (KUSO^NO-GLADKIH I PRI PROIZWOLXNYM OBRAZOM ZADANNYH OGRANI^ENIQH, A TAKVE NE OBQZATELXNO KONE^NOMERNYH).

zATEM PROWEDEM KONKRETIZACI@ DLQ OGRANI^ENIJ (3).dLQ OBY^NYH ZADA^ mp (KONE^NOMERNYH, S NEPRERYWNO DIFFERENCIRUEMYMI FUNKCIQMI) SPRAWEDLIWY WSE DALXNEJ[IE POSTROENIQ IWYWODY PRI ZAMENE ZNAKA r OBY^NYM GRADIENTOM. tAKIM OBRAZOM,OSNOWOJ OBOB]ENIQ QWLQETSQ SLEDU@]EEoPREDELENIE 4. fUNKCIQ f NAZYWAETSQ DIFFERENCIRUEMOJ POaDAMARU W TO^KE x 2 Rn , ESLI SU]ESTWUET WEKTOR rf (x) 2 Rn , TAKOJ^TO 8y 2 Rn WYPOLNENO:f x y0 f x hrf x ;yi:(;y !(+0;y )dLQ BESKONE^NOMERNYH ZADA^ KOGDA f FUNKCIONAL E ! R1 GDE ENEKOTOROE FUNKCIONALXNOE PROSTRANSTWO TREBUETSQ rf x 2 E 0 DLQPROSTRANSTWA E 0 SOPRQVENNOGO K E I x;y 2 E w GLADKOM SLU^AEf x I MOVNO POLOVITX y0 TOVDESTWENNO RAWNYM yrf xlim(+)()0),=(|:,,() = grad(,)):,()..46w BEZUSLOWNOJ OPTIMIZACII SU]ESTWENNU@ ROLX IGRALI NAPRAWLENIQ SPUSKA UBYWANIQ CELEWOJ FUNKCII w USLOWNOJ OPTIMIZACIIKROME UBYWANIQ CELEWOJ FUNKCII TREBUETSQ OTSLEVIWATX E]E I NEWYHOD ZA OGRANI^ENIQ pO\TOMU WWODITSQ PONQTIE WOZMOVNOGO ILIDOPUSTIMOGO NAPRAWLENIQ W TO^KE x 2 X DLQ MNOVESTWA OGRANI^ENIJ X KAK TAKOGO WEKTORA y DLQ KOTOROGO 9 0 > x y 2 X 8 2; 0 zAMYKANIE MNOVESTWA WSEH DOPUSTIMYH NAPRAWLENIJ W TO^KEx DLQ X DAET SLEDU@]EEoPREDELENIE 5.

kONTINGENTNYM KONUSOM K MNOVESTWU X W TO^KE x NAZYWAETSQ MNOVESTWO WEKTOROW-().,,-.-,[00 :+].-K X;x : fyj 9 f t;yt gt1=1 t;yt ! ;y ; x tyt 2 X 8tg:o^EWIDNO DLQ x 62 X K X; x ; A DLQ x0 2 X K X;x0nR dLQ x 2 @X W SLU^AE GLADKOJ GRANICY KONUS K X;x NAZY() =(,): (^)(^) =(+0)+,int.(() =)-WAETSQ TAKVE KONUSOM KASATELXNYH I SOOTWETSTWUET KASATELXNYMNAPRAWLENIQM DLQ OGRANI^ENIJ RAWENSTWtEOREMA 1 OB]IJ WID NEOBHODIMYH USLOWIJ LOKALXNOGO MINIMUMA W ZADA^E (1) pUSTX FUNKCIQ f DIFFERENCIRUEMA PO aDAMARULOKALXNOGO MINIMUMA f W ZADA^EX Rn; X 6 ;; 0x0 TO^KATOGDA 8y 2 K X;x hrf x0 ;yi :dOKAZATELXSTWO. wYBEREMt y 2 K X;x0 0 dLQ tSOOTWETSTWU@]IH EMU PO OPREDELENI@ ft ;y g WYPOLNENO x t y 2 X I NA^INAQ S DOSTATO^NO BOLX[OGO t; x0 t yt 2 X \ O" x0 IBO t !SLEDOWATELXNO PO OPREDELENI@ f x0 t yt f x0 w PREDELEPOLU^IM-.().,=|()(1),()0().5+,1f x0 y0 f x0(;y !(+0;y )lim0)(+)(-+)=,(( ;y+lim),-) ((0),).f x0 tyt f x0 ;t;y( t t )!(+0 )(+)()0I TREBUEMOE SOOTNO[ENIE WYTEKAET IZ OPREDELENIQsODERVATELXNO DANNYE USLOWIQ OZNA^A@T ^TO SREDI DOPUSTIMYHNAPRAWLENIJ W TO^KE LOKALXNOGO MINIMUMA NE DOLVNO BYTX NAPRAWLENIJ UBYWANIQ CELEWOJ FUNKCII SM UTWERVDENIE x oDNAKO WTAKOM OB]EM WIDE \TIMI USLOWIQMI NEUDOBNO POLXZOWATXSQkONKRETIZIRUEM POLU^ENNYE USLOWIQ DLQ OGRANI^ENIJ NERAWENSTW KOGDA X ZADAETSQ FORMULOJwWEDEM 8x 2 X MNOVESTWO4.,-(.38)..-,(3).47INDEKSOW J x fi 2 M j gi x g AKTIWNYH OGRANI^ENIJ W TO^KEx T E TAKIH NERAWENSTW IZ KOTORYE W \TOJ TO^KE WYPOLNENY KAK(,) =() = 0.

Характеристики

Список файлов лекций