В.А. Ильин, Э.Г. Позняк - Основы математического анализа (DJVU) (1108889), страница 114
Текст из файла (страница 114)
102) ,«пя доказательства неравенства (14.102) используем сооттюшенне (14.10!) и легко проверяемые равенства Г(0) = О, Г(1) = О. (14.103) Прсдпоги)жиы, что внутри сРГЯ!Р11!а 0 («г «(1 су!ЦРствуР г хОтя бы одна точка 1, в которой Г(1) > О. Тогда функция Г(4) достиГаслт свос',ГО ме1кснмйлье10ГО нй с)с)гмгсгнтс) 0 «( т «(1 значРния в некоторой внутренней точке 10 .этого сегмента, причем Г(йо) > О. В этой точке ко функция Г(4) имеет локальный максимум, а потому Г'(1о) = О. Но пз неравенства (14.101) вытекает, что проглзводная Г'(1) не убывает нй всеъл сегменте 0 < 1 < 1, й потому и на сегменте КО < ~ < 1. Отсюда н из усчовия Г'(1о) =0 след с)т, что ~)оиглводггегя Г (1) неотригтательнй Гсгодг пй сс".г-мсгнтс'. 1О (1 < 1, й поэтому функция Г(1) не убывает на этом сегменте.
Это приводит нас к неравенству Г(1) > Г()0) > О протнворечаппгму второму соотношеншо (14.103). Полученное противоретие доказывает, что предположение о том, что на сегменте 0 ( Х ( 1 существует хотя бы одна точка 1, в которой Г(1) > О, является ошибо шым, т. е. доказывает справедливость во!оду на сегмс нтс" 0 < 1 < 1 неравенства (14.102). '1ем самым первая часть леммы (о выпуклости 1'(х) при условии, тто 11 1 является квазиполо)кительно определенной квадрати'тнОЙ с))ОВМОЙ) дОказае1а. Вторая часть леммы (о строгой выпуклости 1(х) ггргг условии, что 11 7 является строго положительно определеншпг квад1Я1тп'1етОЙ 11)ора!ОЙ) 1!Оказывается апти10Гично. ИсхОдя из нсрйвонства (14,101), справедливого на этот раз со знаком >, и из равенств (14.103) и предположив, что внутри сегмента 0 < 1 < 1 существует хотя бы однй тм)чка Й в которой Г(Х) > О, мы придем к выводу, что Г(1) имеет внутри сегмента 0 < 1 < 1 точку локального максимума ~Ш причем Г(йв) ) О.
110 тогда, ггоскольк) Г'(1о) = О, из (14.101) получим, что Г'(1) > 0 ил!году на г~шуинтервале 1й < Е < 1, а это означает, что Г(1) > Г(11)) > О. .Е1ьг снОва НОлучаем ггротиворсгчисэ со в10рым сООтнопптниеът (14.103). которое доказывает. что Г(~) < 0 всюду на интервале 0 < 1 < 1, т, е.
доказывает строгую выпуклость 7"(х) нй множестве ЕЗ. 1 1'ЛДИЕН'!'НЫЙ Ь!ЕТОД НОИОКЛ НКОТ1'ЕМУМЛ 551 21еыэн) 2 полностыо доказана. доказанная лемма естественно наводит на мысль о рассмотрении следующего еще более узкого класса выпуклых па выи ~клоь! МножестВс. Сд и дВВ рагз, дис))фц)епцируеыых на этОм множестве функций. Определение 4. Двп раап дслфферслтлцируемпя на выпуклом мноэняестве Сг ф12)лкция. 2 (х) на.,)ьлваетася, с и л, ь н о в и и у кл о тл на, этполл мнонсеспглге, если гуцестсгун)тп тслкие. две положиагсльныг. нг)стоянньле Л! и !12, что втпорот дифференциал 112у этой функции, опредсляемьш, гоотношением (14.98).
во всех точках х мноэа)еспгва сг) удовлст)к)рлвт непавенс.'тсласм )ц . (л, )2 < 1121 < )с2 , (л)) )2 (14.104) !В этих неравенствах через л))х обозна !ен вектор с координатами (Ьэ)).ллх2....,Ьхтп). а символ (Ьх) ооозпачает скалЯРпыи квадрат этого вектора,.) Из левого неравенства 114.104) сразу же вытекает, что второй дифференциал сильно выпуклой функции представляет собой строго положительно определенную во всех то !ках множества Ц фупкци!о. а потому Св силу леммы 2) сильно выпуклал на множегтпве.
Сд фу)ап!ия заведомо являетгл, строго выпуклой на этом множеспше.. Вместе с тем класс сильно выпуклых функций достаточно широк и Важен В 1ц)икладных задачах. и мы ОГрпничнмс)! этим классом при изложении теории градиентного метода поиска минимума. На шс)м с ВыяснР!ш)1 ВОпрОса О с'ущРстВОва!п1и и О 1!динстеен" ности минимума.
2. Существование минимума у сильно выпуклой функции и единственность минимума у строго выпуклой функции. Пусть функция у(х) определена на вьшуклом лгножестве с,г. БУдем говоРить, что эта фУпкЦиЯ имеет в точке ха множества, С,г л о к а л ь н ы й м и н и м у м, если существует такая Л-окрестность этой точки ха, что:)пачсппс 1(ха) является наимш1ьшим среди 3!Эпшс)ниы 1(э)) этой с))5 пкции ВО Всех точках пересечения о-окрестности хв и множества О.
При таком Определении пОнятиР локальноГО ъпнпгы1ума Вкспошет в себя н )оч)сн крас!Восо минимума ф н)спин ф!х) на ! 1Кн нице множес:тва бгг. Таким Ооразом, прг! данно:! Нами ОП1л)деленян можно подразделить точки минимума на то !ки внутреннего локального миниъгума (для сну !ая, когда эти точки яв.ппотся внутренними тОЧКаМИ Сг)) И тО !Ки КРаЕВОГО ЛОКаЛЬНОГО МИНИМУМа !ДЛЯ СЛУ ПШ, кОГда эти то'!ки ЯВляются Граничнь)мн то'!кими с)1).
Г:1. !! эь нкнии нкскольких нирнминных Для из«н>ния ВО«ц)оса О сущ«>стВОВании и единстВ!'.нностп точки локального к!Ннпх!уя!а нам понадООН1ся !':!«)Дующая Вспомогательная теорема. Лемма 3. Пусои> но! выпуклом мнооюестве с) задано, дифференцируемая выпуклая функция 1(з>). Лля того чтобы, зта фУнкЦил имела локольныт1 минимрл«в точгке:го множлютва !т» необход!«мо !л до«таточно, что>бы для любого веко!Ора,Ьх, для. которого точка з>0 +,Ь«> аринадлесчгит л!нооюеству б)> было сн)>аведливо >«е1>авенсп>во ) (ага«1 )" (хо). Ьх) ) О. (14.105) Доказательство. 1) Необходнмость. Всилу 1"!В«ер>кд«>ния, д«)к!Кзанн«п«) в п. 6 «) 4 «л.
14, л«>вая «асгь (14.105) равна прои;>ведению производной функции ф(х) в точке хн по направлению вектора Ьх на длину (Ьх! этого вектора: (йта«11( 0) >г ) = де (:>оигт:х1 (14 106) зх где е = "- едини гпый вектор в направзени!«,л:«х Так как хо является точкой локального миним! Ма функции е>х 1'(«г). то производная — (ха) по любому нану>авлснию е = де )Лх) неотрнцательна (точнее, равна ну:по в случае, если:го — точка внутреннего локального зкстрех!ук«а, и неотрицательна в случае, если 1;о . точка кРаевого локального экстРемУма).
Итак, правая часть (14.106) (а потому и левая часть (14.105)) пеотрицательна. Необходимость доказана. 2) До с т а т о ч и о с т ь. Пусть для любого вектора Ь«г, для которого точка хо + «1«:«: принадлежит Ст), справедливо неравенство (14.105). Докажем, что точка хо является точкой локального минимума функции 1 (х). Так как функция 1(х) по условию является выпуклой на мно)кес1Ве. б), то дл"1 люОых дВух точек «с! и ха этого множестВВ и л!Обого п«ела 1 пз с«>гм««нта 0 ~ (1 ~( 1 справ«длине н«>равенство (14.95). Полагая в этом неРавенстве х! = >го, >ха = хо+ «1х, мож- НО переписать это н«>раВ!'Яство В Виде у( +ь") — у(» )(х«>т«~х) 1(хе) (14.107) Считая хв и Ь:х «1>икс~>«)ва!«Иык!и, пер««идем В неравенств!« (14.107) к пределу при 1 — > 0 + О.
По определению производной по направлению (см. и. 6 З 4 гд. 14) предел при А — > О+ 0 ') В неравенстве (14,105) берется скалярное нронзвеленне векторов к!ай Пхв) н Лх. Оареце)>анне кта«) 1(хе) см, в н. б 1 4 гл. 14. Гглдиен'!'ный ь!етОд ИОискл экст!'емумл 553 правой части (14.107) в точности равен произведению, стояли му в правой части (14.106). Поэтому в силу соотнопп>ний (14.105) и (14.106) этсп предел неотрицателсп. Учитывая, что ля вая часть (14.107) пе зависит от Х, ь«ы получим в пределе при 4 — > О+ 0 и« неравенства (14.107), что «(сто + с.'>х) — «(хо) > О. Последнее неравенство, справедливое для любого вс>ктора,Ьх, для которого точка:с:о + «1>:«> принадлежит о>>., доказывает.
что функция «(х) имеет в точке хо лслсальный минимум. Дс>статичность доказана. „!емма 3 полностью .«оказана. 3 а и с ч а н и с 1. Из приведя>нного нами доказательства очевидно, что для случая. когда точка хо является в н у т р е ин е й точкой множества Я, т. е. когда речь идет о внутреннем локальном минимуме, в формулировке леммы 3 знак > в нераве«1стве (14.105>) мо>к1«о з'>манить ««а знак 3 а и с.
ч а и и е 2. Пр««доказатс>льстив неооходимости леммы 3 мы не использовали требования выпуклости функции «(с«;). Поэтому доказательство псобходиъ«ости проходит бс з требования выпуклости функции «(х). Иными словами, справед,пиво следующее у т в е р ж д е н и е: если функция «(х) диффаре>яяяпруаляо но, выпуклоля ляножеспгва С~ и имеет локальный миьисмум во вну«праннай (в граночкой) точка хо этого мнс>жаство., то для любого векторе, с."«хз для.
когпорого точки, хо + с.">х принадлежит Я~, а»1>авадл««во неравенство (йга«1«(хо) с.">;«) = 0 ((йга«1«(хо),с.">х) > 0). Перейдем к вопрос«о единственности и о стществовании точки локалыюго минимума. Теорема (о единственности локального минимума у строго выпуклой функции). Если фунт1ия «(х) диффаран; цируами и старого сяь«ггуклл нв вь>пуклом множаатсн: ф то вна, мопн:ат иматпь лик«>льный' минимум только в однои точка эп>ого ля>сот«>ас>тви. Д о к а з а т е:««с т В о. Предпо.«о>ням. «то фу>«кция «(х) имеет пока«ьный минимум в двух р а з л и ч н ы х то «ках х« и:гг множества О.
Тогд>«чсловие выпуклости (14.95) для точек х> и хг можно:Записать в вид«'. «( . ) «(,. ) > «(х> я «(хг х>)) «(х>) (14. 108) (з,п*.сь ! люоос. «ис:«о из се~~ен~а 0 ~ (У ~( 1). Меняя в соотношении (14.108) точки х1 и с«>г ролями, мы получим неравенство «(х1) — «(х ) > «(х> " " ' . ( .10 ) 584 г:!. !! эх нкции нискольких пиримннных В пределе при 1 — > 0+ 0 правая часть (14.108) (соответственно правая чагть (14.109)) дает производнун) функции «(х) по напРав)1снию В<эктойа хл — 2:! (РООтВетственно В<ектоуа 2:! — хл), Взяту<о в точке .т:1 (соответств<нно в точке хл), умноженную па /хг — х</.
Так как обе то <ки х> и х> являются точками локального минимума, то обе указанные производные по направлению неотрицательны, г. е. пределы правых частей (14.108) и (14.109) при 1 — > 0+ 0 оба неотрипательны. Таким образом, пз неравенс!в (14.108) н (14.109) в пределе при 1 — > О+ 0 мы получим «(2>2) — «(х>) > О, .«(21!) — «(хв) > О Сопосг!В.,п!ни<1 по< цдних н<р !Вене!В приводит пас к зак.по.!енню о том, что «(<с!) = «(хл). Используя равенство «(х!) = «(хл), мы получим нз условия строгой выпуклости (14.96), что «Ге<+1(<ст — <х!)1 < «(х!) (14.110) для всех 1изинтервалаО<1<1. Неравенство (14.110) противор<'чит тому, что функпия «'(х) имеет локальный минимум в точке х~ (в точке х! + 4(хг — х!), как угодно близкой прп малом 4 к точке х>, функция «(х) имеет значение, меньшее значения «(х ! ) ) .
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
