В.А. Ильин, В.А. Садовничий, Бл.Х. Сендов - Математический анализ (PDF) (1108882), страница 106
Текст из файла (страница 106)
Д о к аз а тельство. Пусть х! и х» — любые две фиксированные точки множества с!. Рассмотрим на сегменте 0«1«1 следующую функцию одной независимой переменной Е Е (1) = [[к!+1(х,— х, ) ] — 1(хс) — 1[1 (хэ) — 1(хс) ]. (12.1.7) Напомним, что второй дифференциал ас»1 функции [(х) = =[(хс, хь ..., х ) независимых переменных (хь хь ..., х ) в данной точке х= (хь хь ..., х ) равен* й»[(х) = ~ ]1 ~ — (х) Ах!ах». дхсдх» с=!»-! Гл.
!2. Функции нескольких переменных 520 Р" (1)=~ ~ [х,+1(х,— х,)[(х'; — х',)(хе — хе), (12.1.9) С.~ .й,г дх,дх„ и=! где (х,', х,', ..., х„') и (хР, х,', ..., х„') — координаты точек х~ и хи соответственно. Сопоставляя соотношения (12.1.8) и (12.1.9), мы убедимся в справедливости равенства Рн(1) =дн~[х,+1(хх — х,)), (12.!.10) в котором в выражении для ае! приращения Лх; взяты равными х,и — х Дальнейшие рассуждения ради определенности проведем для случая, когда второй дифференциал де[ во всех точках Я является квазиположигельно определенной квадратичной 4ормой.
В этом случае для всех ! из сегмента 0<1<1 правая (а значит, и левая) часть (12.1.10) неотрицательна, т. е. для всех 1 из сегмента 0<!<1 (12.1.11) Ри(1) ~0. В силу определения 2 и соотношения (12,1.7) нам достаточно доказать, что для всех ! из сегмента 0<!<! справедливо неравенство Р(!) <О. (12.1.12) Для доказательства неравенства (12.1.12) используем соотношение (!2.1.11) и легко проверяемые равенства (12.1.13) Р(0) О, г (1) =О.
Предположим, что внутри сегмента 0<! «1 существует хотя бы одна точка 0 в которой Р(!)>О. Тогда функция и"(!) достигает своего максимального на сегменте 0<1<1 значения в некоторой внутренней точке !е этого сегмента, причем г (ге) >О. В этой точке !е функция г"(Г) имеет локальный максимум, а потому Р'(1о) =О. Но из неравенства (12.1.11) вытекает, что производная г'(!) не убывает иа всем сегменте 0<1<1, а потому и на сегменте ге«!<1. Отсюда и из условия Р'(!о) =0 следует, что производная г"'(г) неотрицательна всюду на сегменте !о<1<1, а поэтому функция Р(!) не убывает на этом сегменте. Это приводит нас к неравенству г" (1) ~Р(1е) >О, противоречащему второму соотношению (12.1.13). Полученное противоречие доказывает, что наше предположение о том, что на сегменте 0<1<! существует хотя бы одна точка 1, в которой г" (1) >О, является ошибочным, т.
е. доказывает справедливость всюду на сегменте 0 <1<1 неравенства (12.1.12). Дополнение 1 521 Тем самым первая часть леммы (о выпуклости 1(х) при условии, что й'! является квазиположнтельно определенной квадратичной формой) доказана. Вторая часть леммы (о строгой выпуклости !(х) при условии, что сР! является строго положительно определенной квадратичной формой) доказывается аналогично. Исходя из неравенства (12.1.11), справедливого на этот раз со знаком >, и из равенств (12.1.13) и предположив, что внутри сегмента 0(1<! существует хотя бы одна точка й в которой Р(1) ъ.О, мы придем к выводу, что Е(1) имеет внутри сегмента 0~1<1 точку локального максимума 1о, причем Р(1о)»0.
Но тогда, поскольку Е'(1ь) =О, мы получим из (!2.1.11), что Е'(1) >О всюду на полуннтервале !э<1~1, а это означает, что Е(!)>Е(1ь)»0. Мы снова получаем противоречие со вторым соотношением (!2.1.13), которое доказывает, что Е(1) <О всюду на интервале 0<1<1, т. е. доказывает строгую выпуклость 1(х) на множестве (1. Лемма 2 полностью доказана. Доказанная лемма естественно наводит на мысль о рассмотрении следующего еще более узкого класса выпуклых на выпуклом множестве Я и два раза дифференцируемых на этом множестве функций. О п р е д е л е н и е 4.
Два раза дифференцируемая на выпуклом множестве Я функция 1(х) называется с и л ь н о в ы и у кл ой на этом множестве, если существуют такие две положительные постоянные й| и йь что второй дифференциал йт!' этой функции, определяемый соотношением (12.1.8), во всех точках х множества 1г удовлетворяет неравенствам й1(Лх)'<й'! сяз(Лх)'. (12.1.14) (В этих неравенствах через Лх обозначен вектор с координатами (Лхь Лхь ..., Лх ), а символ (Лх)' обозначает скалярный квадрат этого вектора, т. е. скалярное произведение (Лх, Лх).) Из левого неравенства (12.1.14) сразу же вытекает, что второй дифференциал сильно выпуклой функции представляет собой строго положительно определенную во всех точках множества (г функцию, а потому (в силу леммы 2) сильно выпуклая на множестве Я функция заведомо является строго выпуклой на этом множестве.
Вместе с тем класс сильно выпуклых функций достаточно широк н важен в прикладных задачах, и мы ограничимся этим классом при изложении теории градиентного метода поиска минимума. Начнем с выяснения вопроса о существовании и единственнасти минимума. 2. Существование минимума у сильно выпуклой функции и единственность минимума у строго выпуклой функции.
Пусть функция )(х) определена на выпуклом множестве Я. Гл. 12. Функции нескольких переменных Будем говорить, что эта функция имеет в точке хо множества Я л о к а л ь н ы й м и н и м у м, если существует такая б-окрестность этой точки С„что значение /(хо) не больше значений /(х) этой функции во всех точках пересечения б-окрестности С, и множества Я. При таком определении понятие локального минимума включает в себя и точки краевого минимума функции /(х) иа границе множества Я.
Таким образом, при данном нами определении можно подразделить точки минимума на точки в н у т р е н н е г о л ок а л ь н о г о м и н и м у м а (для случая, когда эти точки являются внутренними точками Я) и точки к р а е в о г о л о к а л ьн о г о м и н и м у м а (для случая, когда эти точки являются граничными точками сг). Для изучения вопроса о существовании и единственности точки локального минимума нам понадобится следующая вспомогательная лемма. Л е м м а 3. Пусть на выпуклом множестве () задана дифференцируемая вьгпуклая функция /(х). Для того чтобы зта функция имела локальный минимум в точке хо множества гг', необходимо и достаточно, чтобы для любого вектора Лх, для которого точка х+Лх принадлежит множеству Я, было справедливо неравенство * (йтад/(хо), Лх) ) О.
(12.1.15) До к а з а тел ь ство. Необходимость. В силу утверждения, доказанного в п. 8 2 4 гл. 12„левая часть (12.1.15) равна произведению производной функции /(х) в точке хо и о н а и р а в л ен и ю вектора Лх на длину ~ Лх( этого вектора: (йгад/(хо)„Лх) = — (х,) 1Лх(, д/ де где е=Лх/)Лх( — единичный вектор в направлении Лх. Так как хо является точкой локального минимума функции /('х), то производная д//де(хо) по любому направлению е= =Лх/~Лх~ неотрицательна (точнее, равна нулю в случае, если хо — точка внутреннего локального экстремума, и неотрицательна в случае, если хо — точка краевого локального экстремума).
Итак, правая часть (12.1.16) (а потому и левая часть (12.1.15) ) неотрицательна. Необходимость доказана. Достаточность. Пусть для любого вектора Лх, для которого точка хо+Лх принадлежит Я, справедливо неравенство (12.1.15). Докажем, что точка хо является точкой локального минимума функции /(х). а в неравенстве (12.1.18) берется скалярное произведение векторов Кгаб Яка) и Лх. Определение Кгаб Дк) см, в и. 8 $4 гл. 12.
Дополнение 1 Так как функция 1(х) по условию является выпуклой на множестве Я, то для любых двух точек х, и хо этого множества и любого числа 1 из сегмента 0~1(1 справедливо неравенство (12.1.5). Полагая в этом неравенстве х1=хо, хо=хо+Лх, мы можем переписать это неравенство в виде 1(хо+ Лх) 1(х ) ) 11 о+ ") 1( о) (12 1 17) Считая х, и Лх фиксированными, перейдем в неравенстве (12.1.17) к пределу при г -О+О. По определению производной по направлению (см. п. 8 3 4 гл.
12) предел при 1- О+О правой части (12.1.17) в точности равен произведению, стоящему в правой части (12.1.16). Поэтому в силу соотношений (12.1.15) и (12.1.16) этот предел неотрицатеяен. Учитывая, что левая часть (12.1.17) не зависит от 1, мы получим в пределе при г -О+О из неравенства (12.1.17), что Г(хо+Лх) ((хо) М. Последнее неравенство, справедливое для любого вектора Лх, для которого точка хо+Лх принадлежит Я, доказывает, что функция [(х) имеет в точке хо локальный минимум. Достаточность доказана. Лемма 3 полностью доказана. 3 а м е ч а н и е 1. Из приведенного нами доказательства очевидно, что для случая, когда точка хо является в нутре н ней точкой множества Я, т.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
