Для сильно выпуклых функций:

,

где - константа сильной выпуклости.

Для невырожденной точки минимума:

,

где - наименьшее собственное значение матрицы .

Как видно, в каждом из этих определений играет роль характеристики «запаса устойчивости» точки минимума.

Кроме в качестве характеристики устойчивости точки минимума используют «нормированный» показатель , называемый обусловленностью точки минимума .

,

.

Можно сказать, что характеризует степень вытянутости линий уровня в окрестности - «овражность» функции (чем больше , тем более «овражный» характер функции).

Наиболее важны в идейном отношении следующие методы безусловной оптимизации: градиентный и Ньютона.

Идея градиентного метода заключается в том, чтобы достигнуть экстремума путем итерационного повторения процедуры последовательных приближений начиная с начального приближения в соответствии с формулой , где - длина шага.

Сходимость данного метода подтверждается в доказательстве следующей теоремы:

Пусть функция дифференцируема на , градиент удовлетворяет условию Липшица:

,

ограничена снизу:

и удовлетворяет условию

.

Тогда в градиентном методе с постоянным шагом градиент стремится к 0: , а функция монотонно убывает: .

Для сильно выпуклых функций доказываются более сильные утверждения о сходимости градиентного метода.

При решении задачи оптимизации методом Ньютона используется подход, заключающийся в итерационном процессе вида

и в нахождении точки экстремума как решения системы из n уравнений с n неизвестными

.

В методе Ньютона производится линеаризация уравнений в точке и решение линеаризованной системы вида

.

Анализ достоинств и недостатков итерационных методов оптимизации можно свести в таблицу (см. табл. 3).

Таблица 3 Достоинства и недостатки итерационных методов оптимизации Метод	Достоинства	Недостатки
Градиентный	Глобальная сходимость, слабые требования к , простота вычислений	Медленная сходимость, необходимость выбора .
Ньютона	Быстрая сходимость	Локальная сходимость, жесткие требования к , большой объем вычислений.

Видно, что достоинства и недостатки этих методов взаимно дополнительны, что делает привлекательной идею создания модификаций этих методов, объединяющих достоинства методов и свободных от их недостатков.

Модификацией градиентного метода является метод наискорейшего спуска:

, .

Модификация метода Ньютона с целью придания ему свойства глобальной сходимости возможна, например, способом регулировки длины шага:

.

Такой метод называют демпфированным методом Ньютона. Возможные подходы к способу выбора шага :

• Вычисление по формуле ;

• Итерационный алгоритм, заключающийся в последовательном дроблении шага на константу начиная со значения до выполнения условия , или условия , .

Демпфированный метод Ньютона глобально сходится для гладких сильно выпуклых функций.

Помимо одношаговых методов, к которым относятся градиентный метод и метод Ньютона, существует целый класс многошаговых методов, использующих для оптимизации информацию, полученную с предыдущих шагов. К ним относятся:

1. Метод тяжелого шарика, использующий итерационную формулу , где , - некоторые параметры. Введение инерции движения (член ) в некоторых случаях приводит к ускорению сходимости за счет выравнивания движения по «овражистому» рельефу функции;

2. Метод сопряженных градиентов. Здесь параметры оптимизации находятся из решения двумерной задачи оптимизации:

,

.

Кроме всех вышеперечисленных методов оптимизации существует еще класс методов, основанных на идее восстановления квадратичной аппроксимации функции по значениям ее градиентов в ряде точек. К ним относятся:

1. Квазиньютоновские методы, имеющие общую структуру , где матрица пересчитывается рекуррентно на основе информации, полученной на k-й итерации, так что . К числу таких методов относятся ДФП (метод Давидона-Флетчера-Пауэлла) и BFGS или БФГШ (метод Бройдена-Флетчера-Гольдфарба-Шанно) [46].

2. Методы переменной метрики и методы сопряженных направлений, согласно которым метод , , может рассматриваться как градиентный в метрике , а оптимальным выбором метрики является .

1.7 нейронные сети

В данной работе задачи распознавания образов и восстановления зависимостей будут решаться в основном с применением нейронных сетей. Обзор данной темы основан на [1]-[6], [8]-[15], [22],[23], [32]-[34], [36]-[41], [59], [64], [67]-[70], [83]-[88].

1.7.1 Основные элементы

Нейронная сеть представляет собой структуру взаимосвязанных клеточных автоматов, состоящую из следующих основных элементов:

Нейрон - элемент, преобразующий входной сигнал по функции:

где x - входной сигнал, c - параметр, определяющий крутизну графика пороговой функции, а cm - параметр спонтанной активности нейрона.

Сумматор - элемент, осуществляющий суммирование сигналов поступающих на его вход:

Синапс - элемент, осуществляющий линейную передачу сигнала:

где w - “вес” соответствующего синапса.

1.7.2 Структура сети

Сеть состоит из нейронов, соединенных синапсами через сумматоры по следующей схеме:

1.7.3 Прямое функционирование сети

Сеть функционирует дискретно по времени (тактами). Тогда синапсы можно разделить на “синапсы связи”, которые передают сигналы в данном такте, и на “синапсы памяти”, которые передают сигнал с выхода нейрона на его вход на следующем такте функционирования. Сигналы, возникающие в процессе работы сети разделяются на прямые (используемые при выдаче результата сетью) и двойственные (использующиеся при обучении) и могут быть заданы следующими формулами:

Для i-го нейрона на такте времени T:

где mi0 - параметр инциации сети, xi1 - входные сигналы сети, поступающие на данный нейрон, fiT - выходной сигнал нейрона на такте времени T, Ai1 - входной параметр i-го нейрона на первом такте функционирования сети, AiT - входной сигнал i-го нейрона на такте времени T, aji - вес синапса от j-го нейрона к i-му, aMi - вес синапся памяти i-го нейрона, ai1 - параметр нейрона и ai2 - параметр спонтанной активности нейрона, AiT-1 - входной сигнал i-го нейрона на такте T-1, fjT-1 - выходной сигнал j-го нейрона на такте T-1 и fiT,A - производная i-го нейрона по его входному сигналу.

Для синапса связи от i-го нейрона к j-му:

где sjT - входной сигнал синапса от i-го нейрона к j-му, fiT - выходной сигнал i-го нейрона, aij - вес данного синапса, sijT - выходной сигнал синапса на такте времени T.

Для синапса памяти i-го нейрона:

1.7.4 Обучение сети

В данной задаче обучение будет происходить по “коннекционистской” модели, то есть за счет подстройки весов синапсов.

Суть обучения состоит в минимизации функции ошибки , где W- карта весов синапсов. Для решения задачи минимизации необходимо вычисление градиента функции по подстраиваемым параметрам:

1.7.5 Обратное функционирование

Расчет градиента ведется при обратном отсчете тактов времени по следующим формулам:

Для синапса связи:

Для синапса памяти:

Окончательно после прохождения q тактов времени частные производные по весам синапсов будут иметь вид для синапсов памяти и для синапсов связи соответственно:

Выводы главы 1

2. Применяемый в психодиагностике математический аппарат недостаточно удовлетворяет современным требованиям.

1. Насущной является потребность во внедрении в психодиагностические методики математического аппарата, связанного с распознаванием образов и восстановлением зависимостей.

1. Существующие математические методы и алгоритмы слишком сложны и трудоемки для применения их специалистами - предметниками, в том числе и психодиагностами и не позволяют компьютерным методикам непосредственно по прецедентам перенимать опыт человека-специалиста.

1. Использование математического аппарата нейронных сетей при создании нейросетевых экспертных психологических систем позволяет свести к минимуму требования к математической подготовке их создателей.

Глава 2. Решение нейросетями классических задач психодиагностики

2.1 Классический эксперимент

Специфические особенности математического аппарата нейронных сетей, детально описанные в [36], [41] и опыт их применения в различных областях знания (см. например [5], [8], [10], [13], [84], [86]) подсказали возможность решения при их помощи и психологических задач.

Предполагалось проверить несколько возможностей использования нейронных сетей, а именно:

- Во первых - ожидалось решение серьезной проблемы, возникающей у разработчиков и пользователей компьютерных психологических тестов, а именно адаптивности методик. Математическое построение современных объективных диагностических тестов основано на сравнении, сопоставлении выявленного состояния с нормой, эталоном [21], [71]. Однако понятно, что нормы выработанные для одной социокультурной группы вовсе не обязательно являются таковыми же для другой (в качестве примера можно привести сложности, которые приходится преодолевать при адаптации зарубежных методик). Нейросетевые же имитаторы обладают полезной в данном случае особенностью дообучаться по тому материалу, который предоставит конкретный исследователь.

- Во вторых - предполагалось использование нейросетевого имитатора как рабочего средства исследователя.

- В третьих - оценка возможности создания при помощи нейронных сетей новых, нестандартных тестовых методик. Предполагалось проверить возможность выдачи непосредственных рекомендаций по преобразованию реального состояния объекта, минуя стадию выставления диагноза (построения "измеренной индивидуальности" [26]).