Автореферат (Методы и алгоритмы интеллектуализации принятия решений в условиях неопределенности на базе аппарата нейронных сетей и эволюционного моделирования), страница 3

Инициализация: формирование начальной популяции 0 с достаточнымразнообразием особей. Проблема начального размера и топологических инноваций решаетсяограничением на количество нейронов ИНС нулевой эпохи.2. Преобразование генотипа в фенотип, обеспечивающее декодирование хромосомособей в множество ИНС.3. Оценка приспособленности, заключающаяся в нахождении наибольшейприспособленности ∗ = argmax ̃ () для функции приспособленности ̃ () в пространстве∈поиска X. Приспособленность ̃ особи i в эпоху , где ∈ [0, +∞], рассчитывается наосновании оценки работы ИНС, штрафа на размер ИНС, штрафа для схожих генотипов ипродолжительности существования особи в популяции.

Если в рамках решаемой задачиприсутствует возможность составления выборок данных, для которых известны требуемыевыходы, функция оценки рассчитывается на основании среднеквадратичных ошибок наобучающем и валидационном множествах. Среднеквадратичная ошибка на обучающеммножестве , необходимая для расчета точности вывода ИНС, вычисляется следующимобразом:2 = √∑=1( − ) ,(2)где – выход нейросети i при подаче на вход q-го образа обучающего множества, –требуемое значение выходного сигнала, ∈ ̅̅̅̅̅1, .Аналогичным образом определяется – среднеквадратичная ошибка навалидационном множестве, показывающая способность ИНС к обобщению.

Штраф наразмер нейросети Φ вычисляется исходя из количества ее нейронов и связей:Φ = +max,(3)maxmax –где– количество нейронов данной особи,максимальное количество нейроновособей эпохи t, – количество связей между нейронами данной особи, max–максимальное количество связей между нейронами особей.Штраф для схожих генотипов рассчитывается на основании min (, ) –минимального расстояния между i-ой хромосомой и другими хромосомами популяции:(,) = 1+ min(4)(,)minНа значение приспособленности также влияет величинапродолжительности периода существования особи в популяции:1 = 1+ , ,обратная(5)где Ti – количество эпох эволюции данной особи.Добавление к значению приспособленности способствует решению проблемынезащищенности инноваций за счет существенного снижения риска удаления особи наначальных эпохах существования. При этом на последующих эпохах не оказываетсущественного влияния на приспособленность.

Функция приспособленности ̃ вычисляетсяпо формуле (1− )+ (1− )̃ = + ,(6)Φ +где , – весовые коэффициенты, отражающие относительную значимостьсреднеквадратичных ошибок вывода на обучающем и валидационном множествах инеобходимые для контролирования способности ИНС к запоминанию и обобщению: =1−2− −, = 1 − (7)При решении задач, для которых невозможно сформировать множество желаемыхоткликов нейросети на эталонные сигналы, вместо параметров и используется функция10оценки работы ИНС c , отражающая качество полученного решения в целом.

Прииспользовании функции оценки функция приспособленности имеет вид:c̃ = ++ ,(8)где c – функция оценки работы ИНС.Для предотвращения преждевременной сходимости и ситуации, в которой средние инаилучшие особи формируют примерно одинаковое количество потомков, на основанииполученной величины ̃ вычисляется масштабированное значение приспособленности :11+ = (̃ + avg − ) 22−1 ,(9)где avg – средняя приспособленность популяции, = ∈ [1, 5], –среднеквадратичное отклонение приспособленностей по популяции.4. Проверка условия завершения: по количеству эпох, исчерпанию времени иликоличества обращений к функции оптимизации, достижению наилучшей комбинации геновили по выходу функции на «плато».

Если условие выполнено, алгоритм завершает работу.Иначе выполняется следующий шаг.5. Селекция. Оператор отбора хромосом SL для новой популяции реализованвероятностным методом в сочетании с методом «элит». Наиболее удачные особи заносятся впул «хороших» решений, остальные выбираются для рекомбинирования с вероятностью : () = ∑ ,(10)=1 где i, j – индексы особей.Пул «хороших» решений необходим для поддержания разнообразия популяции ипредотвращения быстрой сходимости алгоритма.

Хромосома для фенотипа ∗ запоминаетсяв пуле при выполнении условий(∀ ∈ )(((, ∗ ) = max ) ∩ ((∗ ) = max )),(11)где max – максимальное в данную эпоху расстояние между особями, max – максимальнаяприспособленность.6. Рекомбинирование. В данном методе предложен двухэтапный многоточечныйкроссинговер CR. Первый этап кроссинговера заключается в определении количества икоординат точек пересечения c последующим скрещиванием исходных генотипов позаданным точкам. В общем случае результатом скрещивания особей = {1 , 2 , … , }, = {1 , 2 , … , } ∈ эпохи t являются два генотипа эпохи t+1:+1 = {1 , … , 1 , 1 +1 , … , 2 , 2 +1 , … , , … },+1 = {1 , … , 1 , 1 +1 , … , 2 , 2 +1 , … , , … } ∈ +1 ,(12)где , ∈ [1, ] – точки пересечения генотипов, – количество точек пересечения.Количество точек пересечения определяется как случайное число на отрезке[1, min{1 , 2 }], где 1 и 2 – количество нейронов в первом и втором генотипе, отобранныхдля кроссинговера.

Точки выбираются в соответствии с условием = : (1 () =2 ()) ∪ (1 () = 2 ()), где – индекс, позиционирующий нейрон в первом и второмгенотипах; 1 (), 2 () и 1 (), 2 () – соответственно значения параметров и для -го нейрона в данных генотипах. В случае, если индексов c равными значениямипараметров несколько, выбираются индексы с наиболее близкими значениями.

Индексациянейронов в генотипе в совокупности с использованием параметров и снижает рискконкуренции представлений. Второй этап кроссинговера состоит в корректировкесинаптических связей генотипов, а именно в удалении и перераспределении связей,соотнесенных с отсутствующими в новой конфигурации ИНС нейронами. Этап необходимдля гарантии жизнеспособности новых особей.В данном методе мутация MT представлена в восьми модификациях (таблица 3).Вероятность мутации отдельного гена ( ) эпохи равна11− 2 ( ) = √(13)где , , = , – длина хромосомы, – размер популяции.Выбор формулы данного вида обусловлен тем, что для эффективной эволюциивероятность мутации должна быть обратно зависима размеру популяции и понижаться стечением времени.

Хромосомы большой длины обеспечивают вариативность популяции,поэтому значение тем выше, чем меньше параметров содержит хромосома. Параметры, , выбираются до начала эволюции и необходимы для тонкой настройки процессамутации. Вероятности применения каждой из модификаций оператора представлены втаблице 3. Индексирование узлов в генотипе предотвращает риск удаления новых элементов:при выполнении условия = max , где – индекс данного узла, max – индекс последнегодобавленного в генотип узла, вероятность использования операторов удаления равна нулю,что решает проблему незащищенности инноваций.Таблица 3 – Модификации оператора мутацииОбозначениеОписание оператораВероятность применения_Последовательное добавление нейрона _ = 0.1 ( )_Параллельное добавление нейрона_ = 0.1 ( )0, = maxУдаление нейрона = {0.1 ( ), ≠ max_Добавление связи между нейронами_ = 0.1 ( )0, = max_Удаление связи между нейронами_ = {0.1 ( ), ≠ maxДобавление входа, соотнесенного__ = 0.05 ( )параметру из пула0, = maxУдалениевхода,соотнесенного__ = {параметру из пула0.05 ( ), ≠ maxИзменениепараметровнейрона:порога, вида и параметров функции = 0.2 ( )активацииОписанные операторы селекции и рекомбинирования в совокупности с функциейприспособленности и пулом «хороших» особей предназначены для самоадаптацииалгоритма к уровню сложности задачи.7.

Локальная оптимизация. Этап состоит из шагов: эволюционная настройкапараметров ИНС, пересчет функций приспособленности, возвращение к предыдущимзначениям параметров в случае снижения приспособленности. Преимуществамиэволюционной настройки являются независимость от топологии сети и характеристикфункций активации, а также выборочная оптимизация параметров недавно измененных илидобавленных нейронов без затрагивания уже модифицированной на предыдущих итерацияхструктуры.8. Генерирование новой популяции +1 и переход на новую эпоху эволюции t+1(шаг 2):+1 = ( (( , )))(14)Изложенный алгоритм способен исследовать пространство поиска, избегатьлокальные экстремумы и эффективно использовать найденные «хорошие» решения, то естьпостепенно улучшать результаты на основе промежуточных решений.В третьей главе проведено исследование критериев оценки метода для егопрактического применения.

Алгоритмические возможности метода продемонстрированы ввиде результатов применения метода для решения эталонных нейроэволюционных задач,среди которых: задачи адаптивного управления, реализация логических функций,12трудноформализуемые задачи восстановления поврежденных данных. Проведено сравнениерезультатов решения эталонных задач, полученных при помощи известныхнейроэволюционных методов и разработанного метода.

Предложена модель СППР,инкапсулирующая модуль для нейроэволюционной обработки данных в условияхнеопределенности. Описана программная реализация СППР на базе нейроэволюции.Предложенные критерии оценки являются наиболее полными в сравнении скритериями, применяющимися для оценки известных нейроэволюционных методов. Онипозволяют оценить не только параметры процесса эволюции, генетических представлений,формируемых частных решений, но и общие свойства нейроэволюционной системы:динамику средней и максимальной приспособленности популяции, полноту, замкнутость,масштабируемостьи множественностьпредставления, компактностьгенотипа,онтогенетическую приспосабливаемость, модульность, избыточность и устойчивость.

Вработе проведен расчет удаленности приближенного решения от оптимального, доказанасходимость алгоритма и вычислена скорость сходимости процесса генетического поиска коптимальному решению. В таблице 4 представлена оценка свойств генетическогопредставления, используемого в нейроэволюционном методе.СвойствоПолнотаЗамкнутостьКомпактностьВременнаямасштабируемостьПространственнаямасштабируемостьМножественностьТаблица 4 – Оценка свойств генетического представленияОценкаОписаниеВыполненоМежду множествами генотипов и фенотиповустановлена биекция: ↔ ВыполненоНе выполнено В схеме прямого кодирования функциональная итопологическая компактность не могут бытьопределеныW – количество элементов обучающей выборки()ОнтогенетическаяприспосабливаемостьМодульностьГенетическаяизбыточностьФенотипическаяизбыточность()Q – количество структурных элементов фенотипаНе выполнено Каждому фенотипу сопоставлен уникальныйгенотипВыполненоСреда оказывает влияние на параметры фенотипаНе выполнено Генотип содержит связи между нейронами, но некодирует отдельные модулиВыполненоГенотип содержит дополнительную информацию,предотвращающую ошибки декодированияВыполненоРеализована за счет структурной избыточностиВ качестве эталонной задачи адаптивного управления была выбрана задачаоб «обратном маятнике» теории автоматического управления.