Диссертация (Методы и алгоритмы интеллектуализации принятия решений в условиях неопределенности на базе аппарата нейронных сетей и эволюционного моделирования), страница 13

При этомструктура настолько простая, насколько это необходимо для построения ГА.Достаточно, чтобы было односвязным и являлось замыканием своейвнутренности. Второе условие гарантирует, что мера Лебега положительна [12].Так как предложенный генетический алгоритм не накладывает ограниченийна количество особей в популяции и длину хромосомы, можно предположить, чтоГА оперирует популяцией с бесконечным количеством особей → +∞,77хромосомы которых состоят из бесконечного числа генов → +∞.

Исходя изэтого, целесообразно утверждать, что любой вектор ∈ может бытьзакодирован в хромосомах, состоящих из действительных чисел, со сколь угоднойточностью. Пусть оптимизируемая функция () имеет экстремум в точке ∗ : ∗ = arg max () и задано некоторое значение ε > 0. Тогда множество всех∈квазиоптимальных решений, полученных c заданной точностью решения задачи,определяется как ε –окрестность ∗ : ( ∗ ) = { ∈ | || − ∗ || ≤ } ,(2.20)где || − ∗ || – Евклидова метрика в пространстве ℝ .Таким образом, для приближенного отыскания ∗ достаточно, чтобыполученное решениемножеству ( ∗ ), дляпринадлежалокоторогосправедливо неравенство [23]:{ ( ∗ )} ≤ { ∈ ℝ | || − ∗ || ≤ },(2.21)где – мера Лебега множества.Неравенство (2.21) выполняется тогда и только тогда, когда шар { ∈ℝ | || − ∗ || ≤ } целиком лежит в , то есть расстояние от ∗ до границымножества меньше, чем .

Тогда для { ( ∗ )} справедлива формула{( ∗ )}= 2 2Γ( +1),(2.22)∞где Γ(α) = ∫0 −1 − – гамма-функция.Пусть в начальную эпоху эволюции особи популяции распределеныравномерно, следовательно, плотность распределения вычисляется как0 () =1{},(2.23)где 0 () – плотность распределения особей в нулевую эпоху эволюции.Пустьсформированоквазиоптимальноерешениезадачи ,закодированное в наиболее приспособленной хромосоме, сформировавшейся поитогам работы ГА. Тогда вероятность того, что расстояние между и ∗меньше или равно заданной точности , вычисляется следующим образом:78∗0 {|| − || ≤ } = { ∈ ( ∗ )}={ ( ∗ )}≤{} 2 2Γ( +1){},(2.24)где 0 – вероятность выполнения данного условия в 0-ую эпоху.Очевидно, что в последующие эпохи эволюции процесс распределениявероятностей изменяется и перестает быть равномерным. Он определяетсяреализуемыми в методе генетическими операторами селекции и рекомбинации.Тем не менее, для пропорционального отбора без учета воздействия со стороныдругих генетических операторов известна зависимость =−1 ()()∫ −1 ()(),(2.25)где – эпоха эволюции.

∗ меньше или равноВероятность того, расстояние между изаданной точности в -ую эпоху эволюции, определяется формулой {|| − ∗ || ≤ } = { ∈ ( ∗ )} = ∫ ( ∗) ()(2.26)В случае малых в пределах множества ( ∗ ) плотность вероятностиможно считать постоянной, а интегрирование заменить умножением на меруЛебега ( ∗ ):∗ {|| − || ≤ } ≈ ( ) {( ∗ )}≤ 2 Γ( 2 +1) ( ∗ )(2.27)С учетом вероятностей, определенных для нулевой и i-ой эпох эволюции,можно рассчитать вероятность того, что минимальное расстояние между и ∗ не превышает , для всего эволюционного процесса в целом:{ min || − ∗ ||≤ } = 1 − ∏=0(1 − ∫ ( ∗ ) () )0≤≤(2.28)Для малых значений формула (2.28) может быть приведена к виду:{ min ||0≤≤∗− ||≤ } = 1 −∏=0(1− 2 Γ( 2 +1) ( ∗ ) )(2.29)С помощью данных выражений решается обратная задача: по заданномузначению вероятности { min || − ∗ ||≤ } определить количество эпох0≤≤79эволюции i, при котором минимальное расстояние между квазиоптимальнымрешением и глобальным оптимумом ∗ не будет превышать заданнойточности .

Также при количестве эпох эволюции, стремящемся к бесконечности,следует сделать два заключения о плотности и значении вероятности.Во-первых,при → ∞ справедливо следующее: () → ( − ∗ ), где() – это функция Дирака, по определению удовлетворяющая двум условиям:+∞,() = {0,=0,≠0+∞∫−∞ () = 1(2.30)(2.31)Иными словами, последовательность плотностей вероятности сходится кфункции Дирака.Во-вторых, при → ∞ справедлива формула{ min || − ∗ ||≤ } → 1.0≤≤(2.32)Исходя из полученной оценки сходимости ГА следует, что количество эпохэволюции, необходимых для генерации решения задачи, находится в зависимостиот размерности и вида (), а степень сложности задачи и сходимость процессапоиска решения определяются свойствами оптимизируемой функции.

Можносделать вывод, что алгоритм сходится при сильной зависимости скоростисходимости от размерности n множества X.2.5 Выводы по второй главе1. Разработан новый нейроэволюционный метод, обладающий следующимипреимуществами:1.1. Метод оперирует нейросетями произвольной топологии и не ставитограничений на количество слоев и нейронов в каждом слое, видсинапитческих связей, вид функций активации нейронов. Это отличает егоот многих методов, оптимизирующих только ИНС заданной топологии80(например, полносвязные или нейросети прямого распространения). Сприемлемой скоростью метод оперирует сверхбольшими нейросетями инейросетями со сложной топологией: сверточными, полносвязными,Сиамскими ИНС и т.д.1.2.

В отличие от большинства известных реализаций нейроэволюции,оптимизирующих только топологию ИНС или весовые коэффициенты,метод модифицирует все параметры ИНС: топологию, веса, пороговыезначения, вид функций активации и ее параметры для каждого нейрона.1.3. В отличие от всех известных методов, данный метод автоматизируеттрудоемкий процесс подбора входных параметров ИНС при помощивведения дополнительного пула характеристик.1.4. Метод способен направлять нейроэволюцию как по пути структурногоупрощения ИНС, так и по пути структурного усложнения. Таким образомсоблюдается баланс между сложностью ИНС, скоростью эволюции иоптимальностью нейросетевого вывода.2. Предложеныновыеалгоритмыгенетическогопоиска,обладающиеследующими преимуществами:2.1.

Разбиение процесса оптимизации на этапы локального и глобальногогенетического поиска для последовательной модификации топологии ипараметров.Данныймеметичныйподходпозволяетопределить,показывает ли данная особь низкую приспособленность из-за неудачносформированной топологии или неправильно подобранных весов, а такжевыборочнооптимизироватьпараметрынедавноизмененныхилидобавленных нейронов, не затрагивая при этом уже модифицированную напредыдущих итерациях работы алгоритма структуру.2.2. Реализованные генетические операторы и структура хромосомы всовокупности позволяют комбинировать нескольких нейросетей в одну ссохранением их «жизнеспособности».Благодаря этому становится81возможной генерация «нестандартных», нерегулярных топологий игибридных ИНС.3.

Проведены расчеты для: оценки сходимости алгоритмов, оценки удаленностиприближенного решения от оптимального и скорости сходимости процессапоиска. На основании приведенных расчетов сделан вывод об эффективностиалгоритмов.82ГЛАВА 3. РАЗРАБОТКА МЕТОДИКИ ПОДБОРА КРИТЕРИЕВОЦЕНКИ НЕЙРОЭВОЛЮЦИОННОГО МЕТОДА ИЭМПИРИЧЕСКОЕ ИССЛЕДОВАНИЕ ЕГО ЭФФЕКТИВНОСТИ3.1 Разработка методики расчета основных критериев оценкипараметров нейроэволюционного методаДля корректной оценки эффективности нейроэволюционного методанеобходимо учитывать как отдельные, так и совокупные характеристикиконкретной реализации нейроэволюции. Рассмотрим совокупные свойствапроцесса эволюции, генетических представлений и свойства особей популяции.1. Свойства процесса эволюции, являющиеся косвенным критериемопределенияскоростисходимостиГАиэффективностиприменяемыхгенетических операторов:– вычислительная сложность ГА.

Временная и пространственная сложностьГА определяют оперативность и ресурсоемкость процесса эволюции. Однакооценка вычислительной сложности возможна только в случае упрощеннойпостановки задачи. В качестве альтернативы было проведено исследованиестабильности работы и эффективности предложенного ГА на серии эталонныхзадач (п. 3.2 диссертационной работы);– сходимость процесса нейроэволюции – одна из ключевых характеристиккачества ГА, показывающая способность алгоритма приводить к результату законечное число эпох (п. 2.4 диссертационной работы);– качество формируемого решения – свойство, определяющее близостьрешения к глобальному экстремуму (п.

2.4 диссертационной работы);– динамика средней приспособленности. Средняя приспособленностьпопуляции может определяться как среднее арифметическое или медианаранжированного ряда приспособленностей особей. Средняя приспособленность83популяции avg в предложенном методе была вычислена эмпирически намножествеэталонныхзадач(п.3.2диссертационнойработы).Экспериментальные данные показали, что она варьируется в пределах avg ∈[0.2, 0.9] в зависимости от решаемойзадачи. Это свидетельствует обэффективности эволюционного процесса.2. Общие свойства генетических представлений, по которым следуетоценивать различные методы, выделялись многими авторами. Наиболее полныйнабор свойств предлагают использовать К. Балакришнан и Б. Хонаван [60].

Далеедано определение данных свойств.Полнота. Представление R является полным, если каждой нейросетевойтопологии из множества решений может быть сопоставлен генотип:(∀∗ ∈ ∗ )(∃ ∈ )(( = (, ) ∩ ( = ( , ))) ,(3.1)где P – пространство всех возможных в данном представлении фенотипов; ∈ – генотип, принадлежащий множеству генотипов ;∗ ⊆ – множество решений: в нейроэволюционной системе с представлением Rсуществует решение в случае если ∗ ⊆ или хотя бы ∗ ∩ ≠ ∅;(, ) – функция декодирования D генотипа , соответствующего фенотипу всреде ;( , ) – функция обучения, преобразующая под влиянием среды фенотип вфенотип .Замкнутость.