Диссертация (Методы и алгоритмы интеллектуализации принятия решений в условиях неопределенности на базе аппарата нейронных сетей и эволюционного моделирования), страница 11

Упрощение ИНС62контрастированиемобладаетследующимипреимуществами:снижениересурсоемкости ИНС, снижение риска «переобучения» ИНС [107, 121].2.2 Реализация нейроэволюционного метода поддержкипринятия решений2.2.1 Описание структур данных нейроэволюционного методаВ соответствии с выдвинутыми в данной главе требованиями к схемекодирования хромосом в качестве структуры хранения данных для генетическогокодирования выбран список смежности.

Размер занимаемой им памяти линейнозависит от количества нейронов и количества синаптических связей как( + ). Компактность данной структуры открывает возможность оперированиятопологией глубоких ИНС с экстра-большим, порядка десятков тысяч,количеством нейронов.Емкостьпамяти,используемойальтернативнымиструктурамидлягенетического кодирования, зависит от параметров и в лучшем случаеполиномиально. Так, емкость памяти, занимаемой матрицей смежности, можнооценить как ( 2 ), а матрицей инцидентности – соответственно как ( ∙ ).Списоксмежностиставитвсоответствиекаждому-омупроиндексированному нейрону список пар вида {0 , 0 }, где – индекснейрона, связанного синапсом с -ым нейроном, а – вес этой связи, ∈ [1, ].Для входных нейронов этот список пуст. Также для каждого нейрона списоксмежностихранитпороговоезначение,видtype , ипараметры{0 , … , }, функции активации .

Каждый -ый элемент списка смежности имеетвид:{, {{0 , 0 }, … , { , }}, , type , {0 , … , }, , } ,(2.1)63где – минимальное количество узлов ИНС, через которые должен пройтивходной сигнал, чтобы достигнуть -го нейрона; – минимальное количество узлов ИНС, через которые должен пройтисигнал, сгенерированный -ым нейроном, чтобы достигнуть выхода.Важным свойством описываемой структуры является избыточность.Помимо перечисленных параметров она содержит дополнительные параметры:минимальное количество узлов , через которые должен пройти входнойсигнал, чтобы достигнуть -го нейрона, и минимальное количество узлов ,через которые должен пройти сигнал, сгенерированный -ым нейроном, чтобыдостигнуть выхода.

Хранение и пересчет этих параметров способствуют решениюпроблемыконкуренциипредставлений,свойственнойсхемепрямогокодирования.При помощи данного универсального представления кодируются нейросетилюбой топологии и размерности. Собственно, эволюционные алгоритмы или ГА снеограниченным пространством поиска представляют на данный моментнаибольший научно-практический интерес.На рисунке 2.1 приведен пример структуры простой рекуррентной ИНС сконтекстом и единственным скрытым слоем. Структуре такой нейросети можетсоответствовать список смежности, представленный в таблице 2.1.Рисунок 2.1 – Рекуррентная ИНС с единственным скрытым слоем64В данном списке смежности нейрону с индексом сопоставлены: вектор пар̅̅̅̅̅̅̅̅̅̅̅{ , } индексов ,видфункциии весовых коэффициентов , пороговое значениеактивацииtype ,векторпараметров̅ ,значения и соответственно для расчета минимального расстояния до входа ивыхода ИНС.Таблица 2.1 – Список смежности рекуррентной ИНС̅̅̅̅̅̅̅̅̅̅̅{ , }—0mth—0mth{10, 0.45}0sigm{11, 0.8}0sigm{12, 0.91}0sigm{1, 0.21}0g{1, 0.5}, {2, 0.42}, -0.3 g{3, 0.7}8 {1, 0.1}, {2, 0.3}, 0g{4, 0.8}9 {5, 1}0g10 {6, 0.98}0th11 {7, 0.54}, {8, 0.5}0th12 {9, 0.75}0thi1234567̅1.5, 3, 1.68, 21.7, 2.5, 1.5, 21.0720.892.01, 0.51.68, 0.93002221122222112, 0.93111.08, 1.1, 0.7621.31.3122210002.2.2 Реализация этапов нейроэволюционного методаИсследование пространства поиска осуществляется на этапах локального иглобального генетического поиска.

Данные этапы определяют эффективностьпроцесса поиска решения и способности ГА избегать локальных экстремумов ирешают проблему преждевременной сходимости. Исследование пространствапоиска заключается в модификации топологии и параметров особей при помощигенетических операторов. Алгоритм локального поиска, оперирующий особямипопуляцииисохраненными«хорошими»решениями,предназначендляитерационного улучшения имеющихся результатов от поколения к поколению наоснове уже найденных «промежуточных» решений. Отсутствие этапа локального65поиска может привести к тому, что эффективность ГА будет сравнима сэффективностью случайного поиска на пространстве решений.

Кроме того, оноотрицательно сказывается на скорости поиска и качестве генерируемых особей.Пусть необходимо применить оператор одноточечного кроссинговера [84] кскрытым слоям двух ИНС, изображенных на рисунке 2.2: нейросети А инейросети B, скрытые слои которых соответственно состоят из нейронов синдексами [4, 5, 6, 7] и [7, 4, 5, 6].[4, 5, 6, 7]  [7, 4, 5, 6] = [4, 5, 5, 6](2.2)Одним из возможных результатов является комбинация [4, 5, 5, 6], вкоторой недостает нейрона 7 и продублирован нейрон 5, то есть отсутствует одиниз функциональных компонентов ИНС.Рисунок 2.2 – Иллюстрация проблемы конкурирующих представленийДанный пример иллюстрирует проблему конкурирующих представлений,приводящуюзначительномукпоявлениюснижениювпопуляциирезультативностинежизнеспособныхработыособейинейроэволюционногоалгоритма.

Индексация узлов ИНС и добавление в представление параметров и позволяют успешно решить проблему конкурирующих представлений.Во-первых, новые узлы, добавляемые в ИНС операторами мутации икроссинговера, обладают большими индексами, чем узлы, присутствовавшие вИНС в предыдущее эпохи нейроэволюции. Во-вторых, наличие сведений о66кратчайшем пути к входным и выходным узлам препятствует скрещиваниюучастков нейросети, несущих разную функциональную нагрузку.

Например,становится принципиально невозможным кроссинговер между C-плоскостями иS-плоскостями неокогнитрона [85]; между слоями свертки и подвыборки всверточной ИНС [104] или слоями параллельных подсетей Сиамской ИНС [109].Мутация в измененных за предыдущие эпохи участках ИНС менее вероятна, чемв не эволюционировавших участках. Индексирование узлов снижает рискудаления из популяции новых элементов, что решает проблему незащищенныхинноваций.2.3 Реализация алгоритмов глобального и локальногогенетического поиска2.3.1 Генетический алгоритм глобального поискаВ реализованном методе нейроэволюции используются два пула:1. Пул входных параметров, составляющих множество потенциальныхвходов ИНС.

В процессе эволюции на основе данного пула формируются входныевекторы особей. Пул входных параметров предназначен для оптимизациипроизводительности ИНС при сохранении качества вывода.2. Пул доступных в процессе нейроэволюции функций активации, которыйхранится в отдельном списке и содержит такие функции как сигмоида() =11+ −, функция Гаусса () =гипертангенс ℎ() =параметровкаждого / − −/ / + −/нейрона1 √21 − 2)2 ,− (модифицированныйи другие.

Пул необходим для тонкой настройкии,соответственно,повышенияточностинейросетевого вывода. На эффективность нейроэволюции непосредственновлияют подбор генетических операторов и вид функции приспособленности,67описанные в рамках соответствующих этапов эволюционного алгоритма(рисунок 2.3).НачалоИнициализацияДекодированиеОценка приспособленностиУсловие завершениявыполнено?ДаНетСелекцияРекомбинированиеЛокальная оптимизацияФормирование новойпопуляцииКонецРисунок 2.3 – Блок-схема организации процесса нейроэволюцииРассмотрим эти этапы более подробно.1.

Инициализация. Формирование начальной популяции P0 с достаточнымразнообразием особей. Проблемы начального размера и топологических68инноваций решаются ограничением на количество нейронов нейросетей нулевойэпохи. Для списка смежности реализована операция удаления нейронов, афункцияприспособленности,накладывающаяштрафнаразмерИНС,гарантирует, что в ходе эволюции количество узлов нейросети не будет строговозрастающим.2. Преобразование генотипа в фенотип: декодирование хромосом особей вомножество ИНС.3.

Оценка приспособленности. Для функции приспособленности () впространстве поиска требуется найти такое значение аргумента ∗ ,прикотором () достигнет своего наибольшего значения: ∗ = argmax ().(2.3)∈Приспособленность особи i в эпоху , ∈ [0, +∞], рассчитываетсяисходя из оценки работы ИНС, штрафа на размер ИНС, штрафа для схожихгенотипов и продолжительности существования особи в популяции.Если в рамках решаемой задачи присутствует возможность составлениявыборок данных, подающихся на вход ИНС, для которых известны требуемыевыходы, функция оценки рассчитывается на основании среднеквадратическихошибокнаобучающемивалидационноммножествахпрецедентов.Среднеквадратическая ошибка на обучающем множестве , необходимая длярасчета точности вывода ИНС, вычисляется следующим образом:2 = √∑=1( − ) ,(2.4)где – выход нейросети i при подаче на вход q-го образа обучающегомножества; – требуемое значение выходного сигнала; ∈ ̅̅̅̅̅1, .Аналогичным образом определяется – среднеквадратическая ошибка навалидационном множестве, характеризующая способность ИНС к обобщению:2 = √∑=1( − ) ,(2.5)69где – выход нейросети i при подаче на вход q-го образа обучающего множества; – требуемое значение выходного сигнала; ∈ ̅̅̅̅̅1, .Штраф на размер нейросети Φ вычисляется исходя из количества еенейронов и связей:Φ=max+max,(2.6)где – количество нейронов данной особи;max– максимальное количество нейронов особей эпохи t; – количество связей между нейронами данной особи;max– максимальное количество связей между нейронами.Штраф для схожих генотипов рассчитывается на основании min (, ) –минимального расстояния между i-ой хромосомой и другими хромосомамипопуляции: =Учетнеобходимдляmin (,)(2.7)1+ min (,)поддержанияразнообразияпопуляцииипредотвращении преждевременной сходимости.

На значение приспособленноститакже влияет величина , обратная продолжительности периода существованияособи в популяции: =11+,(2.8)где Ti – количество эпох эволюции данной особи.Суммирование со значением приспособленности способствует решениюпроблемы незащищенности инноваций за счет существенного снижения рискаудаления особи на начальных эпохах существования. При этом на последующихэпохах не оказывает существенного влияния на приспособленность.С учетом вычисленных данным способом среднеквадратических ошибок,значенийштрафов и продолжительности существования особиприспособленности вычисляется по формулефункция70̃ = (1− )+ (1− )+ ,Φ +(2.9)где , – весовые коэффициенты, отражающие относительную значимостьсреднеквадратическихмножествахиошибокнеобходимыевыводадлянаобучающемконтролированияивалидационномспособностиИНСкзапоминанию и обобщению: =1−2− −, = 1 − (2.10)Таким образом, формулу (2.9) для расчета приспособленности можнопредставить в развернутом виде:̃ =1−22(1−√∑=1( − ) )+ (1− )(1−√∑=1( − ) )2− −(,)+ +1+ minmin (,)max max+11+(2.11)При решении задач, для которых невозможно сформировать множествожелаемых откликов нейросети на эталонные сигналы, вместо параметров и строится функция оценки работы ИНС c , отражающая качество полученногорешениявцелом.Косвеннаяоценкаcнеобходимадлярешениятрудноформализуемых задач, где присутствуют неопределенность и сложностьформирования обучающего множества.

Как правило, c явно или неявно зависитот выходного вектора ИНС. При использовании функции оценки функцияприспособленности имеет вид:̃ =c ++ ,(2.12)где c – функция оценки работы ИНС.Для предотвращения преждевременной сходимости и ситуации, в которойсредние и наилучшие особи формируют примерно одинаковое количествопотомков, значение ̃ масштабируется [86] по формуле = (̃ + ̃avg − ) ,где ̃avg – средняя приспособленность популяции; = ∈ [1, 5];(2.13)71 – среднеквадратичное отклонение приспособленностей по популяции; ∈ [1, 1.5] – коэффициент, подбираемый с учетом специфики задачи.Отсутствие изменений приспособленности лучшей особи популяциисвидетельствует о стагнации поиска.4. Проверка условия завершения эволюции.