Диссертация (1095062), страница 10
Текст из файла (страница 10)
При обработке таких ИНСнейроэволюционнымиметодаминаблюдаетсяэкспоненциальноеснижениебыстродействия с ростом количества элементов ИНС. Данная закономерностьпрепятствует широкому распространению больших нейросетей: такие сетисложно проектировать и настраивать. Для эффективной обработки экстрабольших нейросетей следует уделить особое внимание способу кодированиясвязей разреженных ИНС. При этом структура хранения хромосом должнаудовлетворять следующим требованиям:– биекция между множествами генотипов и фенотипов.
Данное требованиеопределяет прямой метод кодирования хромосом;– компактность кода хромосомы: хромосома должна занимать в памятименьше места, чем соответствующий ей набор разреженных матриц. При этомдлина кода должна уменьшаться при уменьшении связности ИНС, которую онпредставляет;– оптимизация кода хромосом для ресурсоемких операций кодирования идекодирования.572.1.2 Определение генетических операторовОт особенностей реализации генетических операторов во многом зависитвозможностькорректировкинаправленияэволюции.Такжегенетическиеоператоры определяют накладываемые на генотипы и фенотипы ограничения.Большинство из известных методов нейроэволюции используют ограничения нанаправление эволюции, которая может идти либо только по пути структурногоусложнения, либо только по пути структурного упрощения особей.Оба этих подхода ограничивают пространство генетического поиска.Эволюция ИНС путем постоянного усложнения структуры и наращиванияколичества нейронов (увеличения избыточности сети) имеет существенныйнедостаток, заключающийся в высокой вероятности появления тупиковых ветвейэволюции и невозможности возврата к более простым и эффективнымконфигурациям ИНС.
Эволюция ИНС путем упрощения с последовательнымсокращением количества нейронов и связей также сопряжена со сложностями. Косновным недостаткам такого подхода относятся: высокая ресурсоемкость(временные затраты на работу алгоритма и расходуемая на хранение сложныхИНС память) и избыточная сложность ИНС, отбирающейся в качествеоптимального решения. Наиболее целесообразным вариантом организациипроцесса эволюции является совмещение операторов для наращивания исокращения структурной избыточности.Необходимость усложнения структуры ИНС в процессе нейроэволюцииобусловлена основными факторами:1.
Ограничение на нейросетевое обобщение (максимальное количествообразов, распознаваемых ИНС), заключающееся в том, что количествозапомненных образов не может превышать количества нейронов в наименьшемслое. Превышение данного лимита повышает вероятность выработки неверныхвыходных сигналов, воспроизводящих образы, которым сеть не обучена.2. Повышение надежности нейросетевого вывода за счет увеличенияизбыточности ИНС [121].583. Сокращение времени обучения ИНС. Обучать нейросеть с минимальнымчислом связей дольше, чем нейросеть с избыточностью.ПонижениеизбыточностиИНСврядеслучаевможетулучшитьхарактеристики нейросетевого вывода за счет следующих преимуществ:1. Снижение ресурсоемкости ИНС: сокращение числа элементов (и, какследствие, объема потребляемых ресурсов) и повышение скорости вывода.2. Снижение риска «переобучения» ИНС, заключающегося в излишнеточной подгонке реакций нейронов на примеры из обучающей выборки.
Припереобучении теряется способность нейросети к обобщению. Наиболее частопереобучение возникает в ИНС со сложной структурой, не соразмерноймасштабам конкретной задачи.3. Упрощение трудоемкого процесса интерпретации результатов обработкиданных и извлечения знаний на основании нейросетевого вывода.Таким образом, реализованные в методе генетические операторы должныобеспечивать динамичность процесса эволюции и корректировать особи как попути структурного упрощения, так и по пути структурного усложнения. Стоитотметить, что большинство известных нейроэволюционных методов применимытолько для нейросетей определенного типа. Например, метод GNARL [29]работает только с рекуррентными ИНС, в методе ENS3 [100] заложеныограничения на вид функции активации, HyperNEAT [108] не предназначен дляэволюции топологии.
Ограничения, накладываемые на структуру ИНС в ходенейроэволюции, препятствуют применению данных методов к решению многихклассов задач.Этодостаточноопределяетцелесообразностьуниверсальногометода,ивостребованностьдопускающегоразработкигибкую адаптациюкрешаемым задачам. Требования, выдвигаемые к реализации генетическихоператоров, формулируются следующим образом:– для выбранной схемы кодирования хромосом должен существоватьполный набор генетических операторов, такой, что для любых двух особей59существует последовательность применения операторов, переводящая одну особьв другую;– способ реализации генетических операторов не должен накладыватьограничений на направление процесса эволюции: качественные и количественныеизменения могут идти как по пути усложнения, так и упрощения;–особенностиреализациигенетическихоператоровнедолжныограничивать пространство поиска.
В связи с чем операторы должныреализовывать добавление и удаление нейронов и связей, корректировкупараметров ИНС при необходимом условии формирования жизнеспособныхособей.Всоответствиисданнымитребованиямивметодереализованыгенетические операторы кроссинговера и мутации. Оператор кроссинговеранеобходим для совмещения генетического материала хромосом-предков иформирования на его основе хромосомы-потомка. Так как хромосомы,подвергающиесякроссинговеру,предварительнопроходятэтапотбора,целесообразно ожидать, что на каждой итерации ГА приспособленностьхромосом-потомковвозрастает.Крометого,кроссинговерпривноситвпопуляцию разнообразие, так как генерирует новые, ранее не встречавшиесярешения.Метод создания родительских пар оказывает существенное влияние напроцесс генетического поиска.Так, обсуждение вопроса об эффективностигенетического алгоритма невозможно вести в отрыве от реализуемого механизмаотбора при формировании нового поколения.
Оператор мутации – этодиссипативный компонент эволюции, играющий важную роль в случаеизменяющейся среды.Однако и в сложной стационарной среде мутацияпозволяет избегать проблем преждевременной сходимости к локальнымоптимумам и вырождения популяции за счет привнесения разнообразия и новойинформации в генофонд. Следует учитывать, что оператор мутации дляизменения вида и параметров функции активации оказывает большое влияние на60эффективность нейроэволюции. Мутация оперирует отдельными генами особи,среди которых присутствуют числовые и номинальные признаки. В соответствиис теоремой схем [65, 74], применение оператора мутации лишь в редких случаяхснижает приспособленность представлений меньшего порядка, а кроссинговерредко снижает приспособленность представлений с меньшей определяющейдлиной.Этифакторывлияютна вероятностьприменениямутацииикроссинговера.
Вероятность сохранения наилучших особей в новой популяции,зависящая от реализации операторов кроссинговера и мутации, обеспечиваетсходимость метода [67].2.1.3 Определение этапов эволюции топологии и настройки параметровособейПринято выделять два подхода к эволюции топологии и параметров ИНС,определяющие их последовательную и параллельную оптимизацию [112].Подход последовательной оптимизации предполагает разграничение этаповформирования топологии и обучения ИНС для настройки весов. На первом этапеосуществляется только эволюция связей между нейронами. Затем, посленахожденияквазиоптимальнойтопологии,настраиваютсявесовыекоэффициенты.Подходпараллельнойоптимизацииобеспечиваетодновременнуюмодификацию топологии и корректировку весов. Для метода раздельнойоптимизации топологии и изменения весов характерны сложности в точномопределении приспособленности особей и низкая эффективность процессаэволюции.
Как следствие данного недостатка вероятность создания при помощикроссинговера особей с высокой приспособленностью заметно снижается.В связи с этим можно сформулировать следующие требования к этапамнейроэволюции:– параллельная модификация топологии и параметров особей;61– наличие этапа локальной оптимизации. При условии параллельнойсовместной модификации топологии и параметров ИНС должен быть реализованмеметический этап, позволяющий полностью исследовать множество решений.2.1.4 Определение дополнительных структур данныхГенетические алгоритмы, реализующие направленный перебор комбинацийпараметров ИНС, демонстрируют высокую скорость работы исключительно привысоком качестве исходных данных.
В противном случае число итерацийалгоритма быстро растет, и вычислительная сложность оказывается сопоставимойс экспоненциальной сложностью полного перебора возможных решений.ИНС склонна обучаться в первую очередь наиболее простым признакам. Вусловиях сильной неопределенности и зашумленности входных данных это,прежде всего, артефакты и явления «ложной корреляции». Отбор наиболееинформативных и значимых переменных в традиционных регрессионном итаксономическом подходах [95] осуществляется путем взвешивания признаков сиспользованием различных статистических критериев.
Тем не менее, найтирешение данной проблемы в условиях неполных данных о решаемой задаче невсегда возможно.В связи с этим в данной работе предлагается автоматизированный подход кпроблемеподбораиспользованиивходныхструктурыпараметровданных(пула),нейросети.Онсодержащейзаключаетсямножествоввсехдопустимых параметров задачи, из которых может быть сформирован входнойвектор ИНС. Таким образом, входной вектор различных особей может содержатьвсе параметры или определенное подмножество параметров из пула.Использованиепулавходныхпараметровобеспечиваетпонижениеизбыточности ИНС путем сокращения множества входных параметров, котороеявляется частным случаем контрастирования нейросети.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
