Моделирование свойств химических соединений с использованием искусственных нейронных сетей и фрагментных дескрипторов (1097754), страница 11
Текст из файла (страница 11)
Известным примером такой предсказательной категоризации являетсясоздание Д.И. Менделеевым периодической системы элементов, в которой ссамого начала были определены три пустые клетки (фактически новые классыобъектов) и описаны свойства входящих в них гипотетических объектов – новых химических элементов, которые впоследствии и были обнаружены.Аналогия с высшей нервной деятельностью человека на этом, однако, незаканчивается.
Оказывается, для нейросети Хопфилда не чуждо даже эстетическое «чувство прекрасного». В процессе запоминания векторов нейросеть всвоей голографической ассоциативной памяти «рассматривает» запоминаемыевектора как «зашумленные» версии некоего «идеала». Она старается восстановить его за счет отбрасывания шума (путем наложения друг на друга образов,приводящих к уменьшению вклада некоррелированных компонент, т.е. шума) иуже найденный идеальный образ запомнить, создав для него аттрактор памяти.Судя по всему, Крик и Митчисон правы лишь отчасти: нейросеть во время«сна» грезит не для того, чтобы забыть ложные видения, а для того, чтобы, забыв несущественные элементы действительности, сформировать внутри себя«прекрасный идеал», который необходимо как можно лучше запомнить и к которому «устремлять свои помыслы».
Благодаря этому обстоятельству нейросети Хопфилда могут быть использованы как эффективный инструмент очище57ния от шума, поиска скрытых закономерностей в «зашумленных» объектах ивыделения из них исходного объекта-прототипа. В качестве характерных примеров можно привести осуществляемый при помощи нейросетей Хопфилда поиск промоторов в ДНК [18], скрытых повторов в ДНК и реконструкцию эволюционных изменений в них [103].Машина Больцмана. Одним из недостатков нейросетей Хопфилда является их тенденция стабилизироваться в локальном, а не глобальном минимумефункции энергии.
Одним из способов преодоления этой трудности является использование стохастического варианта нейросети Хопфилда, называемогообычно машиной Больцмана. Подобное название нейросетей этого класса обусловлено тесной связью методов их описания с математическим аппаратом статистической термодинамики (а также данью уважения к ее основателю Больцману).Если в детерминированных нейронных сетях, к которым относятся нейросети Хопфилда, нейрон всегда возбуждается при превышении сетевым входом ai определенного порогового значения (которое путем введения biasпсевдонейронов всегда можно сделать нулевым), то в стохастических нейросетях, к которым относится машина Больцмана, сетевой вход определяет лишьвероятность pi перехода нейрона i в возбужденное состояние:pi =1,1 + exp(−ai / T )(57)где T – искусственная температура. Заметим, что в знаменателе этого выражения находится фактор Больцмана, показывающий вероятность пребывания системы в условиях термодинамического равновесия при температуре T на энергетическом уровне, превышающем нулевой на k·ai энергетических единиц (где k –постоянная Больцмана).При запуске машины Больцмана на выходы вычислительных нейроновзаносятся начальные значения, определяемые входным вектором.
Машина запускается при высоком значении искусственной температуры, и сети предоставляется возможность самостоятельно минимизировать свою энергию приуправляемом извне постепенном понижении указанной температуры. После ох58лаждения системы и достижения термодинамического равновесия считываютсявыходные значения нейронов (при неполном охлаждении считываются вероятности пребывания нейронов в активном состоянии). Поскольку описанная процедура полностью соответствует известной процедуре нахождения глобальногоминимума по методу искусственного закаливания (simulated annealing), то всегда можно подобрать такую скорость охлаждения системы, чтобы можно былодостигнуть глобального минимума энергии.
В данном случае можно говорить о«кристаллизации мысли» у нейросети, поскольку как работа нейросети, так иреальный процесс кристаллизации из расплава, описывается одним и тем жематематическим аппаратом статистической термодинамики. Более того, прианализе работы машины Больцмана часто используют те же самые фазовыедиаграммы состояний и таким же образом рассматривают фазовые переходы,как и в физической химии для реальных веществ и материалов.Процесс обучения машины Больцмана обычно включает стадии «активного обучения», «разобучения во время сна» и «коррекции весов» [104].
Настадии «активного обучения» поочередно закрепляют на нейронах выходныезначения, задаваемые входными векторами, дают сети релаксировать до наступления равновесия и для каждой пары нейронов по всему множеству обучающих векторов определяют Pij+ - вероятность того, что нейроны i и j одновременно находятся в активном состоянии. На стадии «разобучения во время сна»нейросеть запускают множество раз, начав со случайных состояний, и в результате для каждой пары нейронов определяют Pij− - вероятность того, что нейроныi и j одновременно находятся в активном состоянии. И, наконец, на последнейстадии проводят коррекцию весов по формуле:Δwij = η ( Pij+ − Pij− ) ,(58)где η – коэффициент скорости обучения.591.3.
Основные принципы применения искусственных нейронных сетей для прогнозирования свойств химических соединенийВ большинстве работ по применению нейросетей обратного распространения (многослойных персептронов) для поиска зависимостей структурасвойство используется следующая методология. Прежде всего, подготавливается база данных, содержащая структуры химических соединений и известныезначения тех свойств, которые в дальнейшем предполагается при помощи обученной нейросети прогнозировать. Как правило, эта база разбивается на двечасти, по первой из которых, называемой обучающей выборкой, путем многократного ее предъявления нейросети производится обучение последней, а повторой, называемой контрольной выборкой, производится контроль прогнозирующей способности обученной нейросети. В качестве вариантов иногда используются две контрольные выборки, а также процедура скользящего контроля, при которой каждое из соединений при одной из разбивок попадает в контрольную выборку.
На следующем этапе для всех химических соединений извыборок производится расчет дескрипторов, т.е. чисел, описывающих структуру химического соединения. Как правило, эти числа инвариантны к перенумерации вершин молекулярного графа, которым может быть описана структурахимического соединения, т.е. являются инвариантами графов.
Дескрипторы могут быть фрагментными (подструктурными), топологическими индексами, физико-химическими, квантово-химическими, характеристиками пространственных структур и т.д. Достаточно полный набор дескрипторов, используемых всовременных исследованиях структура-свойство, описан в книге Р.Тодескини(R.Todeschini) и В.Консонни (V.Consonni) [105].Далее, после необязательной стадии предварительного отбора либо преобразования дескрипторов следует этап построения нейронной сети.
Числонейронов входного слоя обычно берется равным числу дескрипторов, и уровеньвыходного сигнала каждого из них устанавливается равным значению соответствующего дескриптора после его нормализации или масштабирования). Числовыходных нейронов равно числу одновременно прогнозируемых свойств, при60чем в качестве прогнозируемого значения каждого из свойств берется выходноезначение соответствующего выходного нейрона (обычно после денормализацииили демасштабирования).
Скрытые нейроны служат для промежуточных вычислений, и их число часто подбирается, исходя из критерия максимизациипрогнозирующей способности нейросети, а псевдонейроны смещения выполняют служебные функции и обладают постоянным выходным значением, равным единице.В процессе обучения нейросети обучающая выборка предъявляется ейопределенное число раз (обычно довольно большое). В процессе предъявлениявыборки значения дескрипторов каждого из соединений последовательно вводятся (обычно после нормализации или масштабирования) в качестве активности соответствующих входных нейронов. Далее запускается нейросеть на счет,и с выходных нейронов снимаются прогнозируемые значения свойств, которые(после денормализации или демасштабирования) сравниваются с экспериментальными. На основании найденной разницы по определенным алгоритмампроизводится подстройка весов связей между нейронами с целью уменьшенияэтой разницы.
Таким образом, в процессе обучения происходит постепенноеуменьшение ошибок прогнозирования свойств химических соединений, входящих в обучающую выборку.На момент начала выполнения диссертационной работы в литературеимелось лишь несколько публикаций [106-108] по применению искусственныхнейронных сетей для прогнозирования свойств химических соединений, В этихработах нейросети были использованы для моделирования биологической активности в узких рядах органических соединений в рамках классического подхода Ганча-Фуджиты на основе использования констант заместителей в качестве дескрипторов.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
