Моделирование свойств химических соединений с использованием искусственных нейронных сетей и фрагментных дескрипторов (1097754), страница 10

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 10)

11. Нейросеть Хопфилда. Пунктирная линия обозначает связь с нулевымвесом. Слой 0 является распределительным, а слой 1 – вычислительным.В этом случае множество возможных состояний располагается внутривышеупомянутого n-мерного гиперкуба, однако абсолютное большинство52практически важных приложений связано с использованием именно бинарныхнейросетей Хопфилда, которыми и будет ограничено дальнейшее изложение.Условиями стабильности нейросетей Хопфилда являются wij = wji и wii =0, т.е. матрица весов связей должна быть симметрична и ее диагональные элементы должны быть нулевыми [91].

Анализ функционирования (в том числе ирассмотрение устойчивости) нейросетей Хопфилда обычно проводят при помощи математического аппарата, основанного на применении особой функции,называемой функцией Ляпунова, которая ограничена снизу и не возрастает приизменениях состояний сети. При работе нейросети значение функции Ляпуновабудет уменьшаться до достижения ее минимума, пусть даже и локального, после чего изменения энергии прекратятся (такая сеть по определению являетсяустойчивой).

Таким образом, наличие функции Ляпунова является достаточнымусловием устойчивости нейросети с обратными связями. Ввиду стремлениясистемы к постоянному уменьшению значений функции Ляпунова, эту функцию часто, пользуясь аналогиями из области физики, называют функцией энергии нейросети, а сами они называются нейросетями, минимизирующими своюэнергию.Функция энергии E нейросети Хопфилда в общем виде может быть записана как:E = (−1 / 2)∑∑ wij oi o j − ∑ I i oi + ∑ t i oi ,iji(52)iгде: Ii – внешний вход в нейрон I; w, o и t – как и прежде, веса связей, выходы ипороги активации нейронов.

Внешний вход вычислительного нейрона используется только для начальной установки исходного значения выхода этого нейрона и убирается сразу же после его первого срабатывания, поэтому при рассмотрении работы нейросети значение внешнего входа можно принять равнымнулю. Если (как в случае нейросетей без обратных связей) ввести условныйпсевдонейрон смещения bias с постоянным уровнем выходного сигнала, равным единице, и соединить его со всеми нейронами вычислительного слоя связью с весом, равным их порогам активации, взятым с обратным знаком, то выражение для энергии нейросети существенно упростится:53E = (−1 / 2)∑∑ wij oi o j .i(53)jВ этом случае при асинхронном срабатывании i-ого нейрона (т.е. при постоянстве выходов остальных нейронов) энергия нейросети изменится на δE:δE = −δoi ⋅ ∑ w ji o j = − δoi ⋅ ai ,(54)j ≠iгде: δoi – изменение выхода i-ого нейрона при его срабатывании; ai – сетевойвход i-ого нейрона, который при этом должен оставаться неизменным.

Если сетевой вход ai меньше нуля, то нейрон не срабатывает, его выход не меняется, и,следовательно, общая энергия сети не меняется. Если сетевой вход больше нуля, то нейрон активируется. Если он и до этого был активным, то его выход иобщая энергия сети при этом не меняются. Если же он до этого был неактивен,то значение δoi будет положительным, а значение δE будет отрицательным,следовательно, энергия сети при срабатывании нейрона будет уменьшаться.При точном равенстве сетевого входа нулю δE тоже равно нулю, т.е. общаяэнергия сети не меняется.

Таким образом, во всех случаях энергия сети либоуменьшается, либо остается неизменной. Следовательно, в процессе работынейросети ее энергия минимизируется.С этим свойством нейросетей Хопфилда тесно связано их использованиев нейроматематике для решения задач оптимизации, и прежде всего комбинаторной оптимизации, что в перспективе не может не найти применения при решении задач «структура-свойство». Для того, чтобы решить задачу оптимизации при помощи нейросети Хопфилда, надо переформулировать эту задачу втерминах минимизации функции Ляпунова, для которой нужно построить соответствующую нейросеть.

Второй и не менее важной областью применения нейросетей Хопфилда является их использование для реализации ассоциативнойпамяти и осуществления распознавания образов (эти две функции тесно связаны друг с другом и поэтому они рассматриваются обычно вместе). Для этой цели используются сети, работающие с сигналами в интервале от -1 до 1.Фаза обучения нейросетей Хопфилда очень проста и сводится к однократному применению имеющего серьезные нейрофизиологические обоснова54ния классического правила Хебба (Hebb) [96] к каждому из векторов обучающей выборки, в результате чего веса связей примут следующие значения:1wij =NN∑xk =1kix kj ,i = 1,K , M ,j = 1, K M(55)где: xik - i-ый компонент k-ого вектора из обучающей выборки; N – количествовекторов в обучающей выборке; M – число компонент в каждом из векторов.После того, как обучающие вектора занесены по формуле (55) в голографическую память нейросети (в оптических нейрокомпьютерах веса нейросетейХопфилда кодируются участками реальных голограмм [97]), нейросеть можетбыть использована для извлечения занесенного в память вектора по предъявлению ей неполного или частично искаженного его варианта.

Для этого выходынейросети инициализируются значениями предъявляемого вектора, и сеть запускается на счет. В результате через определенное время она стабилизируетсяв ближайшем глубоком минимуме функции энергии, и на ее вычислительныхнейронах формируются выходные значения, вектор которых совпадает с однимиз занесенных в память векторов. Если предъявленный вектор представляетсобой неполный вариант запомненного вектора, то в результате работы нейросети происходит его дополнение отсутствующими компонентами. В этом случае говорят об извлечении информации из ассоциативной памяти по заданнойчасти этой информации (как это и происходит в случае человеческой памяти).Если же предъявляемый вектор представляет собой искаженный вариант запомненного вектора, то происходит исправление его, что фактически представляет собой распознавание образов (предполагается, что в голографическую память нейросети загружены типичные представители распознаваемых классовобразов).Нейросети Хопфилда имеют очень ограниченную емкость – безошибочное извлечение запомненных векторов возможно только в том случае, есличисло их не превышает 14% от числа нейронов.

При превышении этого пороганейросеть начинает стабилизироваться в аттракторах, не совпадающих ни с одним из запомненных векторов. Подобные аттракторы получили негативные названия, такие как ложная (spurious) или паразитная память, химеры, русалки и55т.д., и до последнего времени от них старались избавиться. Так, в качестве эффективного средства борьбы с состояниями ложной памяти Хопфилдом с соавторами была предложена процедура разобучения (unlearning) [98], суть которойзаключается в следующем: 1) в многократном предъявлении нейросети в качестве начальных состояний случайно сгенерированных векторов; 2) в прослеживании их эволюции до стационарных состояний o* (которые могут отвечатькак истинному запомненному вектору, так и ложной памяти); 3) модификациивсех весов на вклад:δwij = −ε oi*o*j , i = 1,K, M ,j = 1,K, M ,(56)где ε – небольшая положительная константа.

Поскольку состояниям ложнойпамяти обычно соответствуют более мелкие локальные минимумы, то именноони в первую очередь и подвергаются разобучению. И действительно, в результате комбинирования процедур обучения и разобучения удается существенноповысить емкость нейросети Хопфилда с 14% от числа нейронов до значения,близкого к 100%, что, по-видимому, составляет теоретический максимум емкости нейросети этого типа [99].Крик (Crick) и Митчисон (Mitchison) высказали предположение о том, чтопроцесс, аналогичный разобучению, происходит в мозгу человека во время фазы быстрого (парадоксального) сна [100]. Как известно, во время сна возникаютфантастические сюжеты, весьма далекие, хотя и чем-то напоминающее те, чточеловек видел наяву.

Согласно гипотезе Крика-Митчисона, видения во времясна представляют собой состояния ложной памяти, в которых временно стабилизируются нейроны определенных участков коры головного мозга, возбуждаемые случайными воздействиями ствола мозга во время фазы быстрого сна.Происходящее при этом разобучение приводит к забыванию возникающих вовремя сна парадоксальных картин видений и тем самым упрощает доступ к запомненным образам, соответствующим объектам реального внешнего мира.Таким образом, нейросети Хопфилда присуща человеческая способность «грезить» и «видеть сны», причем, как было показано А.А.

Ежовым, подобные«сны» могут быть «вещими», и во время них нейронная сеть, подобно челове56ческому мозгу во время сна, способна проявлять удивительные «творческиеспособности» и даже делать открытия [18, 101, 102].В качестве примера «творческих способностей» нейросетей Хопфилдаможно упомянуть активную кластеризацию, в процессе которой не толькоформируются аттракторы, которые притягивают векторы из обучающей выборки (попавшие в один аттрактор векторы можно считать относящимися к одномуклассу), но и такие аттракторы (соответствующие состояниям ложной памяти),в которые не притягивается ни один вектор из обучающей выборки (в этом случае говорят о формировании пустых классов) [102]. Иными словами, за счетглубокой обработки информации нейросеть оказывается способной не толькоотносить известные объекты к определенным классам, но и предсказывать наличие новых классов объектов и даже генерировать (описывать) эти объекты[101].

Характеристики

Список файлов диссертации