Моделирование свойств химических соединений с использованием искусственных нейронных сетей и фрагментных дескрипторов (1097754), страница 9
Текст из файла (страница 9)
Если нет других соображений, то всепримеры, относящиеся к одному классу, считаются равнозначными, и поэтомувеса всех связей, идущих к одному нейрону из слоя суммирования, берутсяодинаковыми и равными 1/NC. В этом случае на нейронах слоя суммирования47формируются выходные сигналы, равные значениям функций плотности вероятности f, вычисляемым по формуле (45).Выходной слой P-нейросети также содержит MC линейных нейронов почислу классов в решаемой классификационной задаче. Вес связи, идущей отнейрона c слоя суммирования к нейрону k выходного слоя, берется равнымпроизведению αk (априорной вероятности для класса k) на штраф vkc за ошибочное отнесение примера, относящегося к классу k, к классу c. В этом случае нанейроне k выходного слоя формируется сигнал, равный:MCρ k ( x) = ∑ vck α c f c ( x) .(48)c =1Если нет никаких дополнительных соображений, то веса всех штрафов vkcберутся равными единице, а величины априорных вероятностей для классов берутся равными доле примеров, относящихся к этим классам, в обучающей выборке.
Поскольку величина формируемого на нейроне выходного слоя сигналаρk(x) равна значению функции риска отнесения текущего примера x к классу k,то наиболее вероятный класс l для данного примера может быть найден из условия минимального значения функции риска:l = arg min{ρ k ( x)} .(49)1≤ k ≤ M CТак же, как и в случае GR-нейросети, при наличии сильных корреляциймежду компонентами входных векторов x более корректно (хотя это значительно усложняет расчеты) использовать в формуле (046) вместо квадратов расстояний Эвклида (x-xi)T(x-xi) квадраты расстояний Махаланобиса (x-xi)TΣ-1(x-xi).Так же, как и в случае GR-нейросети, единственным настраиваемым параметром P-нейросети является фактор сглаживания σ, оптимальное значениекоторого подбирается исходя из критерия максимизации прогнозирующей способности нейросети, оцениваемой при помощи процедуры перекрестногоскользящего контроля.481.2.5.4. Нейросети на основе теории адаптивного резонансаБазирующаяся на нейрофизиологической теории адаптивного резонансапроцедура категоризации векторов (см.
работы [78-81]) основана на сравненииочередного вектора с эталонными векторами, описывающими уже найденныеранее категории (кластеры). Если очередной вектор «похож» по определенномукритерию близости на один из эталонных векторов, то он используется для егонастройки, в противном же случае он сам объявляется представителем новойкатегории данных и запоминается в виде нового эталонного вектора. Описаннаяпроцедура реализуется в виде нейросети, состоящей из слоя сравнения, который оценивает «сходство» векторов, слоя распознавания (каждый нейрон егоописывает свою категорию (кластер) данных) и нескольких дополнительныхэлементов.
Подробность категоризации (а, значит, и количество категорий)контролируется специальным «параметром бдительности». Подобная архитектура получила название ART-1 для категоризации бинарных векторов и ART-2для категоризации векторов вещественных чисел. ARTMAP представляет собоймодульную нейросеть, состоящую из двух сетей типа ART для категоризациивекторов (в случае корреляций структура-свойство эти вектора соответствуютдескрипторам и свойствам органических соединений), и модуля сравнения, вкотором происходит запоминание «ассоциаций» между категориями дескрипторов и свойств. Основанный на использовании аппарата нечеткой логики вариант ARTMAP под названием fuzzy ARTMAP используется для решения регрессионных задач [82, 83].
Особенностью fuzzy ARTMAP является очень высокая устойчивость к переучиванию, что достигается благодаря автоматическойнастройке «параметра бдительности», контролирующего кластеризацию векторов дескрипторов, что позволяет строить модели с минимально возможнойсложностью.1.2.5.5. Нейросети с обратными связями (рекуррентные нейросети)Все рассмотренные выше нейросети не имели обратных связей, т.е. связей, идущих от нейронов выходного слоя к псевдонейронам входного. Если ус49ловно принять, что срабатывание искусственного нейрона происходит за одинтакт, то время работы всей нейронной сети, выраженное числом таких тактов,равно числу слоев вычислительных нейронов, т.е. общему числу слоев за вычетом входного слоя псевдонейронов (не производящих вычислений).
Если же внейросети ввести обратные связи, то время работы таких нейросетей ничем неограничено и может продолжаться до бесконечности. Поскольку при стремлении времени такта к нулю разностные уравнения, описывающие работу нейросетей, переходят в дифференциальные, то, следовательно, функционированиеэтого вида нейросетей может быть альтернативно описано при помощи дифференциальных уравнений движения (т.е. движения условной псевдочастицы, координаты которой соответствуют значениям выходных сигналов нейросети). Всвязи с этим нейросети с обратными связями могут быть использованы для моделирования динамических процессов (т.е.
происходящих во времени). Однако,сфера применения указанных нейросетей этим далеко не ограничивается.Как и любая нелинейная динамическая система, нейронная сеть с обратными связями в процессе своей работы в конечном счете приходит к одному изтрех состояний: 1) к стационарному состоянию, когда выходные сигналы нейросети перестают меняться во времени; 2) к периодически или квазипериодически изменяющемуся семейству состояний; 3) в особых случаях к непериодическим изменениям в пределах определенного множества состояний. В дифференциальной топологии для описания этих конечных состояний используюттермин «аттрактор», куда включаются: 1) устойчивые точки, называемые такжестоками, соответствующие остановке движения; 2) замкнутые орбиты, в понятие которых включаются либо предельные циклы, соответствующие устойчивому периодическому движению, либо торы, соответствующие устойчивомуквазипериодическому движению; 3) апериодические кривые, соответствующиехаотическому движению (подобные аттракторы часто называют странными)[84, 85].
Нейронные сети, динамика работы которых соответствует первомуслучаю, т.е. достижению стационарного состояния, называются устойчивыми, впротивном же случае их называют неустойчивыми. Математическим описанием процессов, характерных для динамики неустойчивых нейросетей с обратны50ми связями, занимается специальная наука – синергетика. Неустойчивые нейросети могут быть использованы в химии: 1) для описания колебательных химических процессов [86] типа реакции Белоусова-Жаботинского [87, 88] в случае нейросетей с периодическими состояниями (и наоборот, колебательные химические реакции могут быть использованы в качестве «элементной базы» дляпостроения нейрокомпьютеров [89]); 2) для моделирования хаотических явлений, диссипативных процессов и связанных с ними явлений самоорганизации вслучае нейросетей с хаотическим поведением.
Следует также отметить, чтоименно функционирование нейросетей с обратными связями (и особенно неустойчивых!) наиболее точно соответствуют процессам, происходящим в кореголовного мозга человека, о чем свидетельствует возможность использованиянейросетей этого вида для описания реальных электроэнцефалограмм (см., например, [90]), а также наличие у них определенных свойств и особых режимовработы, традиционно приписываемых высшей нервной деятельности, таких какассоциативный характер памяти, «творчество», «грезы» во время «сна» и т.д.
–на некоторых из них мы остановимся ниже. Что же касается исследований связи «структура-свойство», то это пока что область применения устойчивых нейросетей.Хотя первые вычислительные эксперименты с рекуррентными нейросетями проводились, по-видимому, еще на заре нейросетевой эры, лишь с начала80-ых годов, с появлением адекватного математического аппарата для их анализа и, вместе с ним, нахождением условий стабильности [91], начался активный этап их изучения и практического использования.
Несомненный приоритетв изучении простейших однородных нейросетей с обратными связями принадлежит Дж. Хопфилду (J. Hopfield), именем которого были названы эти нейронные сети и работы по которым сыграли огромную роль в формировании современных представлений об искусственных нейронных сетях [92-95].Нейросети Хопфилда. Нейросети Хопфилда можно условно представитьсостоящими из двух слоев: 1) распределительного слоя псевдонейронов (в оригинальных статьях Хопфилда он отдельно не рассматривается), которые занимаются лишь распределением сигналов; 2) вычислительного слоя нейронов,51выполняющего одновременно функции входного и выходного слоев, причеммежду слоями имеются как прямые связи, идущие от распределительного слояк вычислительному, так и обратные связи, идущие от вычислительного слоя краспределительному (см.
Рис. 11). В зависимости от решаемой задачи, сетиХопфилда работают с уровнями сигнала, находящимися в интервале как от 0 до1, так от -1 до 1. В классическом варианте нейроны вычислительного слоя обладают пороговой активационной функцией (2) при уровнях сигнала от 0 до 1либо (50) при уровнях сигнала от -1 до 1:⎧ 1, x ≥ 0f ( x) = ⎨.⎩− 1, x < 0(50)В этом случае нейросеть является бинарной, т.е. множество ее возможныхсостояний располагается на вершинах n-мерного гиперкуба, где n-число нейронов в вычислительном слое [92]. Имеется также и аналоговый вариант нейросети Хопфилда с сигмоидной активационной функцией (3) для уровней сигналаот 0 до 1 либо с функцией (51) для уровней сигнала от -1 до 1 [93]:f ( x) = th( x) =e x − e− x.e x + e −x(51)Рис.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
