Моделирование свойств химических соединений с использованием искусственных нейронных сетей и фрагментных дескрипторов (1097754), страница 7
Текст из файла (страница 7)
Действительно, устройство некоторых отделов головного мозга оченьнапоминает строение и принцип функционирования указанных нейросетей. Вкачестве примеров можно привести: а) строение соматосенсорной коры головного мозга, в которой информация с сенсорных участков близких частей телаотображаются в топологически близкие нейроны; б) строение слуховой корылетучей мыши, в которой строится карта окружающих предметов за счет преобразования первичных данных ультразвуковой эхолокации.Таким образом, нейросети Кохонена позволяют строить на плоскости карту,выявляющую топологическую структуру выборки в многомерном пространствевходных векторов.
В связи с этим нейросети Кохонена часто называют самоорганизующимися картами (self-organizing maps - SOM). В том случае, когда число примеров в выборке значительно больше числа нейронов в сети Кохонена, и,следовательно, каждый из нейронов активируется по крайней мере несколькими примерами, то говорят о нейросети Кохонена низкого разрешения (lowresolution SOM). Если же число примеров в выборке сравнимо, либо дажеменьше числа нейронов, то говорят о нейросети Кохонена высокого разрешения (high-resolution SOM).
При наличии ассоциированного выходного свойствау примеров из выборки нейроны часто изображаются в виде ячеек, каждая изкоторых окрашена в цвет, кодирующий среднее значение этого свойства у всехпримеров, приводящих к активации соответствующего нейрона. Получаемые37цветные карты представляют собой очень эффектный (а в эстетическом планедаже и красивый) способ визуализации и анализа данных.К числу задач, решаемых при помощи нейросетей Кохонена, обычно относятследующие: визуализация, кластеризация и сжатие многомерных данных, атакже аппроксимация плотностей вероятности и комбинаторная оптимизация.Вышеупомянутое сжатие данных в нейросетях Кохонена происходит за счетпонижения размерности данных до размерности решетки нейронов конкурирующего слоя, а так же за счет кодирования множества векторов, активирующих какой-либо нейрон, одним усредненным вектором, компоненты которогоравны значениям весов связей, идущих к этому нейрону.
Подобная операциякодирования множества векторов одним кодирующим вектором (codebook vector) называется квантованием векторов (vector quantization) [56, 57] и часто используется для аппроксимации плотности вероятности распределения векторовданных [58].
Поскольку алгоритмы обучения всех нейросетевых квантователейвекторов неизменно включают стадию «конкурентной борьбы» между нейронами за право быть активированными текущим вектором входных сигналов,подобные нейронные сети часто называют конкурирующими.Кроме рассмотренных выше нейросетей Кохонена, другими представителями этого же класса нейросетей, уже нашедшими применение при обработкехимических данных, являются: нейронный газ [59-61], растущий нейронный газ[61, 62], а также целый набор обучающихся квантователей векторов (LearningVector Quantizers - LVQ) [63, 64]: LVQ1, LVQ2, LVQ2.1, LVQ3. В нейронномгазе, в отличие от нейросетей Кохонена, нейроны конкурирующего слоя необъединены в какую-либо решетку или другую графовую структуру, поэтомувместо топологического расстояния в функции соседства (38) используетсяобычное Эвклидово расстояние.
Напротив, в растущем нейронном газе нейроны, как и в сетях Кохонена, уже объединены в решетку, однако, в отличие отсетей Кохонена, размерность решетки и число нейронов в ней не задается заранее, а определяется по ходу обучения путем постепенного наращивания нейросети. Обучающиеся квантователи векторов используют информацию о принадлежности векторов к определенным классам для того, чтобы вектора, активизи38рующие один и тот же нейрон, относились по возможности к одному классу.Это достигается путем использования разного знака перед α(t) в формуле (37) взависимости от правильности или неправильности классификации текущеговектора.
Поэтому нейросети последнего класса можно применять также для целей классификации.Нейросети Кохонена могут использоваться непосредственно, а также какчасть составных нейронных сетей, где они служат для предварительной обработки входных данных.1.2.5.2. Нейросети встречного распространения (counterpropagation)Нейросети встречного распространения (counterpropagation neural networks) [65] представляют собой пример составных нейронных сетей, включающих в свой состав самоорганизующуюся карту Кохонена (см. выше) и т.н.звезду Гроссберга [66]. В отличие от нейросетей Кохонена, они реализуютстратегию обучения «с учителем», и поэтому могут быть использованы как дляклассификации, так и для решения регрессионных задач.Нейросети встречного распространения состоят из 3 слоев: входного,скрытого слоя Кохонена и выходного слоя Гроссберга (см. Рис.
7). В соответствии с особенностями архитектуры, обучение проводится в 2 этапа: сначала проводится обучение слоя Кохонена «без учителя» согласно рассмотренной вышестандартной схеме для этого класса сетей по формулам (35-38) с использованием только входных векторов, после чего идет настройка «с учителем» выходного слоя Гроссберга с использованием выходов нейронов Кохонена и векторовжелаемых сигналов (т.е.
экспериментальных значений прогнозируемых свойствв случае QSAR/QSPR-анализа) по формуле:vij(t +1) = vij( t ) + β ( y j − vij )k i ,(39)где: vij(t ) - вес связи, идущей из нейрона i в слое Кохонена на нейрон j в слоеГроссберга на t-ой итерации; ki – выход i-ого нейрона Кохонена; yj – желаемыйвыход для j-ого нейрона Гроссберга; β – параметр скорости обучения, который39первоначально берется равным ~0.1, и затем постепенно уменьшается по ходуобучения.Нейросети встречного распространения могут работать в режимах аккредитации и интерполяции. В наиболее часто используемом режиме аккредитации только для одного нейрона-победителя в слое Кохонена генерируется ненулевой выходной сигнал (как и должно быть в стандартном варианте нейросети Кохонена). В этом случае в результате обучения значение vij(t ) устанавливается равным среднему значению желаемого выхода j по всем векторам, приводящим к активации нейрона Кохонена i, и поэтому для настройки слоя Гроссбергаможно обойтись без итерационной процедуры по формуле (39).
При решениирегрессионной задачи нейросетями встречного распространения в режиме аккредитации происходит аппроксимация функциональной зависимости кусочными поверхностями постоянного уровня, что в случае небольших обучающихвыборок приводит к слишком большим ошибкам.Рис. 7. Нейронная сеть встречного распространенияВ режиме интерполяции входные сигналы генерируются как нейрономпобедителем, так и некоторым количеством идущих за ним «призеров», нахо40дящихся на 2-ом, 3-м и т.д.
местах по уровню входного сетевого сигнала. Этоприводит к более точной аппроксимации кусочными наклонными поверхностями. Подобный эффект может быть достигнут путем подмешивания в слойКохонена дополнительных линейных либо нелинейных нейронов, латеральносвязанных с нейронами Кохонена (см. [21]). Нейросети встречного распространения обучаются значительно быстрее нейросетей обратного распространения,однако они не столь универсальны, менее точно аппроксимируют функциональные зависимости, слишком чувствительны к нерелевантным компонентамвходных векторов и к большой их размерности.Следует подчеркнуть, что составные нейросети, включающие в свой состав различные сетевые архитектуры и использующие различные методы обучения, более близки по принципам функционирования к человеческому мозгу,чем рассмотренные выше однородные структуры, подобные нейросетям обратного распространения.1.2.5.3.
Нейросети с радиальной базисной функциейВ отличие от многослойных персептронов, самоорганизующихся картКохонена и нейросетей на основе теории адаптивного резонанса (см. ниже), которые имеют под собой определенные нейрофизиологические основания, нейросети с радиальной базисной функцией (Radial Basis Function [RBF] neuralnetworks) менее всего связаны с представлениями из биологии, базируясь внаибольшей степени на аппарате математической статистики. В сущности, ихможно даже считать методами непараметрического статистического анализа,описанными при помощи терминологии аппарата нейронных сетей. Они тесносвязаны с современными методами ядерного (kernel) статистического оценивания.Нейронные сети с радиальной базисной функцией (RBF-сети) в определенном смысле можно считать дальнейшим развитием сетей встречного распространения (см.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
