Секция 4 - Нейросетевые технологии (1250001), страница 19
Текст из файла (страница 19)
На самомделе, они являются универсальными для вычислений с дискретными (цифровыми) входом и выходом, и любая булева функция может быть вычислена с помощью некоторого многослойного персептрона с одним скрытымслоем.Второе поколение нейросетей базируется на нейронах (вычислительных единицах), которые применяют взвешенное суммирование входов(или полиномиальное) — функцию активации,с непрерывноопределенным множеством возможных выходных значений, такие каксигмоидная функция σ(y)=(1+e-y) или линейная функция насыщения π:0 , при y < 0π ( y ) = y , при 0 ≤ y ≤ 11, при y > 1Типичными примерами нейросетей этого поколения являются сетипрямого распространения, реккурентные сети, а также сети нейронов с радиально-базисными функциями.
Такие сети также могут вычислять (с помощью округления значений на выходах сети) произвольные булевыфункции. Было показано, что вычислять некоторые булевы функции нейронные сети второго поколения могут с меньшим числом входов, чем сети1336Секция 4. Нейро-сетевые технологиипервого поколения.
Кроме того, нейросети второго поколения могут вычислять функции с аналоговыми входом и выходом. Действительно, этисети являются универсальными для аналоговых вычислений в том смысле,что любая непрерывная функция, определенная на компакте, может бытьаппроксимирована достаточно хорошо (в смысле равномерной сходимости, то есть в нормированном бесконечномерном пространстве интегрируемых по Лебегу функций) с помощью нейросети такого типа (второгопоколения) с одним скрытым слоем. Еще одной особенностью этих моделей нейросетей является то, что они поддерживают градиентные методыобучения, такие как обратное распространение ошибки.С точки зрения биологической интерпретации, в нейросетях второгопоколения выходы сигмоидных нейронов представляют (собой) текущийуровень возбужденности биологического нейрона.
Так как известно, чтобиологический нейрон способен переходить в состояние возбуждения наразличных промежуточных частотах между минимальной и максимальнойчастотами, модели нейронов второго поколения более реалистичны, нежели «первые» нейроны, с точки зрения «интерпретации уровня (частоты)возбуждения».
Однако, по крайней мере, по сравнению с быстрыми аналоговыми вычислениями, выполняемыми сетями нейронов, например, коры головного мозга, вопрос об «интерпретации эффекта возбуждения» дляискусственных нейронов остается открытым. Нейробиологами было установлено, что анализ визуальных образцов и их классификаций может бытьвыполнена человеком всего за 100 мсек. Более того, только визуальная обработка нейронами коры головного мозга осуществляется за 20-30 мсек. Сдругой стороны, частота возбуждений нейронов, вовлеченных в этот процесс обычно не превышает 100 Гц., и следовательно, по крайней мере 2030 мсек понадобится только для того, чтобы измерить уровень возбуждения нейрона.
Таким образом, кодирование аналоговых переменных частотой возбудимости представляется весьма сомнительным в контексте скорости обработки информации нейронами коры мозга.С другой стороны, как было показано экспериментально еще в середине 90-х, многие биологические системы используют временные замерыпотенциалов действий («спайков») для кодирования информации. Этинейробиологические выводы легли в основу исследований и формирования третьего поколения моделей нейронных сетей с использованием такназываемых спайк-нейронов (или импульсных нейронов) в качестве вычислительной единицы.
С практической точки зрения, чипы, кодирующие информацию временными интервалами между импульсами, получили в последнее время широкое распространение в связи с преимуществом этогоспособа кодирования по сравнению с другими (традиционными) методами,используемыми в hardware.Не вдаваясь в детали всех электрохимических процессов, проходящих в сетях биологических нейронов, следует отметить, что искусствен1337Труды II научной конференции «Проектирование инженерных и научных приложений в среде MATLAB»ные импульсные нейроны — это некоторое «приближение» биологических, так как они сфокусированы на некоторых конкретных принципах впроцессах последних. Однако, по сравнению с нейронами первых двух,нейроны третьего поколения - значительно более реалистичны.
В частности, они лучше описывают фактический выход биологического нейрона, иследовательно, они позволяют нам исследовать возможность использования времени (интервалов) как средство вычислений и связи. Индивидуальные временные интервалы спайк-нейронов играют ключевую роль в вычислениях всей сети в целом, по сравнению с ролью (связанной с синхронизацией сети) временных лагов в вычислениях в двух предыдущих поколениях сетей.
К тому же, выход импульсного нейрона состоит из множества точек во времени, когда этот нейрон «отвечал» приходу импульса.Классический импульсный нейронВозбудимость нейрона — это его способность отвечать на синаптическое воздействие потенциалом действия. В самой простой модели импульсного нейрона предполагается, что нейрон возбуждается в случае, если его мембранный потенциал P достигает определенного порога θ. Величина мембранного потенциала является основным параметром, которыйопределяет значения важнейших показателей функционального состояниянейрона — его возбудимость и лабильность [2].Потенциал P это сумма так называемых возбуждающего постсинаптического потенциала (ВПСП) и тормозного постсинаптического потенциала (ТПСП), которые являются результатами возбуждения других нейронов, которые подсоединены к данному синаптическими связями.
Это называется интегративной функцией нейрона: общее изменение мембранногопотенциала нейрона (МП) является результатом сложного взаимодействия(интеграции) местных ВПСП и ТПСП всех многочисленных активированных синапсов на теле и дендритах клетки. На мембране нейрона происходит процесс алгебраического суммирования положительных и отрицательных колебаний потенциала (возникающих вследствие приходов импульсовот других нейронов). При одновременной активации нескольких возбуждающих синапсов общий ВПСП нейрона представляет собой сумму отдельных местных ВПСП каждого синапса.
При одновременном возникновении двух различных синаптических влияний — ВПСП и ТПСП — происходит взаимное вычитание их эффектов. Ответный разряд нейрона (потенциал действия) возникает лишь тогда, когда изменения мембранногопотенциала достигают порогового значения — критического уровня деполяризации (это название из нейрофизиологии — когда положительные иотрицательные заряды поляризуются на стенках мембраны, а при ВПСПили ТПСП-процессах происходят их соответственно деполяризация илигиперполяризация, так как в случае ВПСП в клетку проникают положи1338Секция 4. Нейро-сетевые технологиительные заряды ионов натрия, а при ТПСП — ионов калия и хлора из клетки). Тип синаптической связи в некоторых моделях искусственных импульсных нейронов (в частности, которые мы будем рассматривать) задается знаком соответствующего входного веса, который может изменяться впроцессе обучения. Однако существуют и другие модели ([1]), в которыхвсе веса предполагаются ωu,v≥0 (где u — это пресинаптический нейрон дляданного нейрона v), а тип связи жестко задается видом ответной функциейεu,v(t-s), где знак (т.
е. вид) определяется типом синаптической связи u↔v,s — это момент времени генерации нейроном u потенциала действия (еговозбуждением), а t — это время расчета значения мембранного потенциалаPv нейрона v, который определяется формулой ω u , v (t )ε u , v (t − s ) . Вес ωu,vхарактеризует силу синаптической связи между нейронами u↔v.
В контексте обучения сети вес должен представляться функцией времени ωu,v(t),так как стремительные изменения весов являются существенной детальюдля вычислений в системах биологических нейронов.На рис. 1 приведен один из возможных видов функций εu,v(t-s) [1].Рис. 1. Типичная форма ответной функции (ВПСП и ТПСП)для биологического нейрона.Следует отметить, что, вообще говоря, вид функции εu,v(t-s) должензависеть от некоторых внутренних параметров (время задержки на передачу импульса через пресинапс; параметры, характеризующие крутизнуподъема и пологость ската в период после передачи-прихода импульса),так как, возможно, их следует сделать адаптивными.Все рефракторные эффекты нейрона (абсолютная/относительнаярефракторные фазы) моделируются подходящей пороговой функцией θv(tt’), где t’ — это время последней генерации спайка.
В детерминистскихмоделях спайк-нейронов предполагается, что нейрон v возбуждается как1339Труды II научной конференции «Проектирование инженерных и научных приложений в среде MATLAB»только Pv(t) пересекает снизу функцию θv(t-t’) (здесь предполагается, чтопотенциал Pv(t) нейрона равен 0 в отсутствии постсинаптического потенциала, а пороговое значение θv>0, так как это - математически удобнее, —см.
рис. 2) [1].Рис. 1. Типичная форма пороговой функции биологического нейрона.Прежде чем мы перейдем к более детальному рассмотрению формального строения спайк-нейрона, отметим, что для того, чтобы раздражитель (собирательное понятие: степень раздражающего воздействия источников импульсов) мог вызвать у данного нейрона возбуждение, он долженбыть достаточно сильным — пороговым или выше порогового —, и достаточно длительным — в зависимости от времени меняется сила раздражения.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
