Секция 4 - Нейросетевые технологии (1250001), страница 20
Текст из файла (страница 20)
Последнее говорит о том, что зависимость пороговой силы раздражителя от длительности его действия носит характер обратной зависимости(гипербола) — чем меньше по времени действует на ткань раздражитель,тем выше требуется его сила для инициации возбуждения (см. рис. 3)[3].Рис. 3. Типичная форма пороговой функции биологического нейрона.Формальное описание сетиСеть импульсных нейронов состоит из конечного множества Vспайк-нейронов, множества E ⊆ V × V синапсов, весов ωu,v(t), ответнойфунцкции εu,v(t-s): R+ →R для каждого синапса <u,v> из E, и пороговойфункции θv:R+ → R+ для каждого нейрона v из V.Если обозначить Fu ⊆ R + - множество моментов времен генерацииимпульсов нейроном u, тогда потенциал на мембране нейрона v во время tвычисляется следующим образом:Pv (t ) := ∑ u :( u , v )∈E ∑ s∈Fu :s < tω u , v (t )ε u , v (t − s )1340Секция 4.
Нейро-сетевые технологииВ детерминистских моделях (отсутствует шум) нейрон v вырабатывает ответный импульс как только значение Pv(t) достигает порога θv(t-t’),где t’ — время последнего возбуждения нейрона v.Предполагается, что для некоторого подмножества Vin из V — входных нейронов — множество моментов генерации импульсов Fu нейронамиu из Vin определяется не данной формулой, а задается извне (подразумевается, что входные нейроны подсоединены к некоторым рецепторам, откоторых они и получают в некоторые моменты времени импульсы). Длявсех остальных нейронов вычисление уровня потенциала и моментоввремени возбуждения определяется по вышеуказанному правилу. Вчастности, выход всей сети задается в форме временных замеров Fv длянейронов v некоторого множества выходных нейронов Vout из V.Экспериментально было установлено, что для разных живых биологических нейронов возбуждение наступает с различными задержками в ответ на последовательности атак на них текущими воздействиями.
Поэтомурассматриваются также так называемые стохастические или зашумленныевиды моделей спайк-нейронов, в которых разность Pv(t)–θv(t–t’) определяетвероятность того, что нейрон v сгенерирует ответный импульс в моментвремени t. Выбор же точных моментов времени возбуждения остается занекоторым стохастическим процессом, и может так оказаться, что нейрон vне пришел в состояние возбуждения за некоторый период I, в течение которого Pv(t)–θv(t–t’)>0, или, наоборот, нейрон сгенерировал ответный разряд в тот момент t, когда Pv(t)–θv(t–t’)<0.Последняя описанная модель импульсного нейрона является базовым прототипом большинства математических моделей сетей спайкнейронов.
Различные модификации и различия могут существовать междуэтими моделями относительно рефракторных эффектов и сброса мембранного потенциала сразу после генерации импульса.Импульсные ансамблевые нейросетиТеперь перейдем к рассмотрению еще одного интересного прототипанейросети импульсных нейронов, используемого для нахождения скрытыхзакономерностей и образов в неструктурированном потоке информации.Как было сказано во введении, кодирование информации временными интервалами между импульсами является достаточно распространенным и эффективным. Таким образом, любой структурный сигнал можетбыть представлен набором времен генерации импульсов некоторого множества нейронов, при условии, что до начала подачи структурного сигналасеть была приведена в некоторое состояние стабилизации на чистом шуме.То есть любая полезная информация в сигнале может быть отображена втерминах возбуждения некоторого набора нейронов, отреагировавшихименно на данное событие во входном сигнале, так, что различные собы1341Труды II научной конференции «Проектирование инженерных и научных приложений в среде MATLAB»тия (структурные элементы сигнала) кодировались бы разными наборамисоставляющих нейронов.
Тогда обученная нейросеть будет представлятьсобой ансамблевую сеть, в которой ответом на уникальное событие в потоке будет активизация уникальной группы нейронов.Так как произвольный сенсорный сигнал представляет собой довольно сложную пространственно-временную структуру, возникает задачараспознавания образов (выделения закономерностей) при обучении «безучителя» (unsupervised learning), так как обучение в данном случае представляет собой обобщение правила Хебба нейрональной синаптическойпластичности [4].Задача распознавания любой (!) пространственно-временной структуры декомпозируется в представление о «базовом» уровне распознаванияобразов в сигнале и более высоких уровнях (слоев) нейросети в зависимости от типа распознаваемого сигнала.Описание базового уровня модели сетиБазовый уровень представляет собой набор нейронов, присоединенных непосредственно к рецепторам, которые распознают низкоуровневыезакономерности типа причинно-следственных связей [4].
Как уже былосказано, такие структуры во входном зашумленном сигнале представляются сетью в виде реакции на них определенных нейронов, объединенных вансамбль для идентификации именно этой структуры. Так как a priori неизвестны свойства сигнала, количество нейронов базового уровня делаетсязаведомо достаточно большим (несколько сотен и более). Кроме того, параметры нейронов при их инициализации задаются неодинаково: все множество нейронов разбивается на несколько непересекающихся групп сосходными (одинаковыми) параметрическими свойствами, такими как длина рефракторных фаз (как абсолютной, так и относительной), пороговоезначение, параметр регуляции асимметрии модификации весов нейронов[4] и т. д..В модели [4] было использовано еще несколько интересных элементов в работе сети, среди которых — стабильность нейрона и подавление(блокирование) нейронов в рамках одной группы (что, кстати, отражаетвзаимодействие биологических нейронов некоторых тканей, такое, как непостоянность способности синапсов передавать нервные импульсы [2]).Стабильность — это важный фактор, который характеризует меру обучения нейрона.
Так как задачей каждого нейрона является реакция (как активная, так и пассивная) на каждый приходящий от рецепторов паттерн(набор импульсов с сенсоров) в составе с другими нейронами (собственно,этот состав и «распознает» данный паттерн), которая определяется конкретной комбинацией его весов, необходимо было разработать механизм,который бы предотвращал (с вероятностью, обратной величине стабильно1342Секция 4. Нейро-сетевые технологиисти) резкое изменение значений весов, в случае устойчивости данной реакции нейрона, что привело бы к «потере состояния обученности».
Аппаратстабильности, предложенный Киселевым М.В. в ([4]), представляет собойописание динамики весов нейронов дифференциальными уравнениямивторого порядка, тогда как в классической модели это было представленоуравнениями первого порядка. Таким образом, чем нейрон «умнее», темвыше его стабильность (возможность сохранить свои «знания») и, тем самым, - выше устойчивость в ответ на любые влияния.Вторым важным механизмом работы сети является подавление нейронов внутри одной группы. Введение этого принципа функциональностисвязано с тем, что изначально, перед тем как подавать на рецепторы сигнал, необходимо привести сеть в некоторое равновесное устойчивое состояние путем подачи чистого шума на сенсоры. Но тогда, в случае прихода структурного сигнала, нейроны будут одновременно реагировать на появление паттерна, и вся сеть научится распознавать только такой образ.Это неправильно.
Во избежание этого эффекта и был реализован следующий механизм [4]. В рамках одной группы (инициация групп нейроновпроисходит до начала работы алгоритма) каждый нейрон может блокировать на некоторое время работу других нейронов (то есть увеличиватьвремя, в течение которого заблокированный нейрон не может сгенерировать ответный импульс). Таким образом, реакцию на конкретный пришедший паттерн не могут вырабатывать «соседние» нейроны со сходнымизначениями параметров. Так обеспечивается возможность нейросети распознавать многие различные паттерны.Адаптивная настройка весов всех нейронов с использованием вышеуказанных механизмов позволяет реализовать самообучение сети. В частности, изначально в системе нет указания на тип синаптической связи между рецепторами и входами нейронов, поэтому формирование возбуждающих и тормозных эффектов происходит online: все веса нейронов могут принимать значения от –1 до +1, и, так как порог возбудимости — величина положительная (тоже самонастраивающаяся для каждого нейрона),то, соответственно, знак веса характеризует тип его синаптической связи, аключевым фактором здесь является переменная величина «асимметриивознаграждения» (REWARD_ASSYMETRY) [4], которая совершает случайное блуждание с шагом, зависящим от стабильности всего нейрона.Следующие уровни моделиДальнейшая работа нейросети, а, точнее, ее более высоких уровней,уже связана не с отдельными нейронами, а происходит в терминах ансамблей.
Например, в задаче распознавания речи, формирующиеся ансамблинейронов могут (и, по всей видимости, — должны) представлять отдельные морфемы (как структурная единица для более высоких уровней). И на1343Труды II научной конференции «Проектирование инженерных и научных приложений в среде MATLAB»более высоких уровнях уже могут применяться различные алгоритмы иметоды обработки «ансамблевой» информации (такие, как обучение сучителем, например).Понятно, что данный алгоритм подразумевает реализацию в видеelectronic hardware, так как требует очень больших мощностей, и, как ужебыло сказано во введении, электронное кодирование информации импульсными задержками представляется очень эффективным для высокотехнологических задач.Заключение.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
