Нейронные сети

Глава №4. Нейронные сети

§4.1 Биологический нейрон и его математическая модель

1.1.1 Биологический нейрон

Искусственные нейронные сети строятся по принципам организации и функционирования их биологических аналогов. Нервная система и мозг человека состоят из нейронов, соединенных между собой нервными волокнами.

Нервные волокна способны передавать электрические импульсы между нейронами.

Все процессы передачи раздражений от кожи, ушей и глаз к мозгу, а также процессы мышления и управления действиями реализуются в живом организме, как передача электрических импульсов между нейронами.

Нейрон или нервная клетка – особая биологическая клетка, которая обрабатывает информацию.

Рекомендуемые материалы

Нейрон состоит из:

1. тела (cell body) – сома (soma)

2.  отростков нервных волокон двух типов: дендритов, по которым принимаются импульсы и единственного аксона, по которому нейрон может передавать импульс.

Тело нейрона включает ядро (nucleus), которое содержит информацию о наследственных свойствах и плазму, обладающую молекулярными средствами для производства необходимых нейрону материалов.

Нейрон получает сигналы или импульсы от аксонов других нейронов через дендриты и передает сигналы, сгенерированные телом клетки вдоль своего аксона, который в конце разветвляется на волокна, на окончаниях этих волокон находятся синапсы, которые влияют на величину импульсов.

Простейший нейрон может иметь до 10000 дендритов, принимающих сигналы от других клеток. В человеческом мозге содержится приблизительно  нейронов, каждый нейрон связан с нейронами.

Биологическая нейронная сеть содержит взаимосвязей. Каждый нейрон может существовать в двух состояниях: возбужденном и невозбужденном. В возбужденное состояние нейрон переходит под воздействием электрических сигналов, поступающих к нему от других нейронов, когда эти воздействия становятся достаточно большими. В возбужденном состоянии нейрон сам посылает электрический сигнал другим, соединенным с ним нейронам. Известно, что общее число нейронов в течение жизни человека практически не изменяется, отличие состоит лишь в силе синоптических связей, т.е. в величине электрических проводимостей нервных волокон, соединяющих нейроны.

На этом основании была высказана гипотеза о том, что все наши мысли, эмоции, знания, вся информация, хранящаяся в человеческом мозге, закодирована в виде сил синоптических связей. Т.о., получается, матрица кодов хранимой информации, которая содержит элементов.

Процесс обучения человека, продолжающийся всю его жизни, состоит в непрерывной корректировке содержимого этой матрицы.

1.1.2 Искусственный нейрон в первом приближении имитирует свойства биологического нейрона.

Исторически первая модель искусственного нейрона была предложена в 1943 г. Мак-Каллоком и В. Питтсом гипотеза  математического нейрона - модель абстрактного устройства, моделирующего мозг человека.

Математический нейрон также имеет несколько входов и один выход.

Через входы, число которых обозначим через m, математический нейрон принимает входные сигналы , которые суммируют, умножая каждый входной сигнал на соответствующий весовой коэффициент .

Весовые коэффициенты характеризуют величину синоптической связи. Т.о., текущее состояние нейрона s определяется как взвешенная сумма его входов.

 (4.1)

Выходной сигнал нейрона – y – функция его  состояния (4.2)

f – активационная функция или функции активации

Активационная функция в общем случае является нелинейным преобразованием, моделирующем нелинейную передаточную характеристику нейрона.

Наиболее часто используемыми активационными функциями являются следующие:

1. Пороговая (или функция единичного скачка)  

        (4.3)

 – порог перехода из одного состояния в другое

2. Линейная   

               (4.4)

3. Логистическая (сигмоидальная)

            (4.5)

Люди также интересуются этой лекцией: Тема 2. СИСТЕМА «ЧЕЛОВЕК - МАШИНА - СРЕДА» .

4. Гиперболический тангенс   

  (4.6)

5. Линейная с насыщением или линейный порог

(4.7)

Чаще всего можно вычесть параметр и  представить состояние нейрона в виде

     (4.8)