Нейропроцессоры
13. Нейропроцессоры
13.1. История развития нейропроцессоров
С момента появления первых реально работающих ЭВМ до сегодняшнего дня принято разделять развитие ЭВМ на пять поколений, в соответствии с используемой для них элементной базой. Сейчас можно говорить о развитии нового, шестого поколения ЭВМ, принципиально отличающегося от предыдущих. Речь идет не о смене элементной базы, а об изменении принципа и архитектуры, а также области применения новых ЭВМ, в некоторой степени моделирующих работу человеческого мозга. На пороге третьего тысячелетия появился новый класс ЭВМ — нейрокомпьютеры.
Основные отличия нейрокомпьютеров от традиционной ЭВМ с архитектурой фон Неймана заключаются в следующем:
• большое число параллельно работающих элементов — нейронов (от нескольких
Рекомендуемые материалы
десятков до 106-108), что обеспечивает колоссальный скачок в быстродействии:
• вместо программирования используется обучение (воспитание) — машина учится решать задачи, изменяя параметры нейронов и связи между ними.
Попытки создания ЭВМ, моделирующих работу мозга, предпринимались еще давно специалистами по нейрокибернетике. Они стремились разработать само-
организующиеся системы, способные обучаться интеллектуальному поведению в процессе взаимодействия с окружающим миром, причем компонентами их систем обычно являлись модели нервных клеток. Однако зарождавшаяся в это же время вычислительная техника и связанные с нею науки, особенно математическая логика и теория автоматов, оказали сильное влияние на области исследования, связанные с мозгом.
Сформировался логико-символьный подход к моделированию
интеллекта. Развитие этого подхода породило такие направления, как эвристическое программирование и машинный интеллект, и способствовало угасанию интереса к нейронным сетям.
Таким образом, в течение длительного времени основным направлением в развитии искусственного интеллекта являлся логико-символьный подход, который может быть реализован на обычных компьютерах. Было получено решение многих «интеллектуальных» задач из определенных предметных областей. Однако самое сложное программное обеспечение, способное решать трудные задачи в специализированной области, отказывает, как только проблема выходит за рамки, определенные разработчиками при создании системы.
К концу 20 века созрели условия для возрождения интереса к нейросетевым
моделям. Это было связано с накоплением новых данных при экспериментальных
исследованиях мозга. Кроме того, развитие микроэлектроники и компьютерной техники, создав техническую базу для моделирования сложных нейронных систем, привело к пониманию того, что радикально увеличить производительность можно лишь за счет параллельной обработки данных, которая органически присуща нейронным сетям головного мозга.
На сегодняшний момент сотни фирм и лабораторий
Создание высокоэффективных нейрокомпьютеров требует изучения трех видов моделей нейронных сетей: физических, математических, технологических. Львиную долю публикаций по вопросам создания нейросетевых моделей составляют работы по реализации различных видов нейропроцессоров на основе СБИС, оптической. ПЛИС и т.д. технологий (технологические модели нейронных сетей). Однако подавляющее большинство аппаратных реализаций нейрокомпьютеров использует фоннеймановский процессор (универсальный или специализированный), которым не может обеспечить «истинного» параллелизма, свойственного биологическим нейронным сетям.
Работы по исследованию физических моделей нейронных сетей, в которых ото-
бражаются физические принципы функционирования головного мозга, привели к
созданию проекта Кремниевой Мозговой Коры (SCX – Silicon Cortex ), возглавляемого немецким биологом М. Маховальдом. Тем не менее, несмотря на значительные достижения в разработке физических моделей мозга, пока не создано такой модели, которая адекватно отображала бы работу мозга и позволяла бы генерировать новое знание. Более того, главная проблема - моделирование зрения, внимания, координированного управления поведением — не имеет удовлетворительного решения в рамках нейросетевой технологии.
С этих позиций наиболее важными представляются работы по созданию математических моделей нсйросетевых вычислении, которые позволяют отрабатывать и создавать новые принципы организации параллельной работы многих вычислительных элементов — формальных нейронов.
13.2 Искусственные нейронные сети
. Большое влияние на разработку теории искусственных
нейронных сетей оказал коннекционизм. Это — раздел искусственного интеллекта, связанный с созданием, исследованием и развитием моделей мозга (мышления) человека. С точки зрения коннекционизма (connection— «связь»), основу концепции построения нейронных сетей составляет идея о том, что нейроны можно моделировать довольно простыми автоматами, а вся сложность мозга, гибкость его функционирования и другие важнейшие качества определяются связями между нейронами. Каждая связь представляется как простой элемент, служащий для передачи сигнала. При таком подходе для нейросетевой модели характерно следующее:
• однородность системы (элементы нейронной сети одинаковы и простые, все
определяется структурой связи);
• надежность системы, построенной из ненадежных элементов, за счет избыточ-
ного числа связей;
• «голографичность», предопределяющая, что при разрушении части система
сохраняет свои свойства.
Предполагается, что широкие возможности систем связи: демаскирование старых связей и добавление новых — компенсируют бедность набора элементов, из которых строится модель, их ненадежность, а также возможные разрушения части связей.
На первых этапах развития нейросетевых математических моделей коннекцио-
низм сыграл исключительно важную роль, поскольку были поняты основные механизмы индуктивного вывода, осуществляемого нейронной сетью, позволившие решить большое количество прикладных задач. Однако для создания математических нейросетевых моделей, адекватных реальным задачам, требуются более глубокие исследования биологических принципов функционирования головного мозга.
Рассмотрим в общем виде функции сенсорных систем человека с точки зрения кибернетики.
Информацию об окружающем мире и о внутренней среде организма человек получает с помощью сенсорных систем, названных Павловым анализаторами. С точки зрения современной нейрофизиологии под сенсорными системами понимаются специализированные части нервной системы, состоящей из периферических рецепторов (органы чувств), отходящие от них нервные волокна (проводящие пути) и клетки центральной нервной системы, сгруппированные вместе в так называемые сенсорные центры.
В сенсорных органах происходит преобразование энергии стимула в нервный
сигнал (рецепторный потенциал), который трансформируется в импульсную активность нервных клеток (потенциалы действия). По проводящим путям эти потенциалы достигают сенсорных центров, на клетках которых происходит переключение нервных волокон и преобразование нервного сигнала (перекодировка). На всех уровнях сенсорной системы одновременно с кодирование и анализом стимулов осуществляется декодирование сигналов (считывание сенсорного кода). Декодирование осуществляется на основе связей сенсорных центров с двигательными и ассоциативными отделами мозга. Нервные импульсы клеток двигательных систем вызывают возбуждение или торможение. Результатом этих процессов является движение или остановка (действие и бездействие). Следует подчеркнуть, что природа носителя информации в сенсорных системах является электрической. Таким образом, основными функциями сенсорных систем являются: рецепция сигнала; преобразование рецепторного потенциала в импульсную активность проводящих путей; передача первичной активности в сенсорные центры; преобразование первичной активности в сенсорных центрах: анализ свойств сигналов; идентификация свойств сигналов; принятие решения
Нетрудно заметить, что приведенное в предыдущем абзаце описание восприятие человеком влияния внешней среды есть описание работы системы управления с ЦВМ в контуре в терминах физиологии. Роль датчиков системы управления играют рецепторы, роль управляющей ЦВМ — головной мозг человека, роль исполнительных механизмов — двигательная система человека (его мышцы), роль задатчика программного движения — головной мозг.
Очевидно, центральным звеном в биологических системах управления является
мозг, состоящий из более 100 млрд нервных клеток — нейронов, каждая из которых имеет в среднем 10 000 связей. .
Нейрон имеет тело (сому), дерево входов — дендритов, и выход — аксон (рис.13.1).
.
Рис.13.1
Длина дендритов может достигать 1 мм, длина аксона — сотен миллиметров. На соме и дендритах располагаются окончания других нервных клеток. Каждое такое окончание называется синапсом. Проходя через синапс, электрический сигнал меняет свою амплитуду: увеличивает или уменьшает. Это можно интерпретировать как умножение амплитуды сигнала на весовой (синаптический) коэффициент. Взвешенные в дендритном дереве входные занимаются исследованиями в области нейросетевых технологий. Разработаны ряд нейрокомпьютеров и нейромодулей, которые могут работать под управлением обычных ЭВМ и самостоятельно с существенно более высоким быстродействием. сигналы суммируются в соме и затем на аксонном выходе генерируется выходной импульс (спайк) или пачка импульсов. Выходной сигнал проходит по ветви аксона и достигает синапсов, которые соединяют аксон с дендритными деревьями других нейронов. Через синапсы сигнал трансформируется в новый входной сигнал для смежных нейронов. Этот сигнал может быть положительным или отрицательным (возбуждающим или тормозящим), в зависимости от вида синапса. Величина сигнала, генерируемого на выходе синапса, может быть различной даже при одинаковой величине сигнала на входе синапса. Эти различия определяются синаптическим коэффициентом (весом синапса), который может меняться в процессе функционирования синапса.
В настоящее время нейроны разделяют на три большие группы: рецепторные, промежуточные и эффекторные. Рецепторные нейроны предназначены для ввода сенсорной информации в мозг. Они преобразуют воздействие окружающей среды на органы чувств (свет на сетчатку глаза, звук на ушную улитку) в электрические импульсы на выходе своих аксонов. Эффекторные нейроны передают приходящие на них электрические сигналы исполнительным органам, например мышцам, также через специальные синапсы своих аксонов. Промежуточные нейроны образуют цен-
тральную нервную систему и предназначены для обработки информации, полученной от рецепторов и передачи управляющих воздействий на эффекторы.
Головной мозг человека и высших животных состоит из серого и белого вещества. Серое вещество есть скопление дендритов, аксонов и нейронов. Белое вещество образовано волокнами, соединяющие различные области мозга друг с другом, с органами чувств, мускулами. Волокна покрыты специальной миэлинированной оболочкой, играющей роль электрического изолятора. В мозге существуют структурно обособленные отделы, такие как кора, гиппокамп, таламус, мозжечок, миндалина и т.п. (рис.13.2). Каждый из отделов имеет сложное модульное строение. Особое место в мозге занимает церебральная кора, которая является его новейшей частью. В настоящее время принято считать, что именно в коре происходят важнейшие процессы ассоциативной переработки информации.
.
Рис.13.2
Связи между сенсорными областями и корой, между различными участками коры физически параллельны. Один слой клеток проецируется на другой, причем проекции состоят из множества разветвляющихся и сливающихся волокон (проекции дивергируют и конвергируют). В настоящее время наиболее изучен ввод в мозг зрительной информации. Возбуждение от сетчатки достигает коры топографически упорядоченным образом, т.е. ближайшие точки сетчатки активируют ближайшие точки коры. По реакции на зрительные стимулы различной сложности различают простые, сложные и гиперсложные нейроны. Имеется тенденция к усложнению рецепторных свойств нейронов по мере удаления от входных областей коры. Можно предположить, что функциональная роль нейронных структур, примыкающих к органам чувств, включая сенсорные области коры, заключается в преобразовании сенсорной информации путем выделения все более сложных и информативных признаков входных сигналов. Ассоциативная обработка получающихся при этом совокупностей сенсорных признаков осуществляется в ассоциативных зонах коры, куда поступают и другие сенсорные образы.
Приведенное весьма поверхностное описание принципа обработки информации в живой природе позволяет сделать вывод, что техническая кибернетика вплотную подошла к решению задачи управления в реальном времени методами, отшлифованными за миллионы лет «Создателем». Поэтому будет вполне резонным появление в настоящее время термина «нейроуправление», под которым понимается «область теории управления, занимающаяся вопросами применения нейронных сетей для решения задач управления динамическими объектами.»
Дадим определение нейрокомпьютера: нейрокомпьютером называют ЭВМ (аналоговую или цифровую), основной операционный блок (центральный процессор) которой построен на основе непрочной сети и реализует нейросетевые алгоритмы.
Весь класс задач, которые решают с помощью средств вычислительной техники, удобно разделить на три класса формализуемые, трудноформализуемые, не формализуемые.
Формализуемая задача имеет четко сформулированный алгоритм решения.
Причем, как правило, этот алгоритм учитывает класс машин, на котором будет решаться задача. Примером таких задач может быть интегрирование кинематических уравнений в бесплатформенных системах инерциальной навигации, вычисление элементарных функций, представленных рядами и т.п.
Трудноформализуемая задача имеет алгоритм решения, качество которого
трудно оценить или трудно оценить достижимость решения. Этот класс задач возникает из-за большой размерности моделируемых в этой задаче систем (известное выражение «проклятия размерности»), К таким задачам можно отнести моделирование сложных электронных устройств в системах автоматизированного проектирования, задачи интегрированной подготовки производства и т.д.
Неформализуемая задача имеет в своей постановке неявно заданные функции и параметры. К этому классу относят задачи распознавания образов, кластеризации идентификации информативных признаков и т.п. Необходимость решения таких задач породила появление реальных нейронных ЭВМ
13.3 Нейрокомпьютор
На рис.13.3 представлена структурная схема абстрактного нейрокомпьютера (НК). Такую схему можно назвать обобщенной потому, что она поясняет принцип работы любого НК независимо от его конкретного конструктивного исполнения.
.
Рис.13.3
Схема на рис. 13.3 напоминает классическую схему однопроцессорной машины
Джона фон Неймана, Однако НК в принципе отличается от этих машин.
Основным операционным блоком НК, его процессором, является искусственная нейронная сеть. В нервом, грубом, приближении сеть представляет совокупность простейших модулей, называемых формальными нейронами, которые соединены между собой каналами передачи информации. Количественная характеристика каждого канала определяется решаемой задачей.
Нейронная сеть не производит вычислений, как это делает арифметико-логическое устройство фоннеймановских машин. Она трансформирует входной сигнал (входной образ) в выходной в соответствии со своей топологией и значениями коэффициентов межнейронной связи.
В запоминающем устройстве НК хранится не программа решения задачи, как это имеет место в машинах фон Неймана, а программа изменения коэффициентов связи между нейронами. Устройства ввода и вывода информации в принципе выполняют те же функции, что и в машине фон Неймана. Устройство управления служит для синхронизации работы всех структурных блоков НК при решении конкретной задачи.
В работе абстрактного нейрокомпьютера различают два главных режима работы НК: режим обучения и рабочий режим. Для того чтобы НК решал требуемую задачу его нейронная сеть должна пройти обучение на эту задачу. Суть режима обучения заключается в настройке коэффициентов межнейронных связей на совокупность входных образов этой задачи. Установка коэффициентов осуществляется на примерах, сгруппированных в обучающие множества. Такое множество состоит из обучающих пар, в которых каждому эталонному значению входного образа соответствует желаемое (эталонное) значение выходного образа.
При первой подаче очередного эталонного входного образа выходной сигнал отличается от желаемого. Блок обучения оценивает величину ошибки и корректирует коэффициенты межнейронных связей с целью ее уменьшения. При второй и последующих подачах этого же эталонного входного образа величина ошибки продолжает уменьшаться. Процесс продолжается до тех пор, пока ошибка не достигнет требуемого значения. С математической точки зрения процесс обучения является решением задачи оптимизации. Целью оптимизации является минимизация функции ошибки (или невязки) на данном множестве примеров путем выборки коэффициентов межнейронных связей. Рассмотренный пример обучения называют контролируемым обучением, или обучением с учителем. В рабочем режиме блок обучения, как правило, отключен. На вход НК подаются сигналы, требующие распознавания (отнесения к тому или иному классу). На эти сигналы (входные образы), как правило, наложен шум. Обученная нейронная сеть фильтрует шум и относит образ к нужному классу.
Существенным недостатком машин фон Неймана является принципиально низкая производительность, обусловленная последовательным характером организации вычислительного процесса. Наличие одного процессора обусловливает и другой недостаток этих машин — низкую эффективность использования памяти. В самом деле, память однопроцессорных ЭВМ можно представить как длинную последовательность ячеек. Центральный процессор выбирает содержимое одной из них, дешифрирует, исполняет команду и, при необходимости, возвращает результат памяти в заранее обусловленную
ячейку. Затем обращается к очередной ячейке для считывания следующей команды и процесс повторяется до тех пор, пока не будет выбрана последняя команда исполняемой программы. Нетрудно заметить, что подавляющее большинство ячеек памяти бездействует. Если ввести понятие коэффициента использования аппаратуры как отношение числа одновременно работающих элементов ЭВМ к общему числу этих элементов, то для машин фон Неймана этот коэффициент будет очень маленьким.
Машины фон Неймана и нейрокомпьютеры различаются также по принципу взаимодействия структуры машины и решаемой задачи. Для однопроцессорных машин с их «жесткой» структурой разработчику приходится подстраивать алгоритм решения задачи под структуру машины. При использовании нейрокомпьютеров разработчик подстраивает структуру машины под решаемую задачу.
13.4 Нейронные сети.
В дальнейшем изложении будем говорить о нейронах, нейронных сетях, понимая под этим искусственно созданные технические объекты, принцип работы которых сравним с работой одноименных биологических объектов.
Приведем несколько определений.
Нейронной сетью (НС) называется динамическая система, состоящая из совокупности связанных между собой по типу узлов направленного графа элементарных процессоров, называемых формальными нейронами, и способная генерировать выходную информацию в ответ на входное воздействие.
Нейронная сеть является основной операционной частью нейронных ЭВМ, реализующей алгоритм решения задачи.
Формальным нейроном называется элементарный процессор, используемый в узлах нейронной сети.
Математическая модель формального нейрона может быть представлена в сле-
дующем виде:
Y = φ(∑aixi + x0) (13.1)
где у — выходной сигнал нейрона; xi – i - й входной сигнал; ai — вес i-го входа;
хо — начальное состояние нейрона; i = 1,n — номер входа нейрона; n — число входов; φ — функция выходного блока нейрона (функция активации). Суммирование в (6.1) идет по параметру i .
Выражению (6.1) может быть поставлена в соответствие следующая структурная схема формального нейрона (рис.13.4).
.
Рис. 13.4
Как видно из рис.13.4, на блоке ∑ осуществляется взвешенное суммирование
входных сигналов. Эта сумма подается на блок функционального преобразования φ(х). Функция, которую реализует этот блок, получила название функции активации (или функция возбуждения, или переходная функция).
Функция активации может быть линейной с насыщением, релейной (пороговой), релейной с зоной нечувствительности, квадратичной, сигмоидалыюй и т.п. Параметры функций активации могут быть как фиксированными, так и настраиваемые. Графики некоторых функций активации приведены на рис.13.5.
Рис. 13.5 Виды функции активации:
о — пороговая симметричная; 6 — пороговая смещенная;
в — сигмоидальная симметричная; г — линейная с насыщением
Вид функции активации во многом определяет вычислительные возможности
нейронной сети, состоящей из формальных нейронов. Основной недостаток модели с пороговым элементом — отсутствие достаточной гибкости при обучении и настройке нейронной сети на заданную задачу. Если значение вычисляемого скалярного произведения aixi даже незначительно не достигает заданного порога, то выходной сигнал не формируется, и нейрон «не срабатывает». Это значит, что теряется интенсивность выходного сигнала (аксона) данного нейрона и, следовательно, формируется невысокое значение уровня на взвешенных входах в следующем слое нейронов.
Этого недостатка в большей степени лишена линейная (в общем случае кусочнолинейная) функция активации, реализация которой обеспечивает невысокую вычислительную сложность.
Сигмоидальная функция является некоторым компромиссом между линейной и
ступенчатой функцией и сохраняет достоинства обеих. По аналогии со ступенчатой функцией, она нелинейна, и это дает возможность выделять в поисковом пространстве исследуемых объектов области сложной формы, в том числе невыпуклые и несвязные. С другой стороны, в отличие от ступенчатой функции, она позволяет переходить от одного значения входного сигнала к другому без разрывов, как это происходит в линейной функции. Однако любую из преобразующих функций активации (возбуждения) необходимо рассматривать как приближенную. Учитывая сложность архитектуры нейросети и трудность настройки ее параметров на решение определенной задачи, необходимо переходить к более гибким произвольным нелинейным
функциям. Для повышения эффективности работы нейронной сети разработан класс моделей нейронов, реализующих различные функции активации, которые можно подстраивать под соответствующие задачи. Для реализации произвольной функции активации разработан оригинальный алгоритм обучения в нейронной сети, основанный на генетическом поиске.
Описанный вычислительный элемент — формальный нейрон — можно считать
упрощенной математической моделью биологических нейронов.
Во многих практических задачах входы, веса и смещения могут принимать лишь, некоторые фиксированные значения, Синантическне связи с положительными весами называют возбуждающими, с отрицательными весами — тормозящими.
Фактически формальный нейрон представляет собой процессор с очень ограни-
ченной специальной системой команд (в литературе принято называть нейросетевой базис). По способу представления информации формальные нейроны могут быть аналоговыми и цифровыми. Они выполняют единообразные вычислительные действия и не требуют внешнего управления. Большое число параллельно работающих вычислительных элементов обеспечивают высокое быстродействие.
В основу искусственных НС положены следующие особенности биологических
нейронных сетей:
• простой обрабатывающий элемент — нейрон;
• очень большое число нейронов участвует в обработке информации;
• один нейрон связан с большим числом других нейронов;
• изменяющиеся веса связей между нейронами;
• параллельная обработка информации.
Графическую иллюстрацию соединения нейронов между собой в сети принято называть топологией. По виду топологии различают однослойные и многослойные сети.
В однослойных сетях нейроны могут соединятся либо по принципу каждый с каждым, либо регулярно. В многослойных сетях нейроны группируются по слоям. Классическим является связь нейрона одного слоя с каждым нейроном другого слоя. Внутри слоя нейроны между собой связей не имеют. Два внешних слоя многослойной сети принято называть входным и выходным слоями.
Внутренние слои принято называть скрытыми слоями. Число скрытых слоев неограниченно. Известна практика применения также двухслойных сечей, у которых только входной и выходной слои.
Работает сеть следующим образом. Па нейроны входного слоя подаются входные сигналы (входной вектор (х1,х2,…,хn)), кодирующее входное воздействие или образ внешней среды путем активации нейронов этого слоя. Выходы нейронов выходного слоя являются выходами сети. Множество выходных сигналов 1...YK называют вектором выходной активности или паттерном активности нейронной сети. Веса связей нейронов сети удобно представлять в виде матрицы А, где aij — вес связи между i-м и j-м нейронами. В процессе функционирования (эволюции состояний) сети осуществляется преобразование входного вектора в выходной. Конкретный вид выполняемого сетью преобразования информации обуславливается не только характеристиками нейронов, но и особенностями ее архитектуры, т.е. той или иной топологией межнейронных связей, выбором определенных подмножеств входных и выходных нейронов, и т.д.
На рис.13.6-13.9 представлены некоторые варианты топологий нейронных сетей.
Рис. 13.6. Двухслойная сеть с прямыми связями.
Рис. 13.7 Трехслойная сеть с прямыми связями.
Рис.13.8 Нейронная сеть с перекрестными связями.
Рис. 13.9. Нейронная сеть с обратными связями
На рис. 13.6 представлена сеть с прямыми связями. Характерной особенностью такой сети является равенство числа входов, выходов и нейронов в каждом из двух слоев сети, а также наличие так называемых латеральных связей между нейронами 1-го и 2-го слоев
На рис.13.7 показана многослойная, в частности трехслойная сеть. Число скрытых слоев в общем случае может быть несколько. В многослойных сетях, как правило, нейроны одного слоя имеют функцию активации одного типа.
На рис.13.8 представлена нейронная сеть с перекрестными связями. Число связей может быть и больше, чем показано на рисунке.
Топологию сети с обратными связями иллюстрирует рис.13.9 Обратные связи могут быть как с выходного слоя на входной, так и с внутренних (скрытых) слоев на входной.
Нетрудно отметить, что при конструировании сети разработчик имеет в качестве исходных данных:
• размерность вектора входного сигнала(ов);
• размерность вектора выходного сигнала(ов);
• формулировку решаемой задачи;
• точность решения задачи.
При этом разработчик должен выбрать:
• тип топологии сети;
• общее число нейронов в сети и число нейронов по слоям;
• функции активации нейронов;
• способ задания коэффициентов синаптической связи;
• метод доказательства работоспособности новой сети
Классификация сложных систем, а нейронные сети являются таковыми, всегда проводится по определенному признаку. Еще ранее было упомяну-
то, что нейрокомпьютеры, а следовательно и нейронные сети, могут быть аналоговыми и цифровыми. Кроме этого, нейронные сети классифицируют по способу решения задач. С точки зрения этого признака сети делят на формируемые, сети с формируемой матрицей связи и обучаемые.
Формируемые сети. Сети этого класса проектируются для формализуемых задач, имеющих четко сформулированный в нейросетевом базисе алгоритм решения конкретной задачи.
Сети с формируемой матрицей связей. Сети этого класса применяются для
трудноформализуемых задач. Как правило, эти сети имеют одинаковую структуру и различаются лишь матрицей связи. Примером таких сетей является сеть Хопфилда. Достоинством таких сетей является их наглядность в работе.
Обучаемые сети. Этот класс сетей используют для решения неформализуемых
задач. В процессе обучения сети автоматически изменяются такие ее параметры, как коэффициенты синаптической связи, а в некоторых случаях и топология. Серьезным препятствием в широком применении нейрокомпьютеров все еще остается большое время обучения сети. Поэтому выбор или разработка алгоритма обучения является ключевой задачей разработчика нейронных систем.
Для сетей с формируемой матрицей связи и обучаемых характерным является
процедура обучения. Рассмотрим принцип этой процедуры.
Обучение нейронных сетей. В процессе функционирования нейронная сеть формирует выходной сигнал Y в соответствии с входным сигналом X, реализуя некоторую функцию g : Y = g(Х). Если архитектура сети задана, то вид функции определяется значениями весов связей (синаптических весов) между нейронами wij и смещений нейронов в сети (b). Обозначим буквой G множество всех возможных функций g, соответствующих заданной архитектуре сети. Пусть решение некоторой задачи - функция F: Y = F(X), заданная парами входных и выходных данных (х1,y1), (х2,y2),...,(хm,ym), для которых yj = F(xj),j = 1, m, и пусть Е — функция ошибки, показывающая для каждой из функций g степень близости к F. Решить поставленную задачу с помощью нейронной сети заданной архитектуры — это значит построить (синтезировать) функцию, подобрав параметры нейронов (синаптические веса и смещения) таким образом, чтобы функционал качества являлся оптимальным для всех пар (хm,ym). Задача обучения определяется совокупностью пяти элементов:
<X,Y,G,F,E >
где Х и Y — вход и выход нейронной сети соответственно; F — функция, определяющая желаемый результат обучения (в задаче обучения по примерам функция задается парами входных и выходных данных: (х1,y1), (х2,y2),...,(хm,ym), для которых yj = F(xj),j = 1, m при этом архитектура связей нейронной сети считается. заданной до начала обучения и определяет множество функции G); Е — функция ошибки, показывающая для каждого входного вектора степень близости реализуемой функции к F.
Обучение состоит в поиске (синтезе) функции F, оптимальной по Е. Обучение— это итерационная процедура, причем на каждой итерации происходит уменьшение значения функции ошибки Е до заранее заданной величины. В общем случае такая задача при ограниченном наборе входных данных имеет бесконечное множество решений.
Таким образом, результатом обучения нейронной сети должно явиться отображение ,
F: Х У, (13.2)
которое на каждый возможный входной сигнал формирует правильный выходной сигнал Y; если используется единственный выход сети, то Y является скаляром. Отображение задастся конечным набором пар «вход-известный выход». Число таких пар (обучающих примеров) существенно меньше общего числа возможных сочетаний значений входных и выходных сигналов. Совокупность всех обучающих примеров носит название обучающей выборки. В результате построения отображения необходимо добиться того, чтобы:
1) обеспечивалось формирование правильных выходных сигналов в соответствии со всеми примерами обучающей выборки;
2) обеспечивалось формирование правильных выходных сигналов в соответствии со всеми возможными входными сигналами, которые не вошли в обучающую выборку.
Второе требование связано с необходимостью реализации процедуры предсказания значения выхода в зависимости от входного сигнала. Иными словами, необходимо построить такое отображение, реализуемое нейронной сетью, которое при подаче входного вектора Х на выходе сети определяло бы значение одного или нескольких правильных выходных сигналов. Решение этой задачи в значительной степени зависит от качества обучающей выборки. Формализация процедуры формирования обучающей выборки в общем виде в настоящее время не решена и требует дальнейшей проработки.
Задача построения отображения опирается на известную теорему Л.И. Кол-
могорова о представлении непрерывных функций нескольких переменных в виде суперпозиции непрерывных функций одного переменного и операции сложения, обобщенную затем Хехт-Нильсеном применительно к нейронным сетям. Основной результат этого обобщения — возможность реализации произвольной функции Ƒ( X1,X2,...,XN) нейронной сетью. В монографии показано, что для любого множества пар (Хк,yk) ,где; yk — скаляр, существует двухслойная однородная с одинаковыми функциями активации каждою нейрона) нейронная сеть первого порядка с последовательными связями и с конечным числом нейронов, которая выполняет отображение Х Y. выдавая на каждый входной сигнал Xk правильный
выходной сигнал yk . Таким образом, уже с помощью даже двухслойной нейронной сети отображение(11) может быть построено.
Однако теорема Хехт-Нильеена не конструктивна, это лишь, теорема существования, в ней не заложена методика определения числа нейронов в сети для некоторой конкретной обучающей выборки. Для первоначальной оценки числа нейронов вскрытых слоях однородных нейронных сетей часто используется формула для оценки необходимого числа синантических весов в многослойной сети:
NyNp/(1+log(Np))NwNy(Np/Nx+1)(Nx+Ny+1)+Ny
13.5. Нейрочипы.
Нейрочипом принято называть специализированную сверхбольшую интегральную схему (СБИС-нейрочип), ориентированную на реализацию нейросетевых алгоритмов. Разработкой нейрочипов занимаются многие фирмы в различных странах. Значительный рост выпуска СБИС-нейрочипов наметился с середины 90-х годов прошлого века. По принципу построения, по назначению и характеристикам они сильно отличаются друг от друга. На рис.13.10 приведена схема классификации СБИС-нейрочипов
.
Рис.13.10 Схема классификации нейрочипов.
Но виду информационного носителя нейрочипы делятся на аналоговые, цифровые и гибридные. Аналоговая элементная база характеризуется большим быстродействием и низкой стоимостью, что в значительной мере способствует ее производству. Самыми простыми являются СБИС с битовыми весовыми коэффициентами, которые, как правило, являются настраиваемыми, и с фиксированными весовыми коэффициентами и полными последовательными связями. В аналоговой технике широко используется такой вид модуляции, как частотно-импульсная модуляция. Аппаратура, использующая чту модуляцию, характеризуется низким 'энергопотреблением, высокой надежностью. Отметим, что в биологических нейронных сетях сигналы представляются именно частотно-импульсной модуляцией. Очевидно, что эти факторы и способство-
вали появлению на рынке аналоговых СБИС-чипов с такой модуляцией сигнала.
По способу реализации нейроалгоритмов различают нейрочипы с полностью аппаратной и с программно-аппаратной реализацией (когда нейроалгоритмы хранятся в программируемом запоминающем устройстве).
Как видно из схемы классификации (рис.13.10) нейрочипы могут быть как с жесткой, так и с переменной структурой.
К отдельному классу относятся нейросигнальные процессоры. Ядро этих СБИС
представляет сигнальный процессор, а реализованные на кристалле специальные дополнительные модули обеспечивают выполнение нейросетевых алгоритмов. Таким дополнительным модулем, например, может быть векторный процессор.
Возможности микроэлектроники и запросы потребителей привели к созданию
проблемно-ориентированного направления выпуска нейрочипов. Можно выделить следующие области их проблемной ориентации
• обработка, сжатие и сегментация изображения;
• обработка стереоизображений;
• выделение движущихся целей на изображении;
• обработка сигналов;
• ассоциативная память.
Особое место в проблемной ориентации нейрочипов занимает ориентация на клеточную структуру. На такой структуре строятся резистивные решетки, нейрочипы с внутрикристаллической реализацией слоя фоторецепторов, так называемые ретины. Ретины используют в робототехнике, в медицине для вживления в глаз слепого человека.
В настоящее время значительно возрос выпуск нейрочипов, структурные особенности которых определены совместной работой биолога и схемотехника-электронщика. Такие чипы и вычислительные устройства на их основе достигают решения конкретных технических задач путем моделирования на аппаратном уровне функционирования тех или иных подсистем живых организмов.
13.6 . Нейропроцессор Л1879ВМ1
Нейропроцессор Л1879ВМ1 разработан в научно-техническом центре «Модуль» (Россия, Москва). Он представляет собой высокопроизводительный микропроцессор со статической суперскалярной архитектурой. Одним из назначений Л1879ВМ1 является аппаратная эмуляция разнообразных типов нейронных сетей,
Л1879ВМ1 предназначен для обработки 32-разрядных скалярных данных и дан-
ных программируемой разрядности, упакованных в 64-разрядные слова, которые в дальнейшем будут называться векторами упакованных данных. Структурная схема микропроцессора Л1879ВМ1 приведена на рис13.11
Основой нейрочипа является центральный процессор R18С СОRЕ. Он предназначен для выполнения логических операций и операций сдвига над 32-разрядными скалярными данными, формирования 32-разрядных адресов команд и данных при обращении к внешней памяти, а также для выполнения всех основных функций по управлению работой нейропроцессора.
VСР — векторный сопроцессор. Он предназначен для выполнения арифметиче-
ских и логических операций над 64-разрядными векторами данных программируемой разрядности.
LМ1 и GМ1 — два одинаковых блока программируемого интерфейса с локальной
и глобальной 64-разрядными внешними шинами. К каждой из шин может быть подключена внешняя память, содержащая 231 32-разрядных ячеек. Обмен данными с внешней памятью может осуществляться как 32-разрядными, так и 64-разрядными словами. В последнем случае нейропроцессор одновременно выбирает две соседние
ячейки памяти. Адресация внешней памяти осуществляется страничным способом, при котором на одну и ту же внешнюю 15-разрядную адресную шину в режиме разделения времени выдаются как младшие, так и старшие разряды адреса, причем старшие разряды адреса выдаются только при переходе к выборке новой страницы памяти. Каждый блок программируемого интерфейса обеспечивает эффективную
работу нейропроцессора с двумя банками внешней памяти различного объема, различного типа и различного быстродействия без использования дополнительного оборудования. В данных блоках предусмотрена аппаратная поддержка разделяемой памяти для различных мультипроцессорных конфигураций внешних шин.
Рис.13.11. Структурная схема нейропроцессора Л 1879ВМ 1
СРО, СР1 — два идентичных коммуникационных порта, каждый из которых
обеспечивает обмен информацией по двунаправленному байтовому линку между
нейропроцессором и его абонентом. Порты полностью совместимы с коммуникационным портом ЦПС ТMS320С4х фирмы Техаs Instruments, что дает возможность проектировать высокопроизводительные мультипроцессорные системы. Каждый порт имеет встроенный контроллер прямого доступа к памяти, позволяющий обмениваться 64-разрядными данными с внешней памятью, подключенной к локальной и/или глобальной внешним шинам.
Л 1879ВМ 1 имеет пять внутренних шин, через которые осуществляется обмен информацией между его основными структурными блоками.
Локальная и глобальная адресные шины (LОСАL АDDRЕSS ВUS, GLОВАL
АDDRЕSS ВUS ) служат для пересылки адресов команд, сформированных К18С-
ядром, и адресов данных, сформированных Л'/5'С-ядром в программном режиме или
коммуникационными портами в режиме прямого доступа к памяти, в соответствующие блоки программируемого интерфейса при обращении к внешней памяти. Выходная шина данных (ОUТРUТ DАТА ВUS) служит для пересылки данных, подлежащих записи в локальную или глобальную внешние памяти, из RISC-ядра век торного процессора и коммуникационного порта в блоки программируемого интерфейса.
1-я и 2-я шины ввода (1NРUТ BUS #1, 1NРUТ BUS #2) предназначены для пересылки данных и команд, считанных из локальной или глобальной внешней памяти, из блоков программируемого интерфейса в любой из основных узлов нейропроцессора. Причем в программном режиме работы нейропроцессора пересылка скалярных данных осуществляется только по 1NРUТ BUS #2, а пересылка векторных данных — по 1NРUТ BUS #1. Пересылка данных в режиме прямого доступа к памяти и пересылка команд могут осуществляться по любой из этих внутренних шин.
Межрегистровые пересылки скалярных данных и пересылки констант из регистра команд в программно доступные регистры осуществляется через блоки программируемого интерфейса с использованием внутренних шин OUТРUТ DАТА ВUS и INРUТ BUS #2.
64-разрядные шины INРUТ BUS #1, INРUТ BUS #2 и OUТРUТ DАТА ВUS позволяют за один такт пересылать как 32-разрядные, так и 64-разрядные данные. Поэтому с целью уменьшения числа выполняемых операций пересылок типа «регистр-регистр» и «память-регистр» большинство 32-разрядных регистров нейропроцессора
могут программно объединяться в регистровые пары при выполнении этих операций. Кроме того, нейропроцессор содержит несколько 64-разрядных управляющих регистров, что также позволяет говорить о выполнении пересылок над 64-разрядными скалярными данными.
Выборка команд из внешней памяти осуществляется 64-разрядными словами, каждое из которых представляет собой одну 64- или две 32-разрядных команды.
Нейропроцессор использует 32-разрядный вычисляемый адрес при обращении к внешней памяти. Доступное адресное пространство нейропроцессора равно 16 Гб.
Оно делится на две равные части — локальное и глобальное. На рис.13.12 показано распределение адресного пространства нейропроцессора.
Рис13.12. Распределение адресного пространства нейропроцессора Л 1879ВМ 1
Если старший разряд адреса равен нулю, то идет обращение к локальной памяти, если единице — к глобальной. Младший разряд вычисляемого адреса используется
при доступе к 32-разрядным данным. Если он равен нулю, то используется младшая часть памяти (разряды 31-0). При обращении к 64-разрядным данным или при выборке команд он игнорируется.
13.7 Работа искусственной нейронной сети в режиме
идентификации параметров электродвигателя.
Искусственные нейронные сети строятся по принципам организации и функционирования их биологических аналогов. Они способны решать широкий круг задач распознавания образов, идентификации, прогнозирования, оптимизации управления сложными обьектами. Дальнейшее повышение производительности компьютеров все большей мере связывают с искусственными нейронными сетями, в частности нейрокомпьюторами.
.
В настоящее время все больше и больше появляется интеллектуальных систем управления электродвигателями в которых решаются задачи адаптации, самообучения, самонастройки. Поэтому для таких систем управления ключевой задачей является идентификация параметров электродвигателей.
В данной работе исследуется система управления состоящая из силового тиристорного преобразователя и электродвигателя постоянного тока. Эта система управления является дискретной, импульсной, нелинейной и теоретический анализ и идентификация с использованием классических методов решения дифференциальных уравнений представляют собой большие
трудности .
Поэтому для решения этой задачи была предпринята попытка использования искусственной нейронной сети.
На рис.13.13 представлена функциональная схема системы управления состоящая из тиристорного преобразователя и электродвигателя постоянного тока которая смоделирована в пакете Matlab-Simulink.
.
.
.
.
Рис.13.13
.
.
.
.
.
Результаты моделирования работы тиристорного преобразователя и электродвигателя постоянного тока при ступенчатом входном воздействии и последующем ступенчатом набросе нагрузки представлены на рис.13.14. Результаты моделирования, необходимые для дальнейшей обработки сохраняются в рабочей области Matlab.
.
Для идентификации параметров работы тиристорного преобразователя и электродвигателя (электропривода) выберем многослойную нейронную сеть NEWFF с прямой передачей сигнала и обратным распространением ошибки, которая представлена на рис.13.15 На представленной структуре элемент z осуществляет задержку сигнала на j шагов. На входы нейронной сети подается X(z) сигнал упраления и n значений сигнала с выхода Y(z) Величина n определяется порядком дифференциального уравнения которое описывает работу электропривода.
Рис.13.14.
Рис.13.15
При идентификации используется режим работы нейронной сети, реализующей отобрахение вход-выход. В этом случае нейронная сеть может вычислить якобиан электропривода, как если бы нейронная сеть представляла собой непосредственно электропривод.
Нейронная сеть содержит в первом входном слое 20 нейронов с функцией активации tansig и один нейрон на выходе с функцией активации pureline.
На рис.13.16 показана схема обучения нейронной сети, при котором минимизируется ошибка предсказания
E(t) =N(t)-Y(t), (13.1)
где Y(t) – выходной сигнал нейронной сети,
а N(t)- выходной сигнал электропривода.
При этом используется два элемента входного вектора: текущего выхода Y(t)
И задержанного выхода Y(t-1), полученных по математической модели электропривода . Процедура идентификации электропривода заключается в настройке весовых коэффициентов и параметров нейронов. Настройка производится на основании информации о сигнале ошибки между выходом электропривода и нейронной сети E(t).
.
.
При обучении нейронной сети сигнал обратного распространения между выходным и скрытым слоями выражается в виде
Rk=Uk-Qk (13.2)
где Uk-заданный (целевой ) образец,
Ok- действительный выход нейронной сети.
 |
Сигнал между скрытым и выходным слоями выражается следующим образом:
Веса связей между входным и скрытым слоями корректируются в соответствии с выражением
 |
а между скрытым и выходным слоями – по формуле :
где g1 – скорость обучения, g2 и g3 – коэффициенты мгновенного значения и ускорения соответственно. Уравнения (13.4) и (13.5) представляют собой модифецированные формы обобщенного дельта-правила [1].
При оперативном обучении веса связей нейронной сети корректируются на основе ошибки, определяемой как
где PI и N – заданный и фактический выход электропривода соответственно.
Таким образом, сигнал на выходе можно выразить следующим образом:
.
.
.
Рис.13.16.
Нейронная сеть обучалась в течении 500 циклов характеристика точности обучения показана на рис.5; установившаяся среднеквадратичная ошибка составляет приблизительно 2 рис.13.17
.
.
Рис.13.17
На рис.13.18 представлены переходные процессы реации на ступенчатое входное воздействие силового преобразователя, электродвигателя и обученной нейронной сети из которых видно что переходной процесс нейронной сети. давольно хорошо совпадает с переходным процессом силового преобразователя и электродвигателя
Рекомендуем посмотреть лекцию "25. Развитие и размещение отраслей рыночной специализации промышленности Центрального федерального округа. Внутрирегиональные".
.
.
Рис.13.18.
.
