Технологии нейронного управления

МЕТОДЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА

ЛЕКЦИЯ № 7

На прошлой лекции мы в упрощённом виде рассмотрели структуру и функции биологической нейронной сети. Мы увидели, что в терминологии, моделях и функциях, используемых для искусственных нейронных сетей, многое заимствовано из биологических нейронных сетей. В то же время обучение в искусственных нейронных сетях во многом отличается от соответствующих процессов в биологических сетях. Искусственные нейронные сети обучаются на основе упрощённых алгоритмов, адаптирующих синаптические веса. Эти алгоритмы могут классифицироваться на алгоритмы управляемого и неуправляемого обучения. Мы остановились на алгоритме обратного распространения ошибки — это наиболее широко применяемый алгоритм обучения многослойных нейронных сетей. Он составляет основу для большинства схем нейронного управления.

ТЕХНОЛОГИИ НЕЙРОННОГО УПРАВЛЕНИЯ

Во многих реальных системах имеются нелинейные характеристики, сложные для моделирования динамические элементы, неконтролируемые шумы и помехи, а также множество обратных связей и другие факторы, затрудняющие реализацию стратегий управления. За последние два десятилетия новые стратегии управления в основном развивались на базе современной и классической теорий управления. Как современная (в частности, адаптивное и оптимальное управление), так и классическая теория управления в значительной степени базировались на идее линеаризации систем.

Для практического применения данного подхода необходима прежде всего разработка математических моделей. Однако математическое моделирование, реализуемое на основе предположения о линейности системы, может не отражать её действительных физических свойств. Даже если удаётся построить сложные математические модели, точно отражающие физические соотношения между входом и выходом системы, они могут оказаться бесполезными для целей управления. Практически приемлемымий теорий управления. Как современная (в частности, технологии адаптивного и менной и классической теорий управления. Как соврем могут быть только модели с низкой чувствительностью по параметрам. Обеспечить это для нелинейных систем достаточно сложно.

Рекомендуемые материалы

Вообще говоря, для аппроксимации реальных физических систем в качестве хороших математических моделей показали себя статистические модели. Например, модель авторегрессии, модель авторегрессии скользящего среднего или модель кристаллической решётки. Эти модели позволяют достичь достаточно хороших результатов в решении многих практических задач, связанных с распознаванием речи, анализом данных геологических исследований, распознаванием образов и тому подобных. Достоинство статистических моделей — в их простоте. А кроме простоты они ещё допускают проверку на адекватность, для этого используют частотные характеристики и спектральный анализ.

Таким образом, при использовании статистических моделей имеется возможность оценить явления, происходящие в определённой полосе частот. Статистический подход может показаться очень эффективным, однако используемые при этом приближения часто не обеспечивают достаточной точности для целей управления. Причина этого недостатка заключается в попытке приспособить линейные модели к сложным нелинейным системам. Кроме того, эти методы основаны на моделях „чёрного ящика“, используемые в них переменные и параметры в некоторых случаях не имеют физического смысла. По этим и другим причинам статистические подходы не находят широкого применения в практике управления.

Другой распространённый подход к управлению — адаптивное управление. Здесь предполагается наличие математической модели, основанной на физических явлениях, и оцениваются неизвестные параметры, включённые в эту модель. Затем определяется закон управления, направленный на достижение некоторой цели, а математическая модель при этом рассматривается как реальная система. Такой подход основывается также на теории линейных систем. При каких-либо изменениях в объекте управления или во внешних условиях требуется перестраивать модель и определять для неё новый закон управления. То есть требуется вручную проверять, является ли модель адекватной реальной физической системе.

Из всего этого можно сделать вывод, что для того, чтобы алгоритмы управления могли применяться на практике, они должны быть достаточно простыми для реализации и понимания. Кроме того, они должны обладать способностью к обучению, гибкостью, устойчивостью и нелинейностью.

Алгоритмы, основанные на нечёткой логике, обладают некоторыми из указанных свойств, благодаря чему и получили в настоящее время весьма широкое распространение.

А всеми этими свойствами обладают нейронные сети. Они показали свою эффективность для решения задач распознавания образов, они способны обучаться на основе соотношений „вход—выход“, поэтому могут обеспечивать более простые решения для сложных задач управления. Кроме того, нейроны — это нелинейные элементы, следовательно нейросети в своей основе являются нелинейными системами, пригодными для решения задач управления, принципиально связанных с наличием нелинейных характеристик. Традиционные методы управления не обеспечивают решения подобных задач. Таким образом, в последнее десятилетие интеллектуальное управление стало вполне подходящим для решения реальных задач.

Общие сведения о нейронном управлении

Нейронным управлением называется применение полностью определённых нейронных сетей (искусственных или естественных) для выработки действительных управляющих сигналов. Обычно когда говорят об „управлении“, под этим термином подразумевают определённую форму интеллекта.

Например, мы должны управлять собой, чтобы не допускать противоправных действий. Во многих религиях от людей требуется соблюдать определённые ограничения, для этого люди также должны управлять собой. Когда мы контролируем свои чувства и эмоции, также имеется элемент мышления, связанный с определённой формой интеллекта. В технике, когда разрабатывается контроллер для управления некоторым объектом или процессом в соответствии с заданными параметрами, также можно сказать, что имеется некоторый процесс мышления. Этот процесс должен осуществляться контроллером, чтобы обеспечить желаемую работу объекта управления.

Одна из характеристик систем управления с обратной связью — их способность к мышлению в том смысле, что они могут в некоторой степени заменять человека-оператора.

Поэтому почти во всех областях техники исследователи стали активно применять механизмы, основанные на нейросетях, для нахождения лучших решений по сравнению с обычными методами. Нейросети оказались подходящим средством для решения сложных нелинейных задач управления, для которых обычные методы не дают удовлетворительных с практической точки зрения решений.

По мнению вот этого нашего японского учёного Сигеру Омату, имеется несколько причин, породивших интерес к применению нейросетей в качестве альтернативы традиционным методам.

—  Нейросети могут обучаться любым функциям — способны к самообучению. Требуется только, чтобы в процессе обучения был предоставлен достаточно большой объём информации о входах и выходах, а также правильный выбор самой нейронной модели. Способность нейросетей к самообучению избавляет от необходимости использовать сложный математический аппарат, в отличие от многих традиционных методов адаптивного и оптимального управления.

—  Включение сигмоидных функций активации в скрытые нейроны многослойных сетей обеспечивает возможность реализации нелинейных отображений. Это актуально для решения задач управления с существенными нелинейностями. Возможно, это достоинство нейронных сетей — наиболее важное с точки зрения теории управления.

—  Необходимым условием применения традиционных методов оптимального и адаптивного управления является наличие большого объёма априорной информации об объекте управления, например, данных математического моделирования. Благодаря способности нейронных сетей к самообучению, для нейроконтроллеров такой объём информации не требуется. В связи с этим важно полагать, что нейроконтроллеры пригодны для управления в условиях существенных неопределённостей.

—  Высокая степень параллельности нейросетей позволяет реализовывать очень быстрые методы мультипроцессорной обработки на основе использования нейронных кристаллов или параллельных аппаратных средств. Например, корпорация American Neurologix уже давно разработала и выпустила на рынок нейронный процессор NLX420.

—  Благодаря реализуемой в нейросети архитектуре параллельной обработки, повреждение отдельных элементов технических средств сети не может существенно влиять на работу сети в целом.

Подходы к нейронному управлению

Самой распространённой стала схема нейронного управления на основе инверсно-прямой модели. Популярность этого подхода связана с его простотой. Сущность подхода состоит в том, что сначала нейронная сеть обучается на инверсии объекта управления, а затем она может быть настроена на непосредственное управление этим объектом.

{рис. 4.2.2, с. 95}

Идея этой схемы была заимствована из традиционной схемы управления с самонастройкой. В ней требуемое управляющее воздействие определялось из инверсной математической модели путём задания желаемого выходного сигнала объекта.

Сеть обучается автономно, с использованием образцов, полученных по характеристикам разомкнутого или замкнутого объекта управления. Обученная таким образом сеть настраивается на работу в качестве контроллера для объекта управления подобно обычной системе управления с обратной связью. Такое обучение называется обобщённым.

Архитектура специализированного обучения используется для обучения сети, которое управляется целью. При этом ошибка выполнения распространяется по сети в обратном направлении при каждой выборке.

{рис. 4.2.3, с. 96}

Ещё одной инверсной, на этот раз, однако, непрямой, моделью обучения стала схема обучения с ошибкой обратной связи. Эта схема, как и предыдущие, кстати, тоже использует алгоритм обратного распространения.

{рис. 4.2.4, с. 97}

В этой схеме нейросеть настраивается параллельно обычному контроллеру с обратной связью. Сеть обучается непосредственно, путём повторения циклов желаемой траектории. При этом ошибка обратной связи распространяется по сети в обратном направлении. Сходимость достигается, когда нейронная сеть, завершив обучение на инверсии объекта управления, принимает на себя управление объектом, устраняя действие контроллера с обратной связью.

Этот метод управления аналогичен, например, обучению игре в теннис. Теннисист-новичок сначала не умеет правильно ударить по мячу и поэтому старается делать это как можно точнее. Однако после определённой практики игрок научится более правильно управлять размахом руки при ударе по мячу. Метод обучения на основе ошибки обратной связи состоит в многократном повторении цикла желаемой траектории, поэтому его практическое применение ограничивается только некоторыми типами систем.

И ещё одна важная архитектура нейронного управления, использующая алгоритм обратного распространения — это схема обратного распространения по времени. Она сходна с одной из традиционных структур адаптивного управления — косвенным адаптивным управлением.

{рис. 4.2.5, с. 98}

В этой схеме для управления объектом используются две нейросети. Первая используется как эмулятор, а вторая — как контроллер. Сеть-эмулятор может обучаться автономно, с использованием архитектуры обобщённого управления или даже непосредственно, путём ввода случайных входных сигналов для обучения динамике объекта управления.

Данная архитектура обеспечивает более точное непосредственное обучение нейроконтроллера, так как ошибка может распространяться в обратном направлении через эмулятор в каждой выборке.

По мнению г-на Омату, большинство схем нейронного управления, разработанных до настоящего времени, основаны на следующих подходах.

1. Последовательная схема управления. Нейронная сеть непосредственно обучается отображению желаемых сигналов в управляющие воздействия.

2. Параллельная схема управления. Нейронная схема используется для компенсации управляющего воздействия, задаваемого обычным контроллером. Компенсация производится таким образом, чтобы выходной сигнал объекта управления поддерживался как можно ближе к желаемому.

3. Схема управления с самонастройкой. Нейронная сеть настраивает параметры управления, задающие работу обычного контроллера таким образом, чтобы выходной сигнал объекта управления поддерживался как можно ближе к желаемому.

4. Схема управления с эмулятором и контроллером, она же схема обратного распространения по времени. Максимизируется некоторая мера эффективности во времени, однако при этом эффективный учёт действия шумов не обеспечивается, и действительное обучение в реальном времени не достигается.

5. Адаптивно-критическая схема. Эта схема приближена к динамическому программированию, т.е. к реализации оптимального управления во времени в условиях шумов и нелинейностей.

Блок-схема общей схемы управления имеет следующий вид:

{рис. 4.2.6, с. 101}

Для получения желаемых результатов управления, т.е. для поддержания максимального соответствия выходного сигнала объекта управления опорному сигналу, можно настраивать два элемента схемы: контроллер прямой связи (КПС) и контроллер обратной связи (КОС). На схеме они оба обозначены со стрелками.

Контроллер обратной связи используется для стабилизации замкнутой системы. Стабилизация достигается на основе сигнала ошибки, представляющего собой разность между опорным сигналом и выходным сигналом объекта управления. Если объект управления имеет существенное временное запаздывание, то воздействие управляющего входного сигнала на выход объекта управления будет проявляться с запаздыванием. Полученный таким образом выходной сигнал будет подаваться обратно по цепи обратной связи и сравниваться с опорным сигналом. По разности между сигналами определяется очередной входной управляющий сигнал. Таким образом, временное запаздывание может привести к тому, что замкнутая система потеряет устойчивость.

При отсутствии возмущений контроллер прямой связи не обеспечивает полной гарантии того, что выходной сигнал объекта управления будет соответствовать опорному сигналу, однако обеспечивает быструю передачу выработанного входного сигнала на объект управления. В результате обеспечивается высокая скорость реакции системы. Проще говоря, контроллер обратной связи обеспечивает стабильность системы, а контроллер прямой связи — быстроту её реакции.

Последовательная схема нейронного управления

Последовательная схема на картинке выглядит следующим образом:

{рис. 4.3.1, с. 102}

Для такого типа нейронного управления используется также название инверсно-прямое управление. Это означает, что нейронная сеть может реализовывать обратную динамику объекта управления.

Если обозначить соответствие между выходом и входом как , то нейронная сеть реализует обратное отображение , где  — отображение, обратное отображению .

Таким образом, если подать на нейронную сеть опорный сигнал , то выходной сигнал объекта управления  принимает значение , так как .

Здесь  — входной сигнал объекта управления, соответствующий опорному сигналу, а  — выходной сигнал, соответствующий .

Можно использовать два способа реализации схемы (рис. 4.3.1). Первый из них называется специализированным обратным отображением, имеет такой вид:

{рис. 4.3.2, с. 102}

Нейронная схема, показанная на этом рисунке, обучается таким образом, чтобы минимизировать квадрат ошибки. Если ошибка становится близкой к нулю, можно считать, что нейронная сеть реализует инверсную динамику объекта управления. Заключённая в пунктирную линию часть схемы, называемая цепью прямой связи, может рассматриваться как разновидность нейронной сети, у которой выходной слой жёстко задан.

Для нашей схемы (4.3.2) простейшая внутренняя структура нейронной сети выглядит так:

{рис. 4.3.3, с. 103}

Здесь используется один нейрон во входном и один — в выходном слоях. Входным сигналом нейросети является только сигнал , выходным — только сигнал . Для простоты обозначим отношение вход/выход для объекта управления как . При этом желательно, чтобы по результатам обучения выходной сигнал имел значение как можно ближе к . Таким образом, подлежащая минимизации функция ошибки записывается в следующей форме:

,

,

.

Алгоритм обучения будет выглядеть следующим образом:

Шаг 1. Присвоить начальные значения величинам , , , ,  и . Положить  и перейти к шагу 2.

Шаг 2. Подать на нейронную сеть входной сигнал, равный желаемому входному сигналу  и вычислить значения сигналов  и . Затем вычислить  по формуле:

Шаг 3. Изменить веса связей в соответствии с выражением:

Шаг 4. Вычислить значении :

Шаг 5. Изменить веса связей:

Шаг 6. Положить  равным  и перейти к шагу 2.

При практическом применении этого алгоритма возникают, однако, некоторые трудности. Одна из них состоит в том, что соответствие вход/выход, задаваемое нейронной сетью, является не динамическим, а, скорее, статическим отображением координат  на . В практических задачах управления динамические отображения являются более привычными. Поэтому нейронная сеть должна непосредственно подавать на вход объекта управления много сигналов, равных прошлым входным сигналам, или эти прошлые входные сигналы должны сохраняться. В первом случае выходами нейронной сети будет не только значение  в текущий момент времени, но и значения того же процесса в предшествующие моменты . Во втором — входами нейросети становятся значения .

Кроме того, можно подавать больше информации на вход нейронной сети, чтобы ускорить сходимость обучения. Если известны какие-либо факторы, способные улучшить управляющий сигнал, то следует использовать такую информацию в качестве входного вектора нейронной сети.

Тогда схема последовательного нейроконтроллера примет следующий вид:

{рис. 4.3.4, с. 106}

Символами  обозначена дополнительная информация, которая может влиять на управляющий сигнал. Однако если величины временной задержки  и  точно не известны, то использовать такую структуру нельзя.

Для обучения этой нейросети здесь можно применять ту же методику, что и для предыдущей, отличие будет лишь в числе входных и выходных слоёв и виде функции:

.

В рассмотренном выше алгоритме единственная сложность состоит в вычислении якобиана системы  на втором шаге. Как правило, это выражение неизвестно, и требуется искать его аппроксимацию. А это не есть хорошо.

Альтернативный подход состоит в том, чтобы выполнить имитационное моделирование объекта управления, используя другую нейронную сеть, реализующую отображение вход/выход для объекта управления. В этом случае данная нейронная сеть используется в качестве идентификатора системы, или эмулятора. Таким образом, используя эмулятор, можно вычислить якобиан системы, как если бы этот эмулятор представлял собой действительный объект управления.

Итак, ,

где  — отображение вход/выход для эмулятора.

Простая процедура обучения для эмулятора выглядит так:

{рис. 4.3.5, с. 109}

Целью обучения является минимизация ошибки предсказания .

Рассмотрим эту схему подробно:

{рис. 4.3.6, с. 109}

Для ускорения сходимости процесса обучения можно использовать другую модель эмулятора:

{рис. 4.3.7, с. 110}

Здесь в качестве условной модели используется простая математическая модель или физически точная модель, даже если сама система является достаточно сложной и нелинейной. Если между действительным выходным сигналом и входным сигналом модели имеется несоответствие, то нейронная сеть выполняет самонастройку с целью минимизации ошибки.

Таким образом, эмулятор рассматривается здесь как сумма условной модели и нейросети, но настраиваться и изменяться может только нейросеть.

Этот метод моделирования является подходящим для практических задач управления, так как условная модель может не обеспечивать достаточной точности предсказания действительного выходного сигнала.

Общие схемы

Г-н Омату, основываясь на собственном опыте, очень рекомендует использовать статическую модель, модель авторегрессии, модель авторегрессии скользящего среднего, линейных векторных уравнений и т.п., так как они позволяют выявить долгосрочные тенденции. В свою очередь нейронная сеть позволяет реализовать нелинейные соотношения. Таким образом, общая конфигурация такая:

Лекция "16. Понятие термодинамического равновесия" также может быть Вам полезна.

{рис. 4.3.8, с. 111}

NN1 — это нейросетевой эмулятор, а NN2 — это нейроконтроллер, реализующий инверсно-динамическое отображение.

NN1 реализован по схеме 4.3.6 или 4.3.7, а NN2 — по схеме 4.3.4.

Другая схема реализации инверсной динамики:

{рис. 4.3.9, с. 112}

Здесь нейронная сеть NN1 используется для обучения инверсному отображению, а математическая модель NN2 копируется с модели NN1 после того, как заканчивается её обучение, обучение NN1.