Книга: Статические и динамические нейронные сети

Распознанный текст из изображения:

СТАТИЧЕСКИЕ И ДИНАМИЧЕСКИЕ НЕЙРОННЫЕ СЕТИ

НА ПРИМЕРЕ ЗАДАЧИ РАСПОЗНАВАНИЯ ОБРАЗОВ

на примере решения задачи распознавания образов рассматриваешься рабата статических и динамичшиих нейронных сетей, испалшзущся аппарат теории еерщпнсстей и неявные марковские модели. Отмечается предепытый случай динамических нейронных се~ей - сети на оочове динамических ассоциативных запоминающих устрзйпе, моделирующих ситналннае пространпеа, в котором запоминается входная информация,

Нейронные сети условно можно разделить на два типа - статические и

динамические. В данной статье работа таких сетей рассматривается на примере

решения задачи распознавания образов, для чего исследуется

вероятностная модель наблюдаемом сигнала. Использование этой модели

позволяет с помощью правила

максимальном правдоподобия определить на основе совокупности наблюдений

вектора параметров ближайший к модели эталонный вектор. Функция

правдоподобия трансформируется в дискриминантную функцию, которая

реализуется персептроном - многоуровневой статической сетью из

нейроподобных элементов (НЭ)

с пространственным суммированием входных сигналов - и используется для

классификации входных векторов согласно сформированным при обучении

классам. Процессы, протекающие в динамических нейронных сетях,

рассматриваются с помощью неявных марковских моделей, которые строятся на

основе аппарата марковских процессов. Предельным случаем сетей,

учитывающих динамическую (временную) информацию, являются сети из так

называемых динамических ассоциативных запоминающих устройств,

представляющих собой множество параллельно включенных нейроподобных

элементов, каждый из которых, являясь элементом ассоциативной

памяти, моделирует одну из точек сигнального пространства, где отображается и

запоминается в виде 'оследовательности точек - траектории — входная

последовательность.

Рассмотрим работумногоуровневых персептронов[1] на примере задачи

распознавания образов. Пусть имеется совокупность наблюдений э э ..., зы

элементов вектора параметров а„ аз,..., ан Предполагается,что

вектор а †(ат,..., а,) находится в некотором известном линейном пространстве

Вп(а, Е зя~) и входит в состав

Распознанный текст из изображения:

словаря эталонных векторов. Тогда модель имеет вид з„= а„ь А„, где А„- |Ч(О, о) - ошибка наблюдеггих, || неизвестна и все величины бо Аз,, А считаются независимыми случаиными с нормальным распределением.

Для определения эектг|ра а,, используется метод максимального правдоподобна. Рассмотрим шютнпсть раслрелеления вероятиостси некоторого вектора х: р,(х) = р,, (хв ..., х„) Волн а «ыражеиие р,(к) вместо переменной х подставить наблюдаемый векп|р з, то фуякшы р, (а, 1з) будет иазыються функцией правдоподобия. В качестве опенки а, ОО неизвестного значения а, слелует взять точку, в которой (при заданном значении а) достигается максимум функции правлополабия р,(а, (я), з) = шах р, (а,, я). Функцию праввоподобня можно использовать как дискрнминантну|о, связанную с эта|юнным вектором а (классом в в А) [2]. Х, (в) = р, (а„з). Тогда юассификацив осушесгввяется на основе логического решения: если Х,(я) > Х, (в) дл» любою | в В то я н Аг Дискриминатшные функции делят пространство признаков й на области, соацютствующиеразньш |шасюрам Граыицы областеи образуются сегментами п|лерллоскостеи, определенных выражениями к, (х] — х, (х) = О.

Решение трансформируется в бинарное с помощью элементов пороговои логики. Линейную дискРиминантнУю фУнкци|о в этом ел)чае можно опРеделить как К (Я) = И",Я, ще И', = (и, мз „...,мв,) весовые коэффициенты, обшлинив которые лля всех эталонных векторов. получим матричную зайись: й(я) = )Ч к в здесь й(з)=(йг (я),, дя (з)], (Ч = (э,,] - матрица размер|гости Аг х 1 /- число эталонных векторов

Персептран яшыстся сетью из порошвых ктемснтов. это мношуровнеамг структура из НЭ, содержащю слой входных злемюцов рецепторов, слой выходных злеме|цов - эффектаров, а также внутренние слои «лассифипирующих элементов Нейрополобныи элемент обладает следующими свойствами| 1] способностью в каждый момент времени находиться в сос|оянии возбуждения иии покоя; 2) наличие» тормозных и возбуждающих входов (синапсов) с жеевыми коэффициентами ы П 3) жцможнсстью порошвшо преобразования, опредышю|неш в текущий моыснт времени г состояние слзбужцелля или покоя в зависимости от величины й (порога) и разности между алгебраической суммои возбуждающих и тормозных импульсов, поступивших в моыент времени 1-1 на вьшоды данного нсирона; 4) способностью изменять весовые коэффициенты сииапсов или порог й ри обучении, что обусловливает наличие памяти Решение об изменении состояния НЭ при обучении базируегся на 1-м свойстве и мажет быть получена слелую|цим образом: определяется и вычисляется ух (1-1) 1 2 дискриминантных функций, их порошвые значения вводятся в сеть, парождающ ло подхадяшни индексиыи вектор П на выходе — веюор размерности 1, имеющий все нулевые компоненты, кроме |-го.

Более сложные нсиронные сети строился с испсльзояанием внутренних элементов, что позвсэыет получить разделение областей сложными гиперповерхносгями

Квассичесхие сети из нейрополсбных элементов позволяют решить задачу распознавания статических (пространственаых) образов. Оии могут использоваться и для распознавания динамических образов (речевых сигналов), олнако в этом сл |ае юш учета временной струк гуры информации прибешют к специальным приемам, например, заводят на дополнительные входы информацию с задержками [2]

Линамические |широнные сети [3] отображают входную информацию (входные временные' последовательности) в сигнальное пространство. Эта информация запоминается за счет изменения состоааии или связей соответствующих НЭ, а также воспроизводится. После обучения входная информация может распознаваться путем сравнения с васцроизволимой

Наиболее просто продемонстрировать щюцессы, протекающие в динамических ион ронных сещх, используя неявные марковские модели. Маркошкие п(юцессы с дискретным временем называвпся марковскими цепями Конечной марковской цепью называется конечным стохасгическии процесс |акой, цо дпя л|сбого высказывания 1, исп|нносгь котфюш зависит лишь ст исхода эксвеРиментов аллан, да л ш, Р [~„= ь) ~ О„ч = а,), 1] =Р [У,, =.г, ] (предлслвгэеюя, цо)'„, = г, и 1совмеспшы).

Пусть марковская цепь первою порядка из К состоянии задается [4] матрицей лерею|днмх верошнсстей Ч=[г, ), 1[=1,2,,К ивекторсмначальныхаероятностеин'=(и,,л,...,л ),где,» в| =1, и, >Опля

|

всех), з ь, = 1 для всех |. Лля любой посяедовательнссти с конечным чиглом состоянии |3 = дв, йш ..., От,

|

где д, е (1, 2,, К) вероятность шнерации (] марковской цепью ма:кет быть вычислена как р((2 ~Ч, н ) =

= в г, т,, г Предположим, что послеюзватеиьность (4 =до чз, ..., О не может наблюдаться

г, г,гр г,гр

непосредствешю. Вместо иее на(ююдается стохастическии процесс Б = зн гз, ..., гг, генерируемый поровщаюшей

и нснаблюлаемой последовательностью состояний Он 1, ..., Ч . Каждое состояние лроявляшся че]юз функпию

плотности вероятности у, (Н, а Р = [1 (г)] - множество таких функций. Плотность вероятности наблюнения

3 = г, .г,, з . лорожленнош ланнои послеловательностью состоянии (2, генерированнмх марковской

т г.

цепью с матрицен переходных вероятностеи 1 и начальной верояцюсгью н, есть, таким образом, У($ !|к, Ч, в, Р] =

=з' (з ) 1 (г ) - 1', (г ), где г, - вектор без неопределенности. Отсвша следует, что плотность вераятыюти

г,|г.з,|'

наблюдения В при данных Ч и ц есть 1"(я[Ч, н, Р) = К дя,га]Ч, Р) = ) Г(В[|у, Ч, н, Р) р((ИЧ, н, Р) =

г г

= А, з(Я[|у, Ч, щ Р) р((2]Ч, н). Стохастический процесс 8 характеризуется плотностью Т(Я ) Ч, и, Ч)

Распознанный текст из изображения:

СИСТЕМА ПРОГРАММИРОВАНИЯ И ПОДДЕРЖКИ ИНТЕРФЕЙСА

СПИСОК ДИТЕРАТУРЫ

1 мымум, Рир ну Ремернопг саюьпбве: м!т Ргеы, 1969.

2. Виигыглн, иггдгйюг с/. Яреесь Рапегп Оггспю~паггов шл мвгшауе Регс ргпюг В согвриг ярись ап41 влюгаве

1989 Уа! 3 Р 1 - 19

3. Каи !амш А.А Алспвоп Меспапнш Овика го Ропп Ргип па 1г-эггистшеа оп а хе палас Нег // Неепжипосгегв авс Аиелцсл. уа!. 1! Соппеспапцю апа паютс япршегг / Еа А К Ним и у ! Кгуийг . Мэпсвымг — М. у.; МапсЬеггсг Оп1гегпгу Реем, 1991. Р. 747 - 756

4. /иилд В. Н. Оп йе Высел Ма!кит Мале! апл Оупв вс Тгше шыргш Ьг ВреесЬ цшохсгпои: А Пи!лес уге // АуйТ Вел Сабагагопеад 1984 Уог 63 Н7 Р 1213-1243.

Рекомендовпга хафшрай

систем автоматич скаш упрымепит

Паспппла в эсдакппю

03 96 94

А.Н. АНИКИН, С.В. КУДРЯВЦЕВ

Московский гасударатввнный твхиическии университет им. Н.З. Баумана

СИСТЕМА ПРОГРАММИРОВАНИЯ И ПОДДЕРЖКИ ИНТЕРФЕЙСА

МУЛЬТИТРАНСПЬЮТЕРНЫХ ПРИЛОЖЕНИЙ НОЗТООСЗ

Расс юрнааеюя вюорская снсгага пргща м провали» «пода рт и юперфепса ив счет вазмавпосг Л

Ьап-машины л и таапспчо ст па сервера.

Тскпп!югня программирования - алгоритмы и иншрфейс. Со времен Н. Вирта !1, 2) отношение к программному пролукгу значительно изменилось, равно как и отношение к вычислительной технике. Программа !же расаматрпвается не пюько как сумма **алгоритм ч структура данньж*) ио н как продукт объектноориентированной технологии, процесс управления событиями Неотъемлемой частью процесса программирования стала продуманная организация диалога пользователя с этой прогрэммои.

Современная техника программирования предусматривает одни и тс ке формы ввода - вывода при саэдаипи различных программ. Существует системный гюдход к рациональному использованию набора элементов (базиса интерфейса), из которых склацываются разнообразные формы диалош. Дюгиыи набор элементов, нес!пира

и множеством фувкцнй гшотнссгн иерояцкюти У, которые предполашются известнымн н независимыып от марковской цепи. Триада (У, п, Р) = М яазьгвается далее неявной марковской моделью, а условная плотность дпя стохвстпческого процесса Я может быль записана как ДЯ) М).

Далее рассиотрии применение неявных марковских моделей лля решения задачи распознавания димамнческих образов. Необходимо распознать последовательность, о которои известна, что она принадлежит к некоторому словарю ЬУ, состоящему из ! своа Е 1 1, Я а/, ..., Я ! !. Каждое слава Ц Ю представлено моделью Мг При этом дается послеловащльносгв наблюдении Я=го г, ..., эп Применяя правило максимальноп» правдоподобия классифицируем Я как слава Вг' тогда и гопака тогда, когда/!Я) М) > /!Я)М) для любого

т

! и Д Далее укаэашсш проблема вновь разбивается иа две: аленку у'!Я!Мг) и нахожцеиие модели М, максимизнруюшей правдоподобие данного наблюдения Я.

Динамические сети на основе НО с временным суммированием входных сигналов обпацают рядом своиств, позволяющих формировать иерархические структуры, осуществляющие лнпгвистизескую цбраСшшу входной информации. К числу ю:их свойств относятся ассоциативное обращение к информации, учет статистических характеристик входной информации и соответственна возможность автоматического формировании (восстановив!сия) структуры входных событий в виде поуровневых словаря элементов событий виданной частоты и словаря связан этих элементов во входнаи информации. Эта позволяет автоматически формировать представление аб информации в терминах сенсорной или эффекторнон модальности (организованных рецептарным или эффекторнмм органом на нижнем уровне иерархической структуры) в аиде многократно ююженного суперграфа, где содержимое словарей нижних уровней размешаетс» в соответствующие области сЛоварей верхних уровней.

Распознанный текст из изображения:

ТОПОЛОГИЧЕСКАЯ КЛАСТЕРИЗАЦИЯ АЭРОФОСНИ[уг[КА

С ПОМОЩЬЮ САМООРГАНИЗУЮЩЕЙСЯ НЕЙРОННОЙ

СЕТИ

Рассматривается методика кластеризации ы распознавания двухмерных

мелкомасштабных изображений [аэрофотоснимков). Излагается метод

обучения саыаарганизующейся нейронной сети, ацеыываютсх полученные

результаты.

постановка и анализ задачи. задача кластеризации двухмерного изображения

(аэрофотоснимка) понимается как разбиение изображения на области [кластеры) по

признакам формы и раскраски

задача расяояяасания кластеризовзнного изображения понимается как

определение

принадлежности каждого из выделенных кластеров к одному из требуемых классов.

Например, для аэрофотоснимка могут быть рассмотрены следующие характерные

классы областей.

1. Кварталы городской застройки

2. Кварталы сельской застройки.

3. зелены е насаждения.

4. Асфальтовые или бетонные площадки [аэродромы, широкие дороги и Т.

и ). Правило отнесения области к тому или иному классу является неформальным.

Так,

сельская застройка характеризуется "мелкой днсперсностью" — контрастныц

чередованием

крыш небольших домов и земельньпс участков; для городской застройки характерны

прямые линии улиц и стен домов, прямые углы и регулярная планировка; изображения

зеленых насаждений [леса, парки) имеют характерную гамму оттенков и невысокую

относительную контрастность.

Тоновое изображение представляется в виде матрицы пикселов; цвет пикселов

задается значением яркости, изменяющимся от 0 [черный) да 255 [белый), при

необходимости оно может быть нормировано на 1

Текстура тонового изображения характеризуется различными параметрами [1):

дисперсией яркости, гистограмиой распределении яркости и др. Эти параметры

являются локальными [характеризуют некоторую область изображения) и могут быть

получены в результате свертки матрицы пикселов изображения с некоторой маской.

требуется проводить кластеризацию для некоторого фиксированного масштаба,

обеспечив инвариантность кластеризации относительно угла поворота

исходного изображения

Распознанный текст из изображения:

Р

ешение задачи кластеризации.

Але/змура. Первый этап выделения текстурных признаков — разбиение исходного изо-

бражения на регулярно расположенные фрагменты, очевидно, симметричные относительно

своих центров. Так как текстурные параметры лолжны быль инвариантны к углу поворота

изображения, наилучшей формой маски (апертуры) этого преобразования является круг.

который задается на сетке пнкселов:

1, если(/+05-г) +(2+05-г) <гз;

0 в противном случае,

где тй, /, У = 1, 2, ..., Ф, — маска апертуры, г — параметр апертуры (радиус).

Далее осуществляется свертка с исходным изображением !размером /З, х О,,:

1'н = ~> /ы;,а„ /тй,

/з

где /гн,э=1„2,...,(В,/.ь/), /=1,2,...,(/) /Ф),— полученный фрагмент нзобрюкения, /ьт,

оу — величина сдвига фрагментов относительно друг друга Здесь и далее (.) — пелая часть

действительного числа.

По каждому нз полученных изображений /н рассчитьваются информативные

признаки, в соответствии с которыми данный фрагмент относится к одному нз кластеров,

а затем — классов.

Текстурные лризнахц Раскраска локальной области может характеризоваться

различными информативными признаками: статистическими (О-го порядка), показателямн

перепадов яркости (1-го порядка), а также признаками более высоких порядков

(гистограммами углов, длинами линий н т. и.). Исходя из требования простоты вычислений

можно предложить следующий набор признаков:

— среднее значение яркостя

1

н

— среднеквадратическое отклонение (дисперсию) яркости

— среднее значение перепадов яркости (свертка оператора Робертса)

Б.

~~~нюх((гн — )з ~) (Ь, Рз 1)1

здесь 5 = ~~ тй — площздь апертуры.

й

Струклтуро нейронной сети. Систему кластеризации будем строить по принципу самообучения — система должна сама определять принадлежность вектора тжсгурных признаков н, следовательно, всей апертуры к какому-либо кластеру.

Для классификации областей по их текстуре может быль применена самоорганнзующаяся нейронная сеть (2). Такая сеть производит кластеризацию пространства признаков; т. с. разделение его на области с близкими параметрами раскраски. Подробнее алгоритм клас'геризации изложен в работе [3).

Входным сигналом НС является вектор текстурных признаков. Нейронная сеть представляет собой массив узлов. с каждым из которых связан адаптивный вектор весовых коэффициентов, — его нахождение и являетсл целью обучения:

Распознанный текст из изображения:

и ч = (ю~, д=1, 2, ..., ГЗ; 1=1, 2),

гле Я вЂ” число узлов сети, д — номер зэла, 1 — номер компоненты.

Узлы связаны в регулярную структуру, задаваемую координатами гч, д = 1,2, ..., О Например„если структура представляет собой квадратный массив, то

; =(~д/Л~ «-~дно).

При обучении НС 13) значения весовых коэффициентов передаются между нейронами с коэффициентами взаимодействия й р(г). Обучение предполагается однородным (не зависит от номера нейрона) и изотропным (не зависит от направления):

'лчлЯ= фч — г„1~), д,р=1,2,...,0.

Во избежанве граничных эффектов будем также считать, что связи между узлами организованы в виде тора.

Начальные значения зкч — случайные числа из интервала 10, 1). Начальнее значение функции классов у(д) = О, д = 1, 2, ..., Д .

В процессе обучения на вход НС в случайном порядке подаются элементы обучающей выборки х . Нейронная сеть определяет номер нейрона-"победителя'*

з

с = ьгй тшп(( х — и я ), Н) гле Ц вЂ” евклндова метрика в пространстве признаков.

Векторы весовых коэффициентов соседних нейронов, принадлежащих окрестности нейрона-"победителя", изменяются по направлению к входному вектору:

зк (г+1) -згчЯ вЂ” иЯЯ (х гг) — згч(с)). (2)

Операции (1), 12) повторяются для всех векторов обучазощей выборки 1=1,2,...,В Показателем сходимости является значение функции

Цх — и '(~.

Когда значение 13) стабилизируется, процесс обучения заканчивается.

Обучающая выборка для нейронной сети строится следующим обрюом:

— фиксируются несколько характерных изображений (аэрофотоснимков), на которых НС будет обучаться;

— фиксируются размер апертуры и шаг по вертикали и горизонтали;

— каждое изображение разрезается на фрагменты, соответствующие размеру апертуры;

— по каждому фрагменту рассчитываются апертурные параметры;

— векторы параметров составляют обучающую выборку.

Таким образом, в результате обучения получается нейронная сеть, реализующая разбиение исходного пространства параметров в виде решетки Вороного 12), узлами которой являются точки, соответствующие весовым коэффициентам сети, и разделяющая исхолное изобралзение на кластеры, т. е. фрагменты изображения, соответствующие одному нейрону.

Решение задачи распознавании. По окончании процесса самоорганизации НС исходное изображение окалзется разбитым на кластеры, соответствующие нейронам обученной сети. Для того чтобы сеть распознавала области требуемых классов, должна быль задана табличная целочисленная функция классов й~(зчч), либо, записывая короче, зу(д) — номер класса. поставленный в соответствие вектору згч, или, что то же самое, нейрону с номером д.

Результаты тестирования. Метод тестировался при различных значениях параметров:. , в обучающую выборку были включены 8 фрагментов исходных аэрофотоснимков размером ВООкьОО пикселов. общее число примеров обучающей выборки — около 12 000. Ислользова.

Распознанный текст из изображения:

шсь указаипьы выше Л класса облас гсй На рис 1 и " представлены исходные изображения ~ о) и роз) льтаты кластеризации !б) классов. вьшеленные наклоном линий штриховки.

Кроме того. в результате ьластерязапии по. учен класс направленных перепадов — дороги и границы оде~палок и отдельно сгояшпх зданий, участки перехода мезкду разными ппшмп текстур !горолская и сельская застрошси)

е,'!1)!!ез!х!ВЮа!!ВВЩЧжЧИЗКЬ

ли,

Ншш)чшне показатели качества клас~ерпзацпи пыли госгиг!зуты при следующем лсюоре паржетров: — размер сперт ры — !лх11: — шаг апертуры па вертикали н горпзон гали — 14; — размер нейронной сети — !Ох!О. В качестве теста испояьзовались аэрофотоснимки с тем же разрешением. но не вхо.цшшие в обучаюшую выоорку н

1) являюшиеся фрагментами тех жг аэрофотоснимков, что и изображения. входяшие к об) шюшую вьюорку! ") снятые в лр)том месте лругнмп срелствачи при сохраненви масштаба. Качесзво решения опегпгвалось ьак отношение площади правильно кластеризованнога изображения к его обшей плошади. На примерах. входивших в обучаюшую выборку. ;:жестко лосю гает 9'%: на примера,. не вмзлшзозих в осу'ппошую выборку.— 90% !в 1-ч слс пге) и 75% !во 2-и случае):

Распознанный текст из изображения:

Выводы. Полученные результаты показываютг

— возможность такс!урной кластернзацин азрофотоснимка с яспользованнем само.

оргаянзуюшейся нейронной сети:

— способность-нейронной сети группировать фрагменты изображения по их сходству

в смысле близости наборов информативных признаков;

— адекватность и информативную емкость выбранных признаков.

При использовании дополнительных параметров качество распознавания может бып

повышено пеной увеличения времени вычисления.

Список литературы

!.,3 до Р..Х рег Л. Расппзнвванне образов и анапнз спен. Мз Мир, !976.

„'. Коьопеп Т. Зе!Е-Огаю!Впа Мв!и. Весим Брг!пает-тгег!в . !995.

3. С»пори»ос Л Х Рвспознвеанне гпоервменой тре»мерок» ойьелтов с пепоеиованнем самооргамизуюасйс»

нейронной мгн Лизе, вузов. Прггаоростраенпс. !996 Т 39, Уй 5, л. 57-65