Боровиков В.П. - Нейронные сети (778916), страница 21

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 21)

На языке нейронных сетей линейная модель представляется сетью без промежуточных слоев, которая в выходном слое содсржит только линейные элементы (т е. элементы с линейной функцией активации). Веса соответствуют элементам матрицы, а пороги — компонентам вектора смешения. Во время работы сеть фактически умножает вектор входов на матрицу весов, а затем к полученному вектору прибавляет вектор смещения. В пакете ЮТ д!еипг! 1гге!ног!гз имеется возможность создать линейную сеть и обучить се с помощью стандартного алгоритма линейной оптимизации, основанного на псевдообратных матрицах (БУР) (Оо!иЬ алг! Кялап, 1965). Разумеется, метод линейной оптимизации реализован также в модуле Мггозгсестсенгшя регрессия — Ми!!!р1с йейгезя!огг системы ШТАТ!5'Т1СА; однако, линейные сети пакета 5Т гг!еига1 Жегнгог1гх имеют определенное преимущсство: они позволяют в единой среде сравнивать такие модели с «настоящими» нейронными сетями.

102 Гпава 4 Общиб обзор нейронных оепзеа Линейная сеть является хорошей точкой отсчета лля оцснки качества построенных нейронных сетей. Может оказаться так, что задачу, считавшуюся очень сложной, можно успешно рсшить не только нейронной сетью, но и простым линейным методом. Если жс в задаче пс так много обучающих данных, то, вероятно, просто нет оснований для использования болсс сложных модечей. СЕТЬ КОХОНЕНА Сеть Кохонена сильно овчичается от всех других типов ссгсй, реализованных в пакете БТ Иеиги! МнМог~и.

В то время кшг всс остальные сети предназначены для задач с управляемым процессом обучения, сети Кохонена главным образом рассчитаны на неуправляемое обучение (Ко)човеп, 1982; НауЫп, 1994; Рацегзоп, 1996; Ганзен,! 994), При управляемом обучении наблюдения данные, составляющие обучающие, вместе со входными переменными содержат также и соответствующие им выходные значения, и сеть должна восстановить отображение, переводящее первые во вторыс. В случае жс неуправляемого обучения обучающие данные содержат только значения входных переменных.

На первый взгляд зто может показаться странным. Как сеть может чему-то научиться, не имея выходных значений? Ответ заключастся в том, что сеть Кохонена учится понимать саму структуру данных. Одно из возможных применений таких сетей — разведочный анализ данных. Сеть Кохонена может распознавать кластеры в данных, а также устанавливать близость классов. Таким образом, пользователь может улучшить свое понимание структуры данных, чтобы затем уточнить нейросетевую модель. Если в данных распознаны классы, то их можно обозначить, после чего сеть сможет решать задачи классификации. Сети Кохонена можно использовать и в тех задачах классификации, где классы уже заданы, тогда преимущество будет в том, что сеть сможет выявить сходство между различными классами.

Другая возможная область применения — обнаружение новых явлений. Сеть Кохонсна распознает кластеры в обучающих данных и относит все данные к тем или иным кластерам. Если после этого сеть встретится с наблюдениями, непохожими ни на один из известных образцов, то она не сможет классифицировать такой набор и тем самым выявит его новизну. Сечь Кохонена имеет всего два слоя: входной и выходной, составленный из радиальных элементов (выходной слой называют также слоем топологической карты).

Элементы топологической карты располагаются в некотором пространстве, как правило, двумерном (в пакстс БТМеита1 ФеГзеоЖз реализованы также одномерные сети Кохонена). 103 невронные сепв. 8тАт!8т!сА меога! Не!ао!ка Обучастся ссть Кохонена методом послсдоватсльных приближений. Начиная со случайным образом выбранного исходного расположения цснтров, алгоритм постспснно улучшает сго так, чтобы улавливать кластеризацию обучающих данных. В пскотором отношении эти действия похожи на алгоритмы выборки из выборки и К-срсдних, которыс используются для размсщения центров в РБФ- и ОКНА-остях.

И действитсльпо, алгоритм Кохопсна можно использовать для размещения цснтров в сетях этих типов. Однако данный алгоритм работаст и на лругом уровне. Помимо того, что уже сказано, в результатс итеративной процедуры обучсния ссть органнзустся таким образом, что элемснты, соотвстствующие центрам, расположснным близко друг от друга в пространстве входов, будут располагаться близко друг от друга и на топологичсской карте. Топологичсский слой соти можно представлять ссбс как двумерную решетку, котору!о нужно так отобразить в Ж-мсрнос пространство входов, чтобы по возможности сохранить исходную структуру данных. Конечно же, при любой попытке прсдставить Ф-мерное пространство на плоскости будут потсряны многис дстали; однако, такой присм иногда полсзен, так как оп позволяст пользоватслю визуализировать ланныс, которые никаким иным способом понять невозможно.

Основной итсрационпый алгоритм Кохопсна состоит из нсскольких послсдоватсльных эпох, на каждой из которых нужно обработать каждый из обучающих примсров и вьцюлнить опрсдсленный набор операций: выбрать выигравший нейрон (т.с. тот, который расположсн ближс всего к входному примеру); ° скоррсктировать выигравший нсйрон так, чтобы он стал более похож на этот входной примср (взяв взвешснную сумму прсжнсго центра нсйрона и обучающсго примера). В алгоритмс при вычислении взвсшснной суммы использустся постепснпо убывающий коэффициспт скорости обучсння, для того чтобы на каждой новой зпохс коррскция становилась всс болсс топкой. В результатс положснис центра установится в нскоторой позиции, которая удовлстворитсльным образом прсдставляет тс наблюдения, для которых данный нсйрон оказался выигравшим. Свойство топологичсской упорядоченности достигастся в алгоритме с помощью дополнитсльпого использования понятия окрсстности.

Окрсстность — это несколько нсйронов, окружающих выигравший нейрон. Подобно скорости обучсния размер окрсстности убывает со врсмснсм, так что вначалс к ней принадлежит довольно большое число нсйропов (возможно, почти вся топологичсская карта); на самых последних этапах окрсстность становится нулсвой (т.е. состоящсй только из самого выигравшего нейрона). На самом 104 Гоава 4. Общой обзор нейронных сеозей деле в алгоритме Кохонсна коррсктировка применяется нс только к выигравшему нейрону, но и ко вссм нейронам из его текущей окрестности.

Результатом такого изменения окрестностей является то, что изначально довольно большис участки сети «псрстягиваются» — и притом заметно — в сторону обучающих примеров. Сеть формирует грубую структуру топологического порядка, при которой похожие наблюдения активируют группы близко лежащих нсйронов на топочогичсской карте. С каждой ионой эпохой скорость обучения и размер окрестности уменьшаются, тем самым внутри участков карты выявляются все более тонкие различия, что, в конце концов, приводит к тонкой настройке каждого нейрона. Часто обучение умышленно разбивают на две фазы: более короткую — с большой скоростью обучсния и большими окрестностями, и более длинную — с малой скоростью обучсния и нулевыми или почти нулсвыми окрестностями.

Послс того, как сеть обучена распознаванию структуры данных, сс можно использовать как средство визуализации при анализе данных. С помощью Частот выигрышей, которые вычисляются для каждого нейрона и показывают сколько раз он выигрывал при обработке обучаюгдих примеров, можно определить, разбивается ли карта на отдельные кластеры.

Можно также обрабатывать отдельные наблюдения и смотрсть, как прн этом мснястся топологнчсская карта. Это позволяст понять, имеют ли кластеры какой-то содержательный смысл (как правило, при этом приходится возвращаться к содсржательному смыслу задачи, чтобы установить, как соотносятся друг с другом кластеры наблюдений). После того, как кластеры выявлены, нейроны топологической карты помечаются содержательными по смыслу метками (в нскоторых случаях могут быть помечены и отдельные наблюдения).

Когда топологнчсская карта в описанном здесь виде построена, па вход ссги можно подавать поные наблюдения. Если выигравший при этом нейрон был ранее помсчсн именсм класса, то есть осуществляет классификацию. В противном случае считается, что сеть не приняла никакого решения. При решении задач классификации в сети Кохонена используется так называемый порог доступа.

Ввиду того, что в такой ссти уровень активации нсйрона сеть расстояние от него до входного примера, порог доступа играет роль максимального расстояния, на котором происходит распознавание. Если уровень активации выигравшего нейрона превышает это пороговое значение, то сеть считается не принявшей никакого решения. Поэтому, когда все нсйроны помечены, а пороги установлены на нужном уровне, сеть Кохонена можст служить детектором новых явлений (она сообщает о нсприпятии решения только в том случае, если поданное сй на вход наблюдение значительно отличается от всех радиальных элементов), Идея сети Кохонена возникла по аналогии с нскоторыми известными свойствами чсловечсского мозга.

Кора головного мозга представляет собой 105 Нейронные сети. ЗТАТ!ЗТ!СА Непа! Месеойе болыпой плоский лист площадью около 0,5 м (чтобы помсстпться в чсрспе, 2 она свсрнута складками) с нзвсстнымн топологичсскнми свойствами. Напримср, участок, отвстствснный за кисть руки, примыкаст к участку, отвстствснному за движения вссй руки, и таким образом все нзображснис чсловсчсского тсла нспрсрывно отображастся на эту двумерную повсрхность.

здадчи кпдссификдиии В задаче классификации ссть должна отнссти кажлос наблюдение к одному из нескольких классов (нли, в болсс общсм случае, оцсннть вероятность прин шлсжностп цаблюлсння к каждому из классов), В пакстс БТ №икц! № !ногlгя лля классификации использустся поминальная выходная переменная — различныс сс зпачсння соотвстствуют различным классам. В БТ №ига! №(иог!сх классификацию можно осуществлять с помощью сстсй следующих типов: многослойного псрссптропа, радиальной базисной функции, ссти Кохонена, всроятностной нейронной сети и линейной ссти.

Характеристики

Список файлов книги