Круглов В.В., Борисов В.В. - Искусственные нейронные сети (ИНС) Теория и практика (778918), страница 10
Текст из файла (страница 10)
Вышеперечисленные элементы концепции ассоциативной памяти позволяют определить основной подход, в соответствии с которым ассоциации между информационными объектами (образами) трактуются как некая абстрактная структура взаимозависимостей (отношений), неявно закодированная в информационных объектах и в соответствующих связях между ними или в формах их представлений.
Эти отношения содержат компоненты двух типов, первые иэ которых задают сами информационные объекты, а вторые — вид отношений. Признаки этих отношений могут характеризовать свойства объектов, действия над ними, подчиненность, временные признаки и т. д. Очевидно, что такое представление ассоциации— наиболее простая конструкция, на основе которой можно построить структуры отношений произвольной сложности. В зависимости от условий формирования отношений между ассоциируемыми объектами, ассоциации мокнут устанавливаться по критериям сходства объектов, контраста, по смежности проявления объектов во времени или в пространстве, а также в рамках определенной совокупности свойств, например, при обеспечении заданных пространственно-временных соотношений.
Логика взаимодействий между информационными объектами может быть реализована на основе двух концепций ° формирование отношений ассоциаций между однородными объектами; ° концепция «составного отношения», где отношения ассоциаций устанавливаются между качественно различными объектами. Вид связи между ассоциируемыми объектами может быть различным: ° символьная — связь между объектами устанавливается «на основании соглашения»; ° индексная — связь ассоциируется в силу существующих отношений между объектами; ° иконическая — связь между объектами устанавливается на основе фактического сходства; ° гибридная — сочетает особенности различных видов связи.
В зависимости от степени соответствия ассоциируемых объектов различают аетоассоцоациа и геглероассоциации. Авто- ассоциации реализуются при условии соответствия соотносимых объектов. Причем объект отыскивается по его произвольным частям, имеющим большую или меньшую корреляцию с искомым объектом, или по его фрагментам в случае, если они достаточны для того, чтобы отличить этот объект от остальных. Для гетероассоциаций характерно то, что инициируемый объект структурно не соответствует любому из поисковых объектов и формируется как ответ на специфический ключевой объект. Ассоциируемые объекты могут быть представлены либо прямыми, либо косвенными (непрямыми) ассоциациями.
Прямые ассоциации по способу представления в виде функциональной зависимости могуг инициироваться либо логически детерминированной последовательностью, либо на основе ассоциативной связи посредством прямых указателей. Представление непрямых ассоциаций в виде функциональной зависимости образуется на основе ассоциативных связей посредством перекрестных ссылок.
В контексте трактовки понятия ассоциации как структуры взаимозависимостей между информационными объектами оно отражает наличие взаимосвязей между данными и не имеет отношения к самому механизму хранения информации. В рамках подхода, рассматривающего ассоциации как коллективные или интегральные изменения в нейронной сети (логикозапоминающей среде), ассоциативные свойства сети могут быть рассмотрены: ° во-первых, с точки зрения воэможности коллективного доступа ко всей распределенной в нейронной сети информации, а также параллельной обработки и одновременного преобразования всех данных непосредственно в нейронной среде; ° во-вторых, с точки зрения практической реализации отношений между размещенными в нейронной сети, ассоциируемыми информационными объектами.
В этом случае свойства сети мокнут существенным образом влиять на интерпретацию отношений между информационными объектами, позволяя по-новому подойти к исследованию этих объектов и взаимодействиям между ними. Именно этот подход позволяет выделить типы нейронных сетей, эффективно используемых для реализации различных задач ассоциативной памяти, 50 2Л.2. Модели ассоциативной памяти Ассоциативная память может быть определена как система для записи, хранения, поиска, обработки и считывания информации, в которой данные (знания) об объекте могут быть инициализированы по заданному фрагменту этих данных (знаний), используемому в качестве поискового.
Исходя из этого определения, можно сформулировать решаемые ассоциативной памятью задачи: ° соотнесение поисковой информации с хранимой и дополнение ее (инициализация) до точного описания объекта, т. е всей информации, которая доступна ассоциативной памяти; ° фильтрация (коррекция) поисковой информации относительно всего объема хранимой в ассоциативной памяти информации, выделение недостоверной и на основании оставшейся решение первой задачи. Процессы, аналогичные биологическим механизмам запоминания и обработки информации, можно представить с помощью различных моделей ассоциативной памяти, позволяющих отобразить отношения (ассоциации) произвольной сложности между информационными объектами.
Однако все эти отношения могут быть реализованы в виде простых конструкций — троек компонентов упорядоченной пары информационных объектов О и У, и типа отношения А: 0» —" — + и'. Одна из простейших моделей ассоциативной памяти для отображения таких отношений показана на рис. 2.1, Модель состоит из ассоциативной логико-запоминающей среды (нейронной сети), связанной с двумя каналами ввода и одним каналом вывода информации. На этапе записи (обучения) из первого канала ввода на вход К подается входная информация, а по второму каналу — признаковая информация С, представляющая контекст, в котором входная информация записывается в память. Ключ (К) Ответная реакция ()'2) Контекст (С) Рис 2 1.
Модапь ассоциативной памяти Ключ (К) Контекст (С) Огпветнея реакция (Я) гг(г — 6) Рис 2 2. Модвпь ассоциативной яамяти с обратной связью На этапе функционирования (считывания) при появлении ключа К (или его фрагмента) на выходе памяти формируется ответная реакция Я, связанная с ключом К. Таким образом, записанная в память информация может быть получена с использованием любых ее фрагментов, используемых в качестве поисковых Задавая различный контекст С, можно точнее конкретизировать информацию, которую необходимо получить. Рассмотрим на примере, каким образом должен быть организован процесс накопления и поиска информации в ассоциативной памяти, чтобы обеспечить цикличность процесса, при котором выбранный элемент информации становится ключом для поиска новой информации. По трем входным каналам одновременно могут вводиться наборы значений По первому каналу в момент времени ( подается адресная информация К((), а по второму — признак С(Г).
Отклик тт(Г) по каналу обратной связи подается также на вход ассоциативной среды. Выходной канал служит для выдачи информации. При функционировании такой ассоциативной памяти ключи К(() и признаки С(Г) подаются через интервалы времени, соответствующие задержке канала обратной связи. Процесс работы памяти будем рассматривать в предположении, что тройка [К(Г), С(Г), Я(Г-д)] представляет собой единый статический образ, заданный в момент времени (, причем возможна его одновременная запись в память за одну операцию.
Допустим также, что на этапе записи Я(Г) и К(() одинаковы. На этапе записи на входы ассоциативной памяти поступают К(() и С((), при этом на выходе формируется Я((), идентичный К(Г). После этого с задержкой Л на входе формируется тт(Г-Л). Каждая новая тройка, появляющаяся на входах, записывается в память. На этапе получения данных из ассоциативной памяти на вход подается ключ К, связанный с контекстной информацией С, после чего К можно снять с входа.
В результате на выходе в качестве отклика появляется копия К. Когда на входе памяти появится задержанный сигнал тт(Г-л), новым ключевым признаком становится пара (С, Я), приводящая появлению на выходе следующего образа Я(Г) и т. д Таким образом, выбирается вся записанная последовательность образов вместе с контекстной информацией Рассмотренная системная модель реализует ассоциативную память, пригодную для записи и выборки структурированных знаний. Модели ассоциативной памяти, реализуемые нейронными сетями, могут быть гораздо сложнее. Кроме того, память может иметь несколько входов и выходов, состоять из нескольких подсистем.
Данные в одном канале могут порождать контекстную информацию для другого канала. Этап записи может выполняться отдельно от выборки или быть совмещенным и т д. 2.2. Персептроны Систематическое изучение искусственных нейронных сетей было начато Маккалохом и Питтсом в 1943 году. Позднее они исследовали нейросетевые парадигмы для распознавания изображений, подвергаемых сдвигам и поворотам, используя при этом нейронную модель, показанную на рис 2.3.
Элемент Х умножает каждый вход х, на вес в, и суммирует взвешенные входы Если эта сумма больше заданного порогового значения, выход равен единице, в противном случае — нулю. Эти системы (и множество им подобных) получили название персепгпроное Они состоят из одного слоя искусственных нейронов, соединенных с помощью весовых коэффициентов с множеством входов (рис 2.4), хотя в прин- х, х, х, Рис. 2 3. Пероептронный нейрон 53 ципе описываются и более сложные системы В 60-е годы персептроны вызвали большой интерес Розенблатт доказал теорему об обучении персептронов Уидроу продемонстрировал возможности систем персептронного типа Однако дальнейшие исследования показали, что персептроны не способны обучиться решению ряда простых задач Минский строго проанализировал зту проблему и показал, что существуют жесткие ограничения на то, что могут выполнять однослойные персептроны, и, следовательно, на то, чему они могут обучаться Так как в то время методы обучения многослойных сетей не были известны, исследования в области нейронных сетей пришли в упадок Возрождение интереса к нейронным сетям связано в большей степени со сравнительно недавним открытием с таких методов Работа Минского возможно и охладила пыл первых исследователей нейронных сетей, однако обеспечила необходимое время для развития лежащей в их основе теории Важно отметить, что анализ Минского не был опровергнут и до сих пор остается весьма существенным Несмотря на ограничения, персептроны широко изучались Теория персептронов является основой для изучения многих других типов искусственных нейронных сетей Рассмотрим в качестве примера трехнейронный персептрон ~рис 2 4), нейроны которого имеют активационную функцию в виде единичного скачка Персепгпронные У1 ха Уг хз Уз хп Рис 2 4 Персептрон со многими выходами На л входов подаются входные сигналы, поступающие далее по синапсам на три нейрона, которые образуют единственный слой этой сети На выходах сети формируются сигналы г п у, =У~~к, и„, )=1 3 (2 1) Весовые коэффициенты синапсов одного слоя нейронов можно свести в матрицу уУ, в которой каждый элемент вк задает величину ьой синаптической связи )-го нейрона Чаким образом, процесс, происходящий в нейронной сети, может быть записан в матричной форме У= Е(ХИг), (2 2) где Х и У вЂ” соответственно входной и выходной векторы (под вектором понимается вектор-строка), Г(В) — активационная функция, применяемая поэлементно к компонентам вектора 3 На рис 2 5 представлен двухслойный персептрон, образованный из однослойного добавлением второго слоя, состоящего из двух нейронов Отметим важную роль нелинейности активационной функции, так как, если бы она не обладала данным свойством, результат функционирования любой Я-слойной нейронной сети с весовыми матрицами Иг" для каждого слоя д = 1 Я свелся бы к перемножению входного вектора сигналов Х на матрицу ууш Икп Ихе ~Ф (2 3) Фактически такая Я-слойная нейронная сеть эквивалентна сети с одним скрытым слоем и с весовой матрицей единственного слоя Иг" У= Хиг ' (2 4) Работа персептрона сводится к классификации (обобщению) входных сигналов, принадлежащих и-мерному гиперпространству, по некоторому числу классов С математической точки зрения это происходит путем разбиения гиперпространства гиперплоскостями Для однослойного персептрона и ~х, гк„= л,, г=1 гл =1 Каждая полученная область является областью определения отдельного класса Число таких классов для персептрона не превышает 2, где гл — число его выходов Однако не все иэ классов могут быть разделимы данной нейронной сетью 55 Перселглронные нейроны Х! Х2 у1 Х„ Рис.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
