Круглов В.В., Борисов В.В. - Искусственные нейронные сети (ИНС) Теория и практика (778918), страница 47

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 47)

По некоторым оценкам это может занимать до 90% времени. Многие операции по подготовке данных удобнее выполнять не в )че1Майег, а, например, в Ехсе!. Более того, для интенсивного использования нейронной сети требуются специальные программы, которые выбирают из поступающего потока нужные данные, преобразуют их и передают на вход сети. Решение этой проблемы весьма актуально для хранилищ данных. Нейронные сети позволяют строить комплексную систему прогноза как на базе технических, так и макроэкономических показателей, находя компромисс между сторонниками двух подходов. 6.9.

Сжатие информации Проиллюстрируем применение многослойных персептронов на примере решения задачи сжатия информации для представления исходных данных в компактной и удобной форме. Результаты этапа сжатия зачастую определяют успех решения задачи распознавания в целом. Популярный метод сжатия информации был предложен в 1987 г. О Со11ге)), Р. Мипго, О. 4)рэег. Рассмотрим трехслойный персептрон, у которого число нейронов входного и выходного слоев одинаково, а число нейронов скрытого слоя значительно меньше. Предположим, что в результате обучения персептрон может воспроизводить на выходе тот же самый вектор Х, который подается на входной слой.

Такой персептрон автоматически осуществляет сжатие (компрессию) информации: на нейронах скрытого слоя возникает представление каждого вектора, которое значительно короче, чем длина вектора, подаваемого на вход Предположим, что некоторый набор векторов нужно передавать по линии связи, предварительно сжимая информацию и, тем самым, уменьшая число каналов, необходимых для ее передачи. Поместим на одном конце линии входной и скрытый слои персептрона, а ре- 304 зультат работы нейронов скрытого слоя (короткие векторы) будем передавать по линии связи. На другом конце линии поместим копию скрытого слоя и выходной слой, тогда переданный короткий вектор с нейронов скрытого слоя перейдет на нейроны выходного слоя, где и будет воспроизведен входной вектор (декомпрессия).

6.10. Компактное представление информации репликативными нейронными сетями В процессе анализа или обработки удобно предположить, что анализируемые данные являются векторами многомерного, например, евклидова пространства, где они располагаются в соответствии с некоторой функцией распределения. В случае же, если многомерные данные не порождаются непосредственно пространственно-временной природой информации, то это также не мешает использовать такую модель для их представления.

Примерами могут служить результаты измерений, полученные в ходе физических, биологических и других экспериментов, результаты медицинской диагностики, телеметрическая информация. При этом размерность пространства признаков (координат) и может достигать десятков тысяч. Естественные координаты. Опыт показывает, что объекты, как правило, не заполняют все и-мерное пространство, а располагаются на некоторой поверхности, имеющей невысокую размерность (десятки, сотни) Это означает, что существуют обобщенные (естественные) признаки, образованные из комбинаций исходных признаков и наиболее точно характеризующие исходные объекты. Доказана единственность системы естественных координат, а также известно, что эти координаты обладают рядом важных свойств, например, признаки объектов в естественных координатах являются попарно независимыми.

Что делает естественные координаты весьма удобными для широкого класса вероятностных распределений. Рассмотрим некий генератор данных в л-мерном пространстве. Предположим, что генерируемые им данные заполняют не все пространство, а лишь некоторое многообразие размерности т, где т « и. Многообразие, на котором расположены данные, можно представлять как сложную поверхность, которая в окрестности каждой своей точки похожа на поверхность гп-мерной сферы.

Утверждается, что на многообразии существует такая функция распределения, которая сколь угодно близка к исходной функции распределения генератора в смысле средних значений. Это позволя- 305 ет вместо исходных данных, представляемых большим числом признаков, рассматривать генератор данных в пространстве существенного меньшего числа измерений.

Естественные координаты вводятся следующим образом. Рассмотрим взаимно-однозначное непрерывное отображение гпмерного многообразия в гп-мерный единичный куб. Это означает, что каждый вектор Х, лежащий на гл-мерном многообразии, представляется вектором с т координатами, причем каждая координата является числом, равномерно распределенным между нулем и единицей Естественные координаты зависят только от внутренней, заранее определенной, вероятностной структуры многообразия данных: равные объемы внутри единичного куба соответствуют множествам с равной вероятностью на многообразии данных, хотя их геометрические размеры могут значительно различаться.

Естественные координаты могут отражать сложную вероятностную структуру многообразия данных Естественные координаты — это единственная координатная система из независимых компонент, которая обеспечивает оптимальное кодирование информации, с учетом вероятностной структуры генератора данных. Релликатиеные нейронные сети Для нахождения естественных координат можно использовать репликативные (копирующие) нейронные сети.

Репликативная нейронная сеть представляет собой многослойный персептрон с тремя скрытыми слоями, число нейронов входного и выходного слоев которого одинаково. Первый и третий скрытые слои состоят из нейронов с сигмоидной активационной функцией. Размеры этих слоев подбираются в процессе обучения сети Интересно отметить, что репликативные нейронные сети дают компактное и эффективное представление произвольных наборов векторов, имеющих сложное вероятностное распределение в пространстве, за счет того, что средний скрытый слой имеет меньше нейронов, чем входной и выходной слои.

Для вектора длины и, подаваемого на входной слой, строится его отображение 1 в единичный куб. Для обученной сети это отображение реализует представление исходного вектора в системе естественных координат и, которое воспроизводится в среднем скрытом слое. Дальнейшее прохождение информации от среднего скрытого слоя до выходного слоя дает отображение У (обратное Г) из единичного куба в исходное л-мерное пространство с заданной функцией распределения Р(х). 306 Средний скрытый слой состоит из гп нейронов, где гп — предполагаемое число естественных координат. Передаточная функция нейронов среднего скрытого слоя имеет вид наклонной или ступенчатой функции Цель обучения репликативной нейронной сети состоит в том, чтобы вектор, воспроизводимый выходным слоем сети, совпадал с вектором, поданным на входной слой Передаточная функция нейронов выходного слоя выбирается линейной.

Обучение проводится на обучающей выборке, полученной с помощью генератора данных с функцией распределения Р(х). Утверждается, что обученная репликативная нейронная сеть строит в среднем скрытом слое представление исходных векторов в естественных координатах. Таким образом, входной вектор длины и передается на средний слой и там представляется естественными координатами в гпмерном единичном кубе (гп « и) Дальнейшая передача информации по сети от среднего скрытого слоя к выходному дает обратное отображение; вектор в естественных координатах переходит в лмерный вектор, расположенный близко к входному.

Один из подходов к обучению репликативной нейронной сети основан на том, что известно, каким должен быть выходной сигнал у нейронов среднего скрытого слоя — зто должны быть естественные координаты. Таким образом, можно использовать такой метод обучения, благодаря которому нейроны среднего скрытого слоя более активно производят выходные сигналы, равномерно и плотно заполняющие внутреннюю часть т-мерного единичного куба, а также обладают свойствами естественных координат Удаление шума. Репликативная сеть способна удалять аддитивный шум, присутствующий в исходных данных.

Предположим, что вектор данных состоит из двух слагаемых: информационной части вектора и шумового случайного компонента, выбираемого в каждой точке многообразия данных в соответствии с условной плотностью распределения. Утверждается, что репликативная нейронная сеть приводит шумовой компонент к среднему значению, и результат, получаемый на выходе сети, является суммой информативной части вектора (входного вектора) и среднего значения шума в данной точке многообразия. Если среднее значение равно нулю, то выходной слой воспроизводит входной вектор, удаляя случайный шум. Определение размерности. До сих пор полагалось, что размерность т заранее известна.

Однако такое бывает достаточно редко. Тем не менее эту размерность можно оценить. Рассмотрим большое количество данных, произведенных генератором, и упорядочим их по возрастанию евклидова расстояния до некоторой 307 фиксированной точки из этого же набора Такое упорядочение данных позволяет оценить размерность многообразия вблизи фиксированной точки. Возьмем первые )г векторов из упорядоченного набора, рассмотрим гауссовый ковариационный эллипсоид и определим количество не слишком коротких его осей.

Характеристики

Список файлов книги