Боровиков В.П. - Нейронные сети (778916), страница 37

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 37)

Если номинальная переменная может принимать очень много различных значений, то для нес можно использовать метод кодирования Ю-в-1: различным вариантам соответствуют различные целочисленные значения единственной переменной. В пакете ЮТ №ига1 №Гиюгкх для этого нужно выбрать вариант кодирования Явное — Ехрпс(1, Минимакс — Мйптах или Нет— Моле. Различным номинальным значениям будут поставлены в соответствие числа 1, 2, 3..., после чего они будут естественным образом упорядочены. Как правило, такой способ записи хуже, чем 1-из-Ф, но в отдельных случаях— 175 Нейронные сета ЗТАТ!ЗТ!СА Неога! Не!еожь когда кодирование 1-из-111 приводит к сети слишком большого размера — может оказаться более предпочтительным.

Текстовые строки. Нейронная сеть не сможет обрабатывать произвольные строки текста, пока вы не укажете ей осмысленный способ приписывать им числовые значения или 1-из-Ф коды. йапьнейшая обработка Иногда бывает целесообразно проделать дополнительную числовую обработку данных. Например, если известно, что некоторая переменная имеет экспоненциальное распределение, для лучшего представления ее значений имеет смысл ес прологарифмировать. При анализе временных рядов иногда бывает лучше рассматривать не сами значения ряда, а разности соседних значений. Если во временном ряду просматривается тренд,то стоит или выделить его (например, подогнать линейную модель, а нейросетевую модель применять к ряду остатков прогноза линейной модели), или использовать нормированные разности (а! — а,, ) / а! Совет.

Для препроцессирования лучше всего использовать средства базовой системы КТАПБТ!СА. При зпюм данные для обработки в сети, получе!!ные из исходных данных по определенным формулам, будут разме!цены в отдельной таблице. ВЬШЕПЕНИЕ ПОПЕЗНЫХ ВХОДНЫХ ПЕРЕМЕННЫХ Обсуждение Довольно часто мы не имеем в своем распоряжении никакой дополнительной информации о том, какие входные переменные действительно нужнь! для решения задачи классификации или регрессии. Важным этапом в поиске ответа на этот вопрос будет построение нейронной сети, специально предназначенной для отбора значимых переменных. Ненужныс переменные могут существенно мешать делу, потому что из-за них сеть получится большой, станет дольше обучаться и работать и будет склонна к переобучению. При работе с пакетом БТ денга! №1!еог1сз в распоряжении пользователя есть два способа отбора переменных: метод проб и ошибок и Генетический алгоритм отбора входных данных — Сепе11с А1йоп11!т 1при1 Бе1ес1!оп.

Тестирование переменных методом проб и ошибок При тестировании переменных на вход сети подаются различные комбинации входных переменных с целью определить, какие из них наиболее по- 176 Гсаеа Х Праквические соеевы ео решению задач лсзны. С помощью окна задания переменных пакета БТ Иеига! )чепиогКз можно выбирать некоторые совокупности переменных, затем строить нейронную сеть, обучать ее и тестировать, поэтому поэкспериментировать с различными комбинациями входов не составит большого труда.

При этом можно придерживаться одной из двух стратегий: наращивания или отсечения. Наращивание Мы начинаем с одной переменной и по одной добавляем к ней другие переменныс. Если результат от этого улучшается, то такая комбинация запоминается. Эта процедура на начальных этапах работает быстро, однако при этом игнорируется то обстоятельство, что две или более переменных могут быть взаимосвязаны (т е. может оказаться так, что нужно добавить сразу несколько переменных, чтобы улучпппь результат).

Отсечение Мы берем все имеюшиеся переменные и начинаем по одной их убирать. Если результат от этого ухудшается, то возврашаемся к предыдущей комбинации переменных. Этот поначалу очень медленный способ, требующий построения очень больших по размеру сетей, позволяет, как правило, сохранить взаимосвязанные переменные. Оераничение времени обучения При подобных экспериментах основным ограничением является время, уходящее на обучение и тестирование сетей.

Поэтому стоит пойти на компромисс и выбрать такую нейросетевую модель, которую можно быстро оценить, даже если она не будет самой лучшей. Уже после того, как найдена наилучшая комбинация входных переменных, можно будет сосредоточиться на оптимизации архитектуры сети. Например, если первые эксперименты показывают, что линейная сеть дает удовлетворительные результаты, то можно остановиться на ней.

Также хороши в этом смысле байесовы сети (вероятностные и регрессионные), которые практически не требуют времени на обучение (хотя могут медленно работать). Эту процедуру можно ускорить, работая со случайным подмножеством наблюдений. Для этого нужно задать небольшое число обучающих и контрольных наблюдений, число тестовых наблюдений принять равным нулю, а затем применить операцию Случайно (в меню Формирование выборок для обучения').

Набранные сета ЗТАТ!ЗТ!СА йечга! йегиог!гэ Предостережение. Ое пренебрегайяге кросс-проверкои на этол! этапе. Большая сеть скорее подвержена переобучению, чем маленькая, и иногда при уменьшении числа входных переменных показатели на контрольном множеспгве улучшаюпгся, даже если удаленные переменные несли существенную информацию. Поэтому контрольно» ошибка является очень важным показателем.

Генептцческцд апаорцпзм огпбора входных данных Генетический алгоритм отбора входных данных — бепелс А1ггог111гт 1приг Яе1ес11оп пакета ЯТ Меига1 1!1егигоккз реализует элегантный автоматизированный подход к выбору значимых входных данных. Можно считать его «интеллектуальной» формой метода проб и ошибок. Этот алгоритм экзаменует большое число комбинаций входных переменных с помощью вероятностных и обобшенно-регрессионных нейронных сетей. Сети этих типов выбраны потому, что для них общее время обучения/оценки очень мало, а также потому, что они очень сильно страдают от присутствия ненужных входных переменных (и поэтому являются хорошим средством нх обнаружения).

Каждый возможный вариант набора входных переменных можно представить в виде битовой маски. Ноль в соответствуюшей позиции означает, что эта входная переменная не включена во входной набор, единица — что включена. Таким образом, маска представляет собой строку битов — по одному на каждую возможную входную переменную — и Генетический алгоритм отбора входных данных — бепе11с А!яог111гт 1при1 Юе!ес11оп оптимизирует такую битовую строку.

Алгоритм следит за некоторым набором таких маскирующих строк, оценивая каждую из них по контрольной ошибке (если были заданы контрольные наблюдения; если нет, то вместо нее используется ошибка обучения). По значениям ошибки производится отбор лучших вариантов масок, которые комбинируются друг с другом с помощью искусственных генетических операций: скрещивания и мутации (случайных изменениях отдельных битов).

Поскольку часто бывает желательно иметь как можно меньше входных псрсменных, даже ценой некоторого увеличения ошибки, можно включить в алгоритм штраф за элемент (Уп11 Репа1гу), который будет прибавляться к ошибке при добавлении каждой новой переменной. Лучшая из найденных маскирующих строк выводится на экран. Вы можете просмотреть ее, чтобы понять, какие переменные были отобраны, илн же просто воспользоваться процедурой автоматического запуска Мастера решений (нли Ко!ген!рук>пора сетей) для выбранных переменных. Алгоритм проверяет только те переменные, которые обозначены как входные.

178 Гпава 7. Практические советы по решению задач ПОНИЖЕНИЕ РАЗМЕРНОСТИ Обсужценце Другой подход 1альтернативный или дополняющий первый) к отсечению лишних переменных основан на понижении размерности. Цель его заключается в таком преобразовании входных данных, чтобы та же информация была записана с помощью меньшего числа переменных. Этот метод позволяет распознавать ситуации, когда истинная размерность данных меньше числа входных переменных.

Иными словами, те же данные иногда можно задать с помощью меньшего числа переменных, если найти подходящее преобразование. В пакете ЯТ №ига1 №ги ог1сю реализованы различные методы понижения размерности и самый распространенный из них — это анализ главных компонент, сокращенно АГК (В1впор, 1995; Ргевв, 1992). Метод представляет собой такое линейное преобразование входных данных, при котором количество переменных уменьшается до заданного предела, но при этом максимально сохраняется вариация данных, Цель состоит в том, чтобы сохранить как можно больше информации, однако здесь же следует заметить, что не всегда направления максимальной вариации данных несут максимальную информацию.

Непцнецное понцженце размерносгпц Один из недостатков метода главных компонент состоит в том, что это преобразование является линейным и может улавливать только линейные направления максимальной вариации (метод будет хорошо работать на данных, изображенных на левом графике, но не на правом) (рис, 7.1). Поэтому предлагается другой подход к проблеме: нелинейный вариант АГК, основанный на применении автоассоциативных сетей (Рацве11, 1994; В1зпор, 1995). Автоассоциативная сеть — это сеть, предназначенная для воспроизведения на выходе своих же входных данных. У такой сети число выходов совпадает с числом входов, и все переменные имеют тип — входная или выходная.

Число же скрытых элементов делается меньше числа входов-выходов, и это заставляет сеть «сжимать» информацию, представляя ее в меньшей размерности. Трехслойная автоассоциативпая сеть сначала линейно прсобра- Ряс. 7.1 Неоронные саага. ЗТАТГЗТГСА Неага! йеГагогаа зует входные данные в меньшую размерность промежуточного слоя, а затем снова линейно разворачивает их в выходном слое.

Можно показать, что такая сеть на самом деле реализует стандартный алгоритм анализа главных компонент (Вош1аЫ аЫ Кашр, 1988). Для того чтобы выполнить нелинейное понижение размерности, нужно использовать пятислойную сеть (Кгашсг, 1991). Ее средний слой служит для уменьшения размерности, а соседние с ним слои, отделяющие его от входного и выходного слоев, выполняют нелинейные преобразования. Чтобы осуществить нелинейное понижение размерности с помощью автоассоциативной сети в пакете ЮТ )ггеига1 гзегя огкз, нужно действовать так: 1. Сформировать обучающий набор данных для автоассоциативной сети. Перейти на вкладку Дополнительно, задать Уип переменных и выбрать переменные как Входные и выходные одновременно. 2.

Запустить Конструктор сетей, построить автоассоциативную М1.Р- сеть с пятью слоями (число скрытых слоев — 3). В среднем скрытом слое должно быть меньше элементов, чем во входном и выходном слоях. В двух оставшихся промежуточных слоях должно быть достаточно большое (и одинаковое) число элементов. 3. Обучить автоассоциативную сеть на подготовленном обучающем множестве. Здесь годится любой итеративный алгоритм обучения (например, спуск по сопряженным градиентам).

4. В окне результатов нажимаем ОК. Переходим на вкладку Дополнительно. Запускаем Редактор моделей, переходим на вкладку Слои. Удаляем два последних слоя автоассоциативной сети. В результате получится сеть для препроцессирования, понижающая размерность. 5. Нажимаем кнопку ОК на текущем окне и попадаем на окно Резулыпаты. С помощью препроцессирующей сети получить версию входных данных в уменьшенной размерности.

Характеристики

Список файлов книги