Боровиков В.П. - Нейронные сети (778916), страница 40
Текст из файла (страница 40)
В заключение отметим, что классические методы прогнозирования временных рядов всесторонне рассмотрены в замечательной книге Боровикова В.П. и Ивченко Г И. «Прогнозирование в системе ЯТАПБТ1СА в среде %1пйовв» (М.: «Финансы и статистика», 1999). Мы советуем использовать методы нейронных сетей параллельно с классическими методами, так как они в известном смысле дополняют друг друга. Гпава 8 ПРИМЕРЫ ПРИМЕНЕНИЯ В этой главе мы описываем разнообразные примеры применения нейронных сетей в практических исследованиях. ПРИМЕР 1. Понижение размерности в аеопоаическом исспедовании Име7отся данные геологоразведки, требуется определить, какие факторы значимо влияют на добычу полезных ископаемых, а какие можно исключить. Структура данных В данных имеется зависимая переменная У и несколько десятков незави.
симых переменных (предикторов) 4',рис. 8.1.2). Зависимая переменная У явля 1 2 '1 3, 4 5 6, 7 Яо 14414 04 71 ~ 72 73 ' 74 'гб Рве 8Л.1. Фрагмент веходвого файла даваых 190 2 З 4 5 6 :.:7 "8 9 !о 1\ 12 !З 74 15 16 17 1А 2А ЗВ 4А 5А 6В 7В ОА ОА гав ОА 12 А 13 А пв !5А 16 А ПА 1024 2435 !011 2459 6 по 2$% 945 2%7 %9 2375 1ВВ 243$ !%5.2 2449 1023 2439.6 !Ов 2424 10132 2427 %6 23% 1047 24% ПОО 25% 1О!6 2441 1061 249$ 940 2364 1149 2565 711,5 160% 16Я4 774,6 8,675 86% 804,4 216% 22915 $33 Ю,ОБ 29ЯЗ 3% 2534 н,7% 855,5 103% 1051 $% 3021 32,375 350 5,705 5,745 844,4 18,15 18,45$ 7% $6,07,72395 $Х! 40,42 43,485 6% 43% 5,11 850 27 ЯЗ 29,42 657,1 %035 ЗЗЯЗ 450 3,72 4,11 %23 ОЯ95 Одг 459.9 %,%5 $2,57 31 ид глава 8.
Примеры примвненин стся непрерывной и характеризует добычу полезных ископаемых; к независимым переменным относятся характеристики проб, взятых на различной глубине. Данные носят модельный характер. Это типичные данные, возникающие в геологоразведке; задача состоит в том, чтобы по значению предикторов предсказать значение отклика. Отметим, в рассматриваемой задаче имеется большое число предикторов (около 50), поэтому вначале нужно понизить размерность, т.е. уменьшить количество независимых переменных и на их основе построить предсказательную модель. Посп~роенпе модепа Применим методы понижения размерности, доступные в нейронных сетях БТАГ1БТ1СА.
Шаг 1. Запускаем модуль Кейронные сети БТАПБТ1СА. Стартовое окно показано на рис. 8.1.2. " "„"а а„л.ааа г и а рм н «е а.на а ~, а )с ю $ и' а3 е а11 Рас. 8.12. Стартовое окно модуля Нейронные сети, вкладка Быстрый В стартовом окне выбираем тип задачи: Регрессия (зависимая персмснная непрерывная). Далее укажем переменные для анализа. Для этого в стартовом окне модуля, на вкладке Быстрый, нажимаем кнопку Переменные. В появившемся диалоговом окне (рис.
8.1.3) выбираем переменныс. В данном примере имеется выходная (зависимая) переменная и 46 входньгх переменных. В левом окне выбираем непрерывную выходную переменную— зто переменная Ус номером 46. 191 Нейронные сеп$о. ЗТАТ!ЗТ!СА Монга! Мегтгог!$$ ,тх» -т»гг»»» з!»! $»»» ~ $ но» $3$$ 1 иог .$$ $»и$ !$и ~$»и $$$ $7о» $$ 1$$$$ ,нг ги»$ »И» а»$$ »» ~ $ $! ~! $ ! ~! $ $$1 Рве. 8.1.3. Двадоговое окно задавая переменных Указываем входные переменныс — это независимые переменные, которые предсказывают отклик. В нашем примере имеется только одна категориальная входная переменная — сагеяогу Па., остальные — непрерывные. После выбора переменных нажимаем ОК.
В стартовом окне переходим на вкладку Дополнительно и выбираем инструмент Понижение размерности (рис. 8.1.4). $$$»!ос» '. г! !»! .$»»» $ . — - $»« 'Л » $» $$$$ »$» $»$$»нг $» .,»$»$, Рве. 8.1.4. Стартовое окно модудя Нейронные сети, вкладка Дополнительно Шаг 2. На экране появляется диалоговое окно Понижение размерности. Доступны следующие методы: последовательный с включением, последовательный с исключением, генетический алгоритм отбора признаков. Вначале получим результаты с помощью алгоритма с включением.
Для этого на вкладке Быстрый выбираем алгоритм Последовательный с включением и нажимаем кнопку ОК (рис. 8.1.5). 192 Глава В. Промеры применения ь»»»» ю в»»»о»5' еп 'Г 1»»»»»»»» )»»»»»»» ~ »»»»»»»» ~ т»ее1 1 в»»»е» Рнс. 8Л.5. Окно заланни параметров лла алгоритмов снвжепия размерности Рнс. 8.1.6. Начальпаи часть таблицы результатов алгоритма Последовптельиый с включеггием Результат работы алгоритма представляется в таблице (рис. 8.1.6).
На первом этапе переменные по отдельности включаются в модель, находится переменная, которая дает наименьшую ошибку. Затем модель начинает процедуру поиска второй переменной, которая уменьшает значение ошибки. И так до тех пор, пока включение новых переменных уменьшает ошибку. Итоговый результат записывается в последнюю строчку таблицы (рис. 8.1. 7). В качестве значимых предикторов выделены: Р9, Р13, Р24, Р26, Р27, Р32, Р34, Р38, Р42, Р43.
Рис. 8.1.7, Заключительнав часп таблицы результатов алгоритма Последовптелькый с включекием Нейронные сепги. ЯТАТ!ЗТ!СА Йонга! Меьчогяз Шаг 3. Теперь аналогичную задачу решим с помошью алгоритмов с исключением. Для этого возвращаемся к окну задания параметров для алгоритмов снижения размерности и выбираем Последовательный с исключением.
Нажимаем ОК и переходим к анализу результатов. 'к~"; 1»ах! Да»э»а»»а»ы» хб ахб с и гг Оч»ба»!»В а Да НЧ Да Рцс. 8.1.8. Начальцая часть таблицы результатов алгоритма Последовагпельггый с исключеггием Программа стартовала с модели, в которую включены все предик- торы, и на каждом шаге исключала незначимые. Значимые, с точки зрения модели с исключснием факторы: Рб, Р10-Р14, Р24, Р26, Р29, РЗО, Р34, Р42, Р43. Шаг 4. Снова возвращаемся к окну (см. рис. 8.1.5) и выбираем Генетический алгорипбм.
В результате работы генетического алгоритма: выделяются предикторы Р4, Рб, Р10, Р16, Р20 — Р22, Р24, Р26 — РЗО, Р38, Р41-Р43. Увеличиьб значение штрафа за элемент в 5 раз (до 0,0005) и снова запустим генетический алгоритм (измененне параметра Штраф за элемент производится в вкладке Дополнительно). Выделяются следующие факторы: Р4, Р16, Р22, Р29, РЗО, Р42. Результаты отличаотся, поскольку в каждом случае строится отдельная нсйронная сеть, для каждой сети подгоняются коэффициенты. Экспериментируя с разными алгоритмами и штрафами за элемент можно выделить несколько наборов значимых предикторов.
Это рабочие модели, с которыми можно работать далее. Пгпог. Мы сугяеспгвеиио сокритили число иредикторов, теперь можно построить несколько регрессиоииык моделей и по предска- запиому отклику српвитпь их качество. Сделаем комментарий по поводу выбора штрафов. Штрафы задаются в вкладке Дополнительно. Параметр, указанный в поле Штраф за элемент, 194 ь! зг зз"' з'з зв З.б "' зб зг зб зз зго зп 3.»2 Ла Да Да - йа Ла Да . Да йа да Да Да Да йа йа йа йа й» йа Ш йа йа Да Да йа Да Да Да Да йа йа йа Ла йа Да Да Да гз е4об й» йа да Да Да Да йа йа йа йа Ла йа - йа йа йа ° йа т йа йа йа йа йа йа йа йа йа йа й» й йа Да Ла йа йа Ла йа йа йа Ла йа Да йа йа Ла йа Ла йа йа йа йа Ла Д» йа Д» Ла йа йа йа йа йа Ла Ла йа йа ° йа йа йа йа - Да Да йа йа - Да йа йа Да йа йа Да йа Д Д Д Л йа йа Ла Да йа Ла йа Ла йа йа Да йа Да йа йа йа йа йа Да Да Да Да йа Гпаее 8.
Промеры примененен умножается на число выбранных входных переменных и добавляется к контрольной ошибке сети после того, как она обучена и протестирована. Ненулевой штраф за элемент поощряет меньшие сети и часто улучшает производительность сети. Если параметр слишком велик, число переменных становится более важным, чем качество сети. Это может засгавить алгоритм откяючить все входы. Небольшое значение рекомендуется, чтобы скомпенсировать шум в процессе выбора наблюдений. Типичные значения лежат в диапазоне 0,001 — 0,005.
Шаг 5. В программе БТАГ15Т1СА предусмотрена возможность проведения анализа чувствительности сети к входным переменным. Процедура позволяет сделать вывод об относительной важности входных переменных для конкретной нейронной сети и, при необходимости, удалить входы с низкими показателями чувствительности. Анализ чувствительности мозкно использовать либо с сугубо информационными целями, либо для удаления лишних входов.
Имеется ряд моментов, на которые следует обратить внимание при использовании процедуры. В общем случае входные переменные не являются независимыми. Анализ чувствительности располагает их в порядке, который соответствует степени ухудшения качества модели при исключении из нее соответствующей переменной. Каждой переменной присваивается определенный рейтинг. Однако при наличии зависимостей между входными переменными мы не можем быть уверены, что одиночный рейтинг правильно отражает реальную ситуацию.
Тем нс менес, процедура оказывается чрезвычайно полезной на практике. Если исследуется целый ряд моделей, то имеет смысл выделять ключевые переменные, которые всегда важны для отклика и имеют высокий показатель чувствительности, определить псремснные с низкой чувствительностью и получить информацию о «сомнительных» переменных, которые меняют свой рейтинг и, возможно, содержат избыточную информацию. Нейронныс сети БТАПБТЗСА проводят анализ чувствительности, исключая последовательно входные переменные. Каждая модель определяет процедуру замены пропущенных данных (ПД), которая используется, чтобы осуществить прогноз при пропущенных значениях одной или более входных переменных. Чтобы определить чувствительность данной переменной х, мы сначала прогоним сеть на наборе тестовых наблюдений и получим ошибку сети. Затем прогоним сеть на тех же наблюдениях, заменив наблюдаемые значения х на значения, оцененные с помощью процедуры замены ПД, и вновь получим ошибку сети.
Неаронные сеген. ЗТАТ!ЗтгСА йеога! Иегггог!ге Мы удалили часть информации, которую использует сеть (одну из входных переменных), поэтому следует ожидать некоторое увеличение ошибки. Основное значение чувствительности — это отношение ошибки с заменой ПД к исходной ошибке. Чем чувствительнее сеть к переменной, тем больше данное отношение. Если отношение <1, тогда отключение переменной либо не влияет на производительность сети, либо улучшает ее. После того как чувствительности подсчитаны для всех переменных, их можно упорядочить. БТАТ1БТ1СА проводит ранжировку для удобства интерпретации чувствительностей. Анализ чувствительности запускается из окна результатов нейросети, например, после построения регрессионной модели.
Результаты анализа показаны на рис. 8.1.9. Рас. 8.1.9. Результаты ааалвза чувствателыюсгя Пустые ячейки таблицы означают, что данные переменные были удалены еще на этапе обучении сети. ПРИМЕР 2. Распознавание образов Покажем, как нейронные сети можно использовать в распознавании образов. Данные имитируют «цифры», высвечивающиеся на экране неисправного калькулятора. Наблюдаемые классы зависимой переменной.ИИТсоответствовали цифрам Π— 9, которые вводились с клавиатуры калькулятора.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
