Боровиков В.П. - Нейронные сети (778916), страница 15
Текст из файла (страница 15)
Выводы Необходимо выбирать такие псремснные, которые предположительно влияют на результат. С числовыми и номинальными переменными в пакете 3Т №ши! Фегн огни можно работать нспосрсдственно. Переменные других типов следует преобразовать или исключить нз анализа. Для анализа нужно иметь порядка сотен или тысяч наблюдений; чсм больше в задаче переменных, тсм больше нужно имсть наблюдений. Пакет БТ №и>и! №гног/ск имеет средства для распознавания значимых переменных, поэтому смело включайте в рассмотрение переменные, в значимости которых вы не уверены.
В случае необходимости можно работать с наблюдениями, содержащими пропущенные значения. Наличие выбросов в данных может создать трудности. Если возможно, удалигс выбросы. Еслиданныхдостаточнос количество, убсритс из рассмотрения наблюдения с пропущенными значениями. ПРЕ-И ПОСТПРОЫЕССИРОВАНИЕ Всякая нейронная сеть припимаст на входе числовыс значения и выдаст иа выходс также числовыс значения.
Псрсдаточная функция для каждого элсмснта сети обычно выбирается таким образом, чтобы сс входной аргумент мог принимать произвольные значения, а выходные значения лс>кали бы в строго ограничснпом диапазонс («сплющивание»). При этом, хотя входныс значсния могут быть любыми, возникает эффскт насыщсния, когда злсмснт оказывается чувствительным лишь к входным значсниям, лсжащим в некоторой ограниченной области. 79 Нейронные сеген. 8ТАТ!8Т!СА Неога! МеГагогКа На рис. 4.2 представлена одна из наиболее распространенных передаточных функций — так называемая логистичсская функция (иногда ее также называют сигмоидной функцией, хотя сели говорить строго, это всего лишь один из частных случаев сигмоидных, т.с.
Ю-образных функций). В этом случае выходное значение вссгда лсжит в интервале (О; 1), а область чувствительности для входов чуть шире интервала Рис. 4.2 ( — 1; +1). Данная функция является гладкой, а ее производная легко вычисляется. Это обстоятельство вссьма существенно для работы алгоритма обучения сети (в этом также кроется причина того, что ступенчатая функция для этой цели практически не используется). Поскольку выходные значения всегда принадлежат некоторой ограниченной области, а вся информация должна быть представлена в числовом виде, очевидно, что при решении реальных з щач методами нейронных сетей требуются этапы предварительной обработки — препроцсссирования — и заключительной обработки — постпроцсссирования данных (В(зйор, 1995).
Соответствующие средства имеются в пакете БТ №и~а! №гн ог!гз. Здесь нужно рассмотреть два вопроса. Шкапирование Числовые значения должны быть приведены в масштаб, подходящий для сети. Обычно исходные данные масштабируются по линейной шкале. В пакетс БТ №ига! №гног!гз реализованы алгоритмы минимакса и среднего/стандартного отклонения, которые автоматически находят масштабирующие параметры длл преобразования числовых значений в нужный диапазон. В некоторых случаях болсс подходящим может оказаться нелинейное шкалирование (например, если заранее известно, что переменная имеет экспопснциальнос распределение, имеет смысл взять ее логарифм).
Нелинейное шкалирование нс реализовано в модуле БТ №иги! №гног!гк Вы можете прошкалировать персменную средствами преобразования данных базовой системы БТАТ!о Т1СА, а затсм работать с ней в модуле БТ №ига! №пюг!гз. Номцнапьные переменные Номинальные псремснные могут быть двузначными (напримср, Пол = (Муле, Жегг)) или многозначными (т.с. принимать более двух значений или состояний). Двузначную номинальную псремснную легко преобра- ВО Гпаеа 4. Общий обзор нейронных сепзей зовать в числовую (например, Муж = О, Жен = 1). С многозначными номинальньпии персмснными дело обстоит сложнее. Их тоже можно представить числовыми значенизьчи (например, Собака = О, Овца = 1, Кошка = 2), однако при этом может возникать ложное упорядочивание значений: в рассмотренном примере Овца окажется чем-то средним между Собакой и Козакой.
Существует более точный способ, известный как кодирование 1-из-Ж, в котором одна номинальная переменная представляется несколькими числовыми переменными. Количество числовых переменных равно числу возможных значений номинальной переменной; при этом всякий раз ровно одна из Фпеременных принимает ненулевое значение (например, Собака = 11, О, О), Овца = 10, 1, О), Козака = 10, О, 1)). В пакетс 5Т %вага! УвпиоМв имеются возможности преобразовывать как двух-, так и многозначные номинальные переменные для последующего использования в нейронной сети.
К сожалению, номинальная переменная с большим числом возможных состояний потребует при кодировании методом 1-из-Мочснь большого количества числовых переменных, а это приведет к росту размеров сети и создаст трудности при се обучении. В таких ситуациях возможно (но не всегда достаточно) смоделировать номинальную переменную с помощью одного числового индекса, однако лучше будет попытаться найти другой способ представления данных. Задачи прогнозирования можно разбить на два основных класса: классификация и регрессия. В задачах классификации, как правило, нужно определить, к какому из нескольких заданных классов принадлежит данный входной набор, Примерами могут служить предоставление кредита (относится ли данное лицо к группе высокого или низкого кредитного риска), диагностика раковых заболеваний (опухоль, нет опухоли), распознавание подписи (поддельная, подлинная).
Во всех этих случаях, очевидно, на выходе требуется всего одна номинальная переменная. Чаще всего, как в этих примерах, задачи классификации бывают двузначными, хотя встречаются и задачи с несколькими возможными состояниями. В задачах рсгрсссин требуется предсказать значение переменной, принимающей, как правило, непрерывныс числовые значения: завтрашнюю цену акций, расход топлива в автомобиле, прибыли в следующем году и т.п. В таких случаях в качестве выходной требуется одна числовая переменная. Нейронная сеть может решать одновременно несколько задач регрессии и/или классификации, однако обычно решается только одна задача.
Таким образом, в большинстве случаев нейронная сеть будет иметь всего одну выходную переменную; в случае задач классификации со многими состояниями для этого может потрсбоваться несколько выходных элементов (за преобразование информации из выходных элементов в выходную переменную отвечает этап постпроцсссирования). 81 нейронные сеген, ЗТАтщтюя неога! ые!пегие В пакете о Т №ига! №гног!гк для рсшения всех этих вопросов реализованы спсциальныс средства пре- и постпроцессирования, которые позволяют привести сырые исходные данныс в числовую форму, пригодную для обработки нейронной сетью, и преобразовать выход нейронной сети обратно в формат входных данных. Нейронная сеть служит «прослойкой» между пре- и постпроцсссированием, и результат выдается в нужном виде (например, в задаче классификации выдастся название выходного класса).
Кроме того, в пакете БТ №ига! №гног!гз пользователь может (сели пожелает) получить прямой доступ к внутренним параметрам активации сети. МНОГОСПОЙНЫЙ ПЕРСЕПТРОН Вероятно, эта архитектура сети, описанная в предыдущей главе, используется сейчас наиболес часто. Каждый элемент сети строит взвешенную сумму своих входов с поправкой в виде слагаемого, затем пропускает эту величину активации через передаточную функцию, и таким образом получается выходное значение этого элсмснга. Элементы организованы в послойную топологию с прямой передачей сигнала. Такую сеть легко можно интерпретировать как модель «вход — выход», в которой веса и пороговые значения (смещения) являются свободными параметрами модели. Она может моделировать функцию практически любой степени сложности, причем число слоев и число элементов в каждом слое определяют сложность функции.
Определение числа промежуточных слоев и числа элементов в них является важным вопросом при конструировании МЛП (Наук1п, 1994; В1апор, 1995). Количество входных и выходных элементов определяется условиями задачи. Сомнения могут возникнуть в отношении того, какие входные значения использовать, а какие нет — к этому вопросу мы вернемся позже.
Сейчас будем предполагать, что входные переменные выбраны интуитивно и что все они являются значимыми. Вопрос же о том, сколько использовать промежуточных слоев и элементов в них, пока совершенно неясен. В качестве начального приближения можно взять один промежуточный слой, а число элементов в нем положить равным полусуммс числа входных и выходных элементов.
Подробнее мы обсудим этот вопрос позже. Обучение многоспойного персеппзрона После того, как определено число слоев и число элементов в каждом из них, нужно найти значения для весов и порогов сети, которые бы минимизировали ошибку прогноза, выдаваемого сетью. Именно для этого служат алгоритмы обучения. С помощью собранных исторических данных всса и пороговые значения автоматически корректируются с целью минимизировать эту ошибку. По сути, этот процесс прсдставляет собой подгонку модели, которая 82 Гааза 4. Общий обзор нейронных евшей реализуется сетью, к имеющимся обучающим данным. Ошибка для конкретной конфигурации сети определяется путем прогона черсз сеть всех имею- шихся наблюдений и сравнения реально выдаваемых выходных значений с желаемыми (целевыми) значениями. Все такие разности суммируются в так называемую функцию ошибки, значение которой и есть ошибка сети.
Чаще всего для построения функции ошибки все ошибки выходных элементов длл всех наблюдений возводятся в квадрат и затем суммируются. При работе с пакетом БТ Хеига! Же~вогкз пользователю выдается так называемая среднеквадратичная ошибка — описанная выше величина нормируется на число наблюдений и переменных, после чего из нее извлекается квадратный корень, Это очень хорошая мера ошибки, усредненная по всему обучаюшему множеству и по всем выходным элементам. В традиционном моделировании (например, линейном) можно алгоритмически определить конфигурацию модели, лающую абсолютный минимум для указанной ошибки.
Цена, которую приходится платить за болсе широкис (нелинейные) возможности моделирования с помощью нейронных сетей, состоит в том, что, корректируя сеть с цепью минимизировать ошибку, мы никогда нс можем быть уверены, что нельзя добиться еще меньшей ошибки. Здесь оказывается очснь полезным понятие поверхности ошибок. Каждому из весов и порогов сети (т.е. свободных параметров модели; их общсе число обозначим через Л) соответствует одно измерение в многомерном пространстве. Измерение (И+1) соответствует ошибке сети. Для всевозможных сочетаний весов соответствующую ошибку сети можно изобразить точкой в (%+1)-мерном пространстве, и все такис точки образуют там некоторую поверхность — поверхность ошибок.
Цель обучения нейронной сети состоит в том, чтобы найти на этой многомерной поверхности самую низкую точку. В случае линейной модели с суммой квадратов в качестве функции ошибок эта поверхность ошибок будет представлять собой параболоид (квадрику) — гладкую поверхность, похожую на часть поверхности сферы, с единственным минимумом. В такой ситуации локализовать этот минимум достаточно «легко».
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
