Боровиков В.П. - Нейронные сети (778916), страница 57
Текст из файла (страница 57)
Заметьте, вы классифицируете наблюдения, по которым уже была найдена дискриминирующая функция, поэтому получаеге сравнительно хорошую дискриминацию (хотя обычно не настолько хорошую, как в этом примере). Однако эту классификацию рассматривают только как диагностическое средство идентификации сильных и слабых сторон построенных дискриминантных функций, поскольку эти классификации являются не априорными предсказаниями, а скорее аностериорными. Только если классифицируются новые образцы, эту таблицу можно интерпретировать в терминах точности классификации мощности дискриминации.
Кяассификация набпнэяений Расстояние Махапанобиса и апостериорные вероятности Расстояние Махаланобиса является мерой расстояния, которую можно использовать в многомерном пространстве, определенном переменными модели. Наблюдения относятся к тому классу, к которому они ближе всего расположены. Гпаеа 10. классические меп!Оды, апыпернап!оеные нейронным сеп!Йм Вы можете вычислить расстояние между наблюдением и центром каждой совокупности (т.е. це74и!роидаи совокупности, определенного соответствующим средним совокупности для каждой переменной).
Чем ближе наблюдение к центроиду группы, тем в большей степени можно быть увереным, что наблюдение принадлежит этой группе. Расстояние Махаланобиса получено путем нажатия на кнопку Квадраты рисстояпил Мохилпнобиса на вкладке Классификация (рис. 10.30). Квадраты расс!овнов Макаланобнса до цен!ров Нелравнланыеюкасснф кацнн о!велены "'ФТ Наблюдение БЕ70БА 11 12:,', 1З'= 14 26653! Рис. 10.30. Матрица с кваяратами расстояния Махалаяобиса Вы можете непосредственно вычислить вероятность того, что новое наблюдение принадлежит определенной совокупности.
Эта вероятность называется апостериорной. Для ее получения следует нажать кнопку Аиостериорные вероятности. Конкретные кпасснфикации На рис. 10. 31 показана матрица классификации. Строки, отмеченные звездочкой ( ), указывают на неправильно классифицированные образцы. В этом классическом примере точность классификации очень высока. Такая точность редко достигается в прикладных исследованиях. Заметим, что в классическом дискриминантном анализе независимые переменные принимают непрерывные значения.
Они должны иметь нормальное распределение и ковариационныс матрицы для разных групп совпадать. В этом случае решающее правило — классификатор Фишера — является оптимальным. Обобщетве классического дискримигварвтного анализа ла категорп- алывые нредикторы нредслраелевт е модуле Обобщенный дискрими- паилвпый анализ рТАТ1оТТСА. 317 з -н 4 '!'5 6 '8 10 Ч!8094!С ЧЕЙБ!С ОС кдпо!м!С 'дпо!м!с БЕТОБА 'дйо!М!С 17ЕЙБ!СОС чепзкос БЕТОБА ЧЕЙИСОС ЧЕЙБ!СО!. мяомс ЧЕЙЯСО!. 0 2419 208,5713 !05 2663 207,9!90 1333и66 1 3337 173,1836 131 56!7 1338624 22664 99,2338 149О303 !5998!7 79 К073 90Г602 27 З!88 2 2329 3! 7492 52529 840ПБ 26 5620 8 4307 8 со97 ! !З БЮЗ ! 2963 6 4393 12,75!2 ! 4076 !8! к687 1 8944 !З 0720 4,4536 72з59 170 0569 \1 0484 \4 7647 6 5388 2!00239 !38!74 4 8645 1.2342 Неаронные сева ЗТАТ!ЗтгСА Неога! Негтсогй8 Кааленфнквцн» наблюдении Рима! ага! Не»рави»ание класси икании етнеиени ;Наив .,Г.М:.; Ь,ЕС,:,.;Б" " Йлбгласс.
г . 9; д ЗЕТ 8 ЗЕТОЗА 8ЕЙ81СОС ИЙОИ1С ИЙОИС Ксйби!С»ГЕЙ81СОС ЗЕ10ЯА ТГЕйи81СОС»ГЕРБ!СОС МЙОИС ЗЕТОЗА ЮГнЙН1С МЙОИС УЕЙИСОС ЗЕТОЗА 'ДРО!Н1С»лЕЙ81СОС 81861Н1С ЗЕТОЯА ВЕТОЗА БЕТОБА»/ЕРЯ1СОС ИР61ИС МЮ!Н1С »ДЙОИС 'ГЕЙ81СОС БЕТОБА "ЕРБМ01. 'ГЕЙЯ!СОС 'АЙ61Н1С ЗЕТОЯА ьеР81СО!. »ггй61!а!с 'гейя180с ЯЕТОБА БЕТОБА ЯЕТОЗА ТгЕЙ81СОС МЙОИС 'ГЕЙ81СОС "ЕЙЗ1С01.
ИЙ61МС ЯЕТОВА 'ГЕР81СОС ТЛЙО!И1С 'ГЕЙЯ1СОС ЗЕТОБА ЯР6ИС МР61Н1С ЪЕРЗ!СОС ЯЕТОБА 'гЕЙЯ!СОС 9ЕЙБ!СИ. МЙ61МС БЕТОБА „~ 'Ы Наблюдение 8, ''Л ТТ' . ""игбги .; ТЗ .»З ТЗаь ",иЬУ 4 Рис. 10.31. Результаты классификаиии ПОГИТ-РЕГРЕССИЯ ° биологические исследования доза-эффект: х — доза введенного препарата, р(х) — вероятность летального исхода; ° маркетинговые акции: х — фактор давности, р(х) — отклик на рассыйку с новым предложением; ° промышленность: х — нагрузка на образец, р(х) — вероятность сохранения образца; ° торговля: х — длительность хранения продукта, р(х) — вероятность того, что продукт годен; банковская сфера: х — доход клиента, р(х) — вероятность того, что кли- ент с доходом возвратит кредит.
Подобные задачи часто возникают на практике, и логит-регрессия является адекватным инструментом для их рсшсния. Структура данных в этой модели проста: прсдикторные переменные, которые определяют бинарный отклик (возврат или невозврат кредита, отклик на рассылку и т.д.). Особенностью логит-регрессии является ясность и простота модели, интсрпрстируемость результатов. 318 Логит-регрсссия предназначена для решения задач предсказания переменной, принимающей значения в интервале от О до 1. Эта модель применяется также в задачах с бинарным откликом. Типичныс примеры: Гпава 10.
Кпассснесксе методвк апьтернвтпвные нейронным сетям В общем случае мы имеем следующую модель, связывающую зависимую переменную Ус независимыми переменными Х„..., Х,: ехр(Ь„+Ь,х, +...+Ь х„) У= У(х,,...,х„)- 1+ схр (Ь„+ Ь, х, +... + Ьн х„) (10.1) Коэффициенты Ь„, Ь,, ..., Ьн являются неизвестными, их следует оценить ио значениям зависимой иеремеиной з' и нредикторов Представленную модель можно линеаризовать с помощью логит-прсобразования.
У' = 1п(У/(1 — У)). (10.2) Применяя данное преобразование к уравнению (10.1), получим линейнуюмодсль: У' = Ьв + Ь, х, +... + Ьнх„. (10.3) Зависимая псременная У часто интерпретируется как вероятность, поэтому воспользуемся обозначением р. Имеем следующие уравнения: р' = Ьо + Ь, х, +... + Ья хи, р' = 1п(р/(1 — р)), р = ехр р' ~ (1+ схр р'). (10.4) р' = Ь„+ Ь, х, +...
+ Ьн х При решении задачи линейной регрессии мы подгоняли к наблюдаемым значениям некоторую гиперплоскость — прямую в случае простой регрессии, плоскость — в случае двух независимых переменных. При переходе к уравнению логит-регрессии подгоняемая поверхность уже не будет иметь простой вид, так как проведено нелинейное преобразование переменных. В стандартной линейной модели для оценки параметров используют метод наименьших квадратов, в логистической регрессии используют оценки максимального правдоподобия, описанные в главе 2. Погипз-регрессия в ВТАТ18Т1СА Программа о ТАТ1БТ1СА позволяет решать задачи с бинарным откликом в том числе и с помощью логистической регрессии.
319 Фактически, при проведслии логит-преобразования получаем стандартную модель множсствснной регрессии: Неаронные сев!и ЗТАТ!ЗТ!СА Нема! Ме$вогМз Подобные инструменты доступны в пакете Углубленные методы анализа — модули Нелинейное оценивапие и Обобщенные линейные/ нелинейные модели. Рассмотрим следующий пример. Предположим, вы хотите проверить гипотезу, что стаж программиста оказывает сушественное влияние на написание сложных программ. ДЛя исследования были выбраны 25 программистов с различным стажем работы. Их попросили написать сложную компьютерную программу за определенный промежуток времени.
Бинарная переменная отклик принимала значение 1, сели программист справился с заданием, значение 0 в противном случае. Ряс. 10.32. Файл данных файл исходных данных (рис. 10.32) находится в каталоге примеров, откройте его и повторите наши действия. Структура данных. В первом столбце приведен стаж программиста (в месяцах), во втором — успех или неуспех в выполнении задания. Зависимой переменной является — 5иссезз, независимой — Ехрегепсе. Зависимая переменная принимает два значения, т.е. является бинарной. В данном случае независимая переменная одна, в принципе их может быть несколько.
Это типичная структура данных в задачах логит-регрессии. В задачах банковского скоринга данные могут быть организованы следуюшим образом: строка — идентификационный номер клиента, первая переменная — доход, вторая отклик: 0 — невозврат кредита, 1 — возврат кредита. Первым шагом анализа является осознание исходных данных. Начнем с графического представления. Посмотрим, как распределен стаж работы кандидатов.
Для этого построим гистограмму переменной Ехрегенсе. 320 Гпвее 10. Кпессснесксе мелевы, впьтернвтсвные нейронным сетвм Выделим переменную Ехрегенсе и правым кликом вызовим контекстное веню. В контекстном меню нужно выбрать пункт Графики блоковых данных -+ Гистограммы: все столбцы. На зкране будет отображена следующая гистограмма (рис. 10.33), Рис. 10.33. Гистограмма иеремеииоИ Ехрегеисе Мы видим, что стаж работы распределен достаточно равномерно, иными словами, в выборке представлены как опытныс, так и неопытные программисты. Построим диаграмму рассеяния, связывающую переменную Ехрегенсе с переменной Яиссевв. В БТАП$ТТСА зта диаграмма строится двумя щелчками мыши: выбрать отдию Графика -+ Диаграммы рассеяния (рис. 10.34). В данном окне выберем переменные для диаграммы рассеяния.
После чего нажмем кнопку Переменные и откроем окно выбора переменных (рис. 10. 35). зы~ х~! $ ~ ° ~~в ~е~ ~к Ф )пю р нпр р н Рис. 10.34, Окко графики 321 Нейронные оеп>о. ЗТАТ>ЗТ>СА Нема> Не>е>о>не Рпс. 10.35 Задайте Ехрегенсе как независимую переменную и Еиссезв как зависимую переменную. Нажмитс кнопку ОК.
После чего на экране появится диаграмма (рис. 10.36). Рпе. 10.56. Диаграмма раееепппп перемеппых Яиссехх-Ехрегепсе Из диаграммы видно, что точки со значением 1 смещены вправо, следовательно, программисты с большим опытом работы имеют больше шансов выполнить задание. Гипотеза о наличии положительной связи между опытом я квалификацией выглядит достаточно правдоподобно.
Запустите модуль нелинейное оцснивание БТАТ1БТ1СА. Продслайтс последовательность действий: выбрать в разделе Анализ -+ Углубле>а>ые методы анализа -+ Нелинейное оценивание и запустить модуль Нелинейное оцеаива~ие. В стартовом окне модуля Нелинейное оценивание указать метод Логитрегрессия (рис.
10.37). Прежде всего, нужно выбрать переменные для анализа. Для этого следует нажать на кнопку Переменные. В анализе присутствуют независимые переменные и зависимая переменная (рнс. 10.38). Выберем переменную кассезе как зависимую и Ехрегпсе как 322 Гпаеа 10 Кпассоческое мепюды, апыпернапаеные неаронным сеп1нм Рис. 10.37. Стартовое окно логит-регрессии в БТА ПЯ зСА Рис. 10.38 независимую.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
