Моделирование процессов подбора и оценки персонала (1142477), страница 16
Текст из файла (страница 16)
При этом мы справедливо можемиспользовать логарифмы этих значений, так как ≤ ≤ 1, следовательноLn ≤ Ln ≤ 1.В рамках этого подхода, эконометристам известны следующие показателикачества для моделей бинарного выбора: псевдо-2 (21) [69, c.502-503] икоэффициент детерминации МакФаддена (22) [95]:2 = 1 −12(Ln − Ln )1+Ln2 = 1 −Ln(21)(22)Коэффициент МакФаддена часто называют индексом отношенияправдоподобий (Likelihood Ratio Index, LRI).Оба этих показателя варьируются в пределах от 0 до 1. Если для82длинноймодели̂2 = ⋯ = ̂ = 0, то = , иоба коэффициентадетерминации равны нулю.
Коэффициент МакФаддена будет равен единице, если,Ln = 0, то есть = 1. В этом случае модель даёт точное предсказание,таким образом, что ̂ = для всех = 1, … , . При этом, для пробит, логит игомпит моделей оказывается невозможным довести до конца итерационнуюпроцедуру оценивания вектора параметров ̂, поскольку абсолютная величина ̂ резко возрастает. Происходит это потому, что у моделей бинарного выбора приконечных значениях ̂ выполняются строгие неравенства 0 < ( ̂) < 1,следовательно, функция правдоподобия не может достичь единицы.Проверка значимости группы регрессоров моделей бинарноговыбора осуществляется с помощью так называемого критерия отношенияправдоподобий.Итак, пусть − максимум функции правдоподобия длинноймодели, − максимум функции правдоподобия для короткой модели.
Критерийотношения правдоподобия [79, с.513] = 2(Ln − Ln ) отвергаетгипотезу0 :{2 = 0, … , = 0},критическогопризаданномеслиуровнезначениестатистикизначимости.LRКритерийбольшеотношенияправдоподобий является асимптотическим – это означает, что критическоезначение вычисляется на основе распределения, к которому распределениепоказателя стремится при → ∞, если гипотеза 0 верна. В случае с критериемотношенияправдоподобийэтимраспределениемявляетсяхи-квадратcколичеством степеней свободы равным 1 − 0 , где 1 и 0 – количествопараметров в длинной и короткой модели соответственно. Гипотеза 0 отвергается,22 (если > 1−(1 − 0 ), где 1−1 − 0 ) − квантиль распределения хи-квадратуровня 1 − с 1 − 0 степенями свободы.Еще одним инструментом оценки качества бинарной регрессии является такназываемая ROC-кривая, график, отображающий соотношение доли верноклассифицированных положительных примеров в общем числе положительныхпримеров(TPR,truepositiverate)идолюпримеров,ошибочно83классифицированных, как положительные (FPR, false positive rate), при изменениипорогового значения классификации.
В идеальном случае, ROC-кривая принимаетГ-образныйвид,авслучаенеудовлетворительногокачествамодели,соответствующего случайному гаданию, график будет совпадать с прямой,делящей плоскость FPR TPR пополам. ROC-кривую, также, можно использоватьдля сравнения качества нескольких моделей, график модели с наилучшимкачеством классификации будет смещен влево вверх. Количественную оценкукачества классификации даёт показатель AUC (area under curve) – площадь подROC-кривой. Чем ближе данный показатель к единице, тем качественнееклассификатор, в то время как значение 0,5 соответствует случайному гаданию иговорит о неудовлетворительном качестве модели.Поскольку пробит, логит и гомпит модели являются нелинейными (23), тоинтерпретация коэффициентов в них отличается от интерпретации в линейноймодели:{ = 1| } = ( ), = 1, … , ;(23)Если k-я объясняющая переменная является непрерывной, то её предельныйэффект определяется формулой (24):{ = 1| } ( )=.(24)Стоит отметить, что этот эффект зависит от значений объясняющихпеременныхдляi-гонаблюдения = (1 , … , ) .Малоеизменение∆ приводит к изменению вероятности ( = 1| } (25) на величину, равную{ = 1| }( )∆{ = 1| } ≈∆ =∆ .(25)Так как модели бинарного выбора нелинейны, при интерпретациизначений предельного эффекта подразумевается отклик исследуемой вероятностина малые приращения объясняющих переменных.
В случае, когда в модельвключены качественные переменные, указывающие на наличие либо отсутствиеконкретного признака (фиктивные переменные, индикаторы), предельный эффект84определяется как разность { = 1|∗ , = 1} − { = 1|∗ , = 0}, где исследуемая фиктивная переменная, ∗ - вектор значений остальных переменных.Для пробит-модели, малое изменение ∆k-й объясняющейпеременной приведет к изменению вероятности { = 1| } на величину (26),равную:∆{ = 1| } = ( ) ∆ ,(26)где ( ) – функция плотности стандартного нормального распределения.Соответственно предельный эффект k-й переменной будет равен ( ) .Для логит-модели, малое изменение ∆ приведет к изменениюисследуемой вероятности на величину (27):Λ( )∆{ = 1| } =∆ = {Λ( ) (1 − Λ( )) } ∆ ,(27)при этом, выражение {Λ( ) (1 − Λ( )) } представляет собойпредельный эффект для k-й объясняющей переменной.2.3 Использование искусственных нейронных сетей для решения задачбинарной классификацииКак уже было сказано ранее, решение задачи классификации предполагаетотнесение имеющихся образцов к определенным классам.
Каждому образцупоставлено в соответствие признаковое описание - вектор, компоненты которогопредставляют собой различные количественные и качественные характеристики,описанные выше. Количество компонент этого вектора определяет размерность такназываемого «пространства входов», разбитое на классы. Задачей алгоритмаклассификации, таким образом, является отнесение произвольного объекта кодному из классов. Благодаря своей исключительной способности моделироватьнелинейные зависимости в данной области получили широкое распространениеискусственные нейронные сети.Искусственная нейронная сеть (далее - ИНС) представляет собойматематическую модель и её программную реализацию, построенные по принципуорганизации и функционирования сетей нейронов головного мозга живого85организма [39, c.
8]. Данное понятие возникло во время исследования процессов,протекающих в мозге, и при первых попытках моделирования данного процесса.Первые результаты были получены У. Маккалоком и У. Питтсом. В дальнейшем,после того как были разработаны алгоритмы обучения, такие модели сталиприменять на практике для решения задач прогнозирования, распознания,классификации, задач управления и др.Искусственная нейронная сеть представляет собой систему взаимосвязанныхи взаимодействующих простых процессоров – искусственных нейронов.
Каждыйнейрон получает и передает сигналы другим нейронам. Будучи соединенными вдостаточно большую сеть, такие локально простые операторы могут решатьдовольно сложные задачи.Нейронная сеть, с точки зрения машинного обучения, является частнымслучаемметодовраспознаванияобразов,методовкластеризации,дискриминантного анализа. С точки зрения математики, задача обучения ИНСявляется задачей многопараметрической нелинейной оптимизации.Кискусственнымнейроннымсетямнеприменимопонятиепрограммирования в привычном смысле. Когда речь идет о ИНС, используетсятермин «обучение».
Возможность такого обучения является одним из главныхпреимуществ искусственных нейронных сетей перед остальными алгоритмами.Технически данный процесс заключается в нахождении коэффициентов связеймежду нейронами. Эти коэффициенты также называются синаптическими весами.В процессе своего обучения ИНС способна выявлять сложные нелинейныезависимости внутри исследуемых данных, выполнять обобщение. Это означает,что после успешного обучения ИНС может дать верный результат, основанный наданных, отсутствовавших в выборке при обучении, или же неполных и частичноискаженных данных.Далее, рассмотрим, какие нейросетевые модели могут быть наилучшимобразом применены для решения поставленной задачи.
Простейшим и историческипервым искусственным нейроном является предложенный в 1943 году У.86Маккаллоком и У. Питтсом бинарный элемент [19, c. 13]. Такой нейрон вычисляетвзвешенную сумму с n входных сигналови формирует единичный сигнал навыходе, если взвешенная сумма превышает некий порог (в противном случаезначение на выходе равно нулю).Модель нейрона Маккаллока-Питтса (28) выглядит следующим образом: = (∑ ∙ ),(28)где – выход j-го нейрона, – i-й вход нейрона, – синаптический вес jго нейрона на i-м входе. Функция F называется активационной функцией нейрона.Графически, нейрон представлен на рисунке 2:123…123 (∑ ∙ )Источник: составлено автором.Рисунок 2 – Модель нейронаИзначально, Маккаллок и Питтс использовали в качестве активационнойфункции бинарный ограничитель (релейную функцию).
В настоящее время напрактике используются функции из семейства сигмоид, которые имеютследующий вид (29):=11 + −(29)Данный факт обусловлен тем, что при использовании сигмоидальныхфункций существенно сокращается вычислительная сложность метода обратного87распространения ошибки, с помощью которого осуществляется «обучение»нейрона.Одиночный нейрон способен выполнять лишь простейшие процедурыклассификации, в то время как для более универсальных вычислений необходимасистема из нескольких параллельно функционирующих нейронов [73, c. 35-39].Такая система будет представлять собой простейший вид ИНС – однослойнуюнейронную сеть, схематично представленную на рисунке 3.112112Σ1Σ2Σ… 1Источник: составлено автором.Рисунок 3 – Однослойная ИНСЭлементы-круги слева служат только для распределения входных сигналов ине выполняют каких-либо вычислений, отчего не будут считаться слоем.Квадратные элементы представляют собой искусственные нейроны, устройствокоторых описано выше.
Каждый элемент множества входов соединен с каждымнейроном через так называемую синаптическую связь.Однако нейронная сеть такого типа, несмотря на большую универсальность,не может справиться с задачей классификации в том случае, если исходноемножество не является линейно разделимым. В общем случае, можно говорить отрех основных типах исследуемых множеств: линейно разделимые, линейнонеразделимые и множество с пересекающимися классами. Линейная разделимостьозначает, что имеющиеся классы возможно разделить прямыми линиями (в общемвиде – гиперплоскостями). Во втором случае это сделать нельзя, однако классы всеравно могут быть разделены более сложным образом – нелинейная разделимость.Если классы пересекаются, то имеет место вероятностная разделимость.88Немаловажным этапом построения нейронной сети для решения задачиклассификации является предварительная обработка данных (нормировка,стандартизация). Целью данного этапа является получение линейной разделимостимножества классифицируемых объектов, при наличии которой построениеклассификатора значительно упрощается.
Однако при решении реальных задачмалое количество образцов в обучающей выборке, как правило, не позволяетобработать исходные данные таким образом, чтобы была достигнута линейнаяразделимость объектов, подлежащих классификации.Искусственные нейронные сети обладают исключительной способностьюаппроксимации функций, что позволяет строить разделяющие поверхностибольшой сложности, а, следовательно, эффективно проводить классификацию.Фактически нейронная сеть генерирует большое число регрессионных моделей,которые являются стандартным средством классификации при решении задачистатистическими методами.Для решения задачи классификации на нелинейно разделимом множестве,как показано в работе «Персептроны» Минского и Пейперта, однослойныенейронные сети не подходят [44, c.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
