Диссертация (1138130), страница 14
Текст из файла (страница 14)
В качестве примеров экспертныхкорректировокможнопривести,например,выдачугосударством100дополнительных средств на реализацию инвестиционного проекта (что впринципе позволит экспертно повысить Рейтинг с учетом дополнительныхфакторов риска) или сокращение средств на реализацию инвестиционногопроекта(чтопозволяетэкспертнопонизитьРейтингсучетомдополнительных факторов риска).Экспертно установлено, что суммарная корректировка Рейтинга сучетом дополнительных факторов риска до Индивидуального рейтинга неможет превышать 2 рейтинговых разряда (как в сторону понижения, так и всторону повышения).В случае, если инвестиционный проект удовлетворяет критериямдефолта (определение приведено при разработке моделей бинарного имножественного выбора), то ему автоматом проставляется Индивидуальныйрейтинг «RU 1» (Дефолт).
Если инвестиционный проект не удовлетворяеткритериям дефолта, то вне зависимости от всех используемых корректировокИндивидуальный рейтинг не может быть ниже уровня «RU 2».В данном исследовании не был произведен учет влияния групповойлогики (взаимосвязи проектной компании, реализующей инвестиционныйпроект, с другими компаниями). Таким образом, в качестве ИтоговогорейтингапорезультатамисследованияцелесообразноиспользоватьИндивидуальный рейтинг, на основании которого возможно получить оценкуфинансового положения по инвестиционному проекту, необходимую дляоценки кредитоспособности согласно нормативным документам БанкаРоссии [Положение Банка России № 254-П, 2004; Положение Банка России№ 283-П, 2006]. Определение зависимости оценки финансового положенияинвестиционного проекта от его Итогового рейтинга также не входило взадачи проводимого исследования.101Глава 3 ВАЛИДАЦИЯ И ПОВЫШЕНИЕ ПРОГНОЗНЫХСПОСОБНОСТЕЙ МОДЕЛЕЙ3.1 Практическая валидация разработанных рейтинговых моделей3.1.1 Выборка данных валидации моделиПорезультатамнаблюденийзароссийскимиинвестиционнымипроектами (по действующим на начало 2014 года проектам, по которым натот момент отсутствовали признаки дефолта) за 2014 год была сформированавыборка для валидации моделей бинарного и множественного выбора(валидационная выборка), которая имела следующие характеристики: Количество инвестиционных проектов – 77; Количество дефолтных инвестиционных проектов – 6; Частота дефолтных проектов – 7,79%.Таким образом, выборка включала перечень всех факторов риска,приведенных в таблице 2.7, значения которых были определены посостояниюна01.01.2014года,фактналичия/отсутствиядефолтапроставлялся по наблюдениям за инвестиционными проектами за период сначала по конец 2014 года.
Структура валидационной выборки по отраслям ирегионам приведена на рисунках 3.1 и 3.2.102Рисунок 3.1 – Структура валидационной выборки по отраслямРисунок 3.2 – Структура валидационной выборки по регионамСтруктуры выборок как для разработки, так и для валидации моделейсопоставимы (Это следует из сопоставления рисунков 2.1 и 2.3 с рисунками3.1 и 3.2).По отношению к наблюдениям валидационной выборки былиприменены трансформация и нормализация, при осуществлении которыхбыли использованы коэффициенты из таблиц 2.5, 2.6 и 2.20.Целями и задачами (этапами) проводимой валидации являлись:103 Сопоставлениехарактеристикдискриминационныхспособностеймоделейибинарногоиотдельныхмножественноговыбора(многофакторный анализ) [Битюцкий, 2013]; Оценка дискриминационных способностей риск-факторов (однофакторныйанализ) и корреляционный анализ риск-факторов [Битюцкий, 2013]; Формирование рекомендаций по результатам валидации моделей.Изначально в качестве целей и задач валидации дополнительнорассматривалась задача оценки прогнозной (предсказательной) способностимоделей (с использованием теста хи-квадрат (Хосмер-Лемешев) [Битюцкий,2013].
Но с учетом наличия в валидационной выборке всего 6 случаевдефолтапоинвестиционнымпроектампроведениеданноготестаневозможно. При этом необходимо отметить, что дефолты в течение 2014года произошли по инвестиционным проектам, которые на 01.01.2014 годапо модели бинарного выбора имели Первоначальные рейтинги «RU 2» (2случая), «RU 3» (2 случая), «RU 5» (2 случая), а по модели множественноговыбора – соответственно Первоначальные рейтинги «RU 2» (2 случая), «RU3» (1 случай), «RU 4» (1 случай), «RU 6» (1 случай) и «RU 7» (1 случай).Данный результат показывает, что обе модели по состоянию на 01.01.2014давали консервативные рейтинговые оценки по проектам, перешедшим втечение года в дефолт, близкие к дефолтному рейтингу («RU 1»), но модельбинарного выбора по наиболее позитивно оцениваемым на 01.01.2014проектам, ставшим в течение 2014 года дефолтными, позволяла получитьПервоначальный рейтинг «RU 5», а модель множественного выбора –соответственно менее консервативные Первоначальные рейтинги «RU 7» и«RU 6».
Таким образом, модель бинарного выбора более консервативнооценила оказавшиеся дефолтными проекты и оказалась лучше с точки зренияпрогнозной (предсказательной) способности. При этом при актуализациимоделей по состоянию на 01.01.2015 целесообразно перекалибровать оберейтинговые модели, учитывая изменение экономической конъюнктуры,104характеризующейся изменением макроэкономических факторов риска,оказывающейвлияниена дефолтностьинвестиционныхпроектоввкаждогоизРоссийской Федерации в 2014 и 2015 годах.Встатьебудутприведеныосновные результатыобозначенных этапов.3.1.2 Сопоставление дискриминационных способностей и отдельныххарактеристик моделей бинарного и множественного выбора(многофакторный анализ)Результаты сопоставления дискриминационных способностей моделей(наоснованиикоэффициентаДжини)инекоторыхихотдельныххарактеристик представлены в таблице 3.1.Таблица 3.1 – Результатымножественного выборасопоставимостиМодельСтатистикамножественноговыбораAR (Gini)моделейбинарногоиМодель бинарноговыбора66,67%70,89%ROC-кривой)83,33%85,45%LogL-16,82-15,36Pseudo-R220,18%27,12%AUROC (Площадь подИз результатов сопоставления моделей видно, что модель бинарноговыбора показала более точные результаты по сравнению с модельюмножественного выбора на валидационной выборке (хотя оценки точностисопоставимы).Сопоставимость дискриминационных способностей моделей приведенана рисунке 3.3.105Рисунок 3.3 – Сопоставимость моделей бинарного и множественного выбораТаким образом, дискриминационные способности моделей бинарного имножественноговыборапорезультатамвалидацииявляютсяоченьхорошими, что подтверждает возможность использования обеих моделей напрактике.Приэтоммодельбинарноговыбораоказаласьточнее.Экономический смысл данного результата заключается в том, что рискфактор «IRR» оказывает наиболее сильное влияние на кредитоспособностьинвестиционного проекта (так как точность модели множественного выбора(в которой показателю «IRR» придается меньший вес) по результатамвалидации оказалась ниже точности модели бинарного выбора).
Нонеобходимо понимать, что данная гипотеза сформирована на выборке малогообъема и при увеличении объема выборки вполне может быть отклонена, имодель множественного выбора может стать точнее модели бинарноговыбора.3.1.3 Оценка дискриминационных способностей риск-факторов(однофакторный анализ) и корреляционный анализ риск-факторов106Оценка дискриминационных способностей отдельных факторовриска приведена на рисунке 3.418.Рисунок 3.4 – Результаты однофакторного анализа при валидации моделейИз рисунка 3.4 следует, что все входящие в модели бинарного имножественного выбора факторы риска являются статистически значимыми.Таким образом, исключение из моделей отдельных факторов рискапредставляется нецелесообразным.Риск-фактор «Индустриальный фактор» является самым значимым порезультатам однофакторного анализа, однако при работе в связке лучшеработает риск-фактор «IRR» (второй по значимости по результатамоднофакторного анализа), так как является непрерывным фактором риска (вотличие от «Индустриального фактора»).Порезультатамкорреляционногоанализариск-факторов19навалидационной выборке, входящих в модели бинарного и множественноговыбора, линейных зависимостей (коэффициент корреляции Пирсона > 0,6)обнаружено не было.
Корреляционные матрицы между риск-факторами для18Красная линия – минимальное пороговое значение для коэффициента Джини (AR(Gini)), котороепозволяет считать фактор риска статистически значимым19В качестве коэффициентов парной корреляции рассматривались коэффициенты корреляции Пирсона107моделей бинарного и множественного выбора приведены в Приложении Г(таблицы Г.1 и Г.2).Результатомоднофакторногоанализасталоподтверждениестатистической значимости входящих в модели бинарного и множественноговыбора факторов риска, а корреляционного анализа – подтверждениеотсутствиялинейныхзависимостеймеждуриск-факторами,чтоподтверждает возможность использования обеих моделей на практике.3.1.4 Формирование рекомендаций по результатам валидациимоделейПо результатам проведенной валидации были выработаны следующиерекомендации по улучшению качества разработанных моделей:Калибровка моделей была осуществлена на данных по состоянию на01.01.2014 на основании принципа консервативности без учета влияниямакроэкономических факторов риска.
Таким образом, целесообразноосуществить перекалибровку моделей на наиболее актуальных данных,повысив прогнозные (предсказательные) способности моделей бинарногои множественного выбора, учитывая влияние макроэкономическихфактороврисканадефолтностьинвестиционныхпроектов,искорректировать алгоритмы принятия решения по разработанныммоделям.При появлении соответствующей информации с целью улучшениякачества разработанных моделей целесообразно рассматривать такиефакторы риска, как период окупаемости (обычный и дисконтированный) исоотношение периода окупаемости (обычного и дисконтированного) ксроку реализации проекта.При появлении информации о валовой прибыли с недефолтных проектови потерях с дефолтных проектов рассчитать балл отсечения исходя измаксимизации средней валовой прибыли на инвестиционный проект и108скорректировать алгоритм принятия решения о целесообразности участияв инвестиционном проекте.При появлении информации по инвестиционным проектам по экспертнымкритериямоценкицелесообразноразработатьэкспертнуюмодель,включающую в себя качественные критерии оценки по проектам,входящим в выборку для разработки моделей, и получить оптимальную поточности совокупную модель, включающую в себя как качественные, так иколичественные факторы риска.При появлении необходимой информации (Приложение 2 раздела 1Положения 483-П [Положение Банка России 483-П, 2015]) целесообразнопоказать,какиепреимуществадаетиспользованиеподходовдиссертационного исследования перед упрощенным подходом из 483-П.Выполнение первой рекомендации осуществлено в диссертационнойработе и описано в разделе 3.2 исследования.