Автореферат (1138136), страница 3
Текст из файла (страница 3)
Формулировка целей и задач оценки,2. Проверка наличия данных,3. Выбор альтернатив для проведения сравнения,4. Выбор критериев и показателей оценки,5. Выбор методов оценки,6. Сбор и обработка данных,7. Анализ данных и интерпретация результатов.Вовторойглавепоказано,чтовыборкритериевоценкиССТцелесообразно осуществлять, исходя из целей ССТ, рассмотренных в первойглаве (с. 8-9 автореферата), тогда как определение показателей должнонапрямую зависеть от целей исследования (проведение международных11(межрегиональных) сопоставлений, изучение динамики выбранных показателейи т.д.), а также доступности данных, временных и финансовых ограничений.Для каждого из рассмотренных в диссертации критериев было предложенонесколько показателей, определены их преимущества и недостатки, данырекомендации по их применению.В исследовании показано, что достоверность полученных в ходе оценкирезультатов зависит, во-первых, от качества данных, и, во-вторых, отадекватного выбора методов оценки.
В этой связи были рассмотреныследующие методы: экспериментальные, квази-экспериментальные, анализ«издержки-выгоды» и «издержки-результативность».Анализ экспериментальных методов позволяет сделаеть вывод, что ониобеспечиваютследственноймаксимальнуюсвязимеждунадежностьсоциальнойпривыявлениипрограммойипричинно-полученнымирезультатами. Другое преимущество экспериментальных методов состоит в том,что при их использовании довольно просто интерпретировать данные, так каквоздействие программы измеряется разницей между средними показателями вэкспериментальнойиконтрольнойгруппах.Основнымнедостаткомэкспериментальных методов и ограничением для их использования при оценкеэффективности ССТ является сложность их практического применения.Проблема заключается в том, что часто невозможно использовать методслучайной выборки для формирования экспериментальной и контрольнойгрупп.
В случае с ССТ будет просто незаконно и неэтично одним людямпредоставлять трансферты (экспериментальная группа), а другим — не давать(контрольная группа). Более того, отказ в помощи одной группе и еепредоставление другой могут привести к политической нестабильности встране. Кроме того, процесс сбора данных для экспериментов являетсятрудоемким и дорогостоящим, поэтому для его проведения часто нетнеобходимых ресурсов.Когда невозможно создать контрольные и экспериментальные группыпосредством экспериментального подхода, для оценки используются квазиэкспериментальные(нерандомизированные)подходы.Ониблизкикэкспериментальным структурам в том, что для выявления причинноследственной связи тоже используются контрольные группы, однако методыслучайной выборки для формирования таких групп не применяются. Обычнопрограммная (экспериментальная) группа берется такой, какая есть (т.е. некая12реальнаясовокупностьучаствовавшихвпрограммеиндивидовилиорганизаций).
Контрольная группа (или группы) тоже выбирается из реальносуществующих объектов, но так, чтобы она была по возможности близка кэкспериментальной группе. Причем эти контрольные группы могут быть какотдельными (сформированными из людей, не принимавших участия впрограмме),таки"зеркальными"(длясравненияиспользуетсясамаэкспериментальная группа, но по состоянию до своего участия в программе).Висследованиипоказано,чтоглавноепреимуществоквази-экспериментальных методов состоит в том, что они позволяют использоватьсуществующие данные, и поэтому требуют меньше времени и средств. Еслинельзя обеспечить эквивалентность экспериментальной и контрольной группметодами случайной выборки, лучшим подходом будет воспользоваться всейимеющейся информацией и на ее основе провести оценку с помощью квазиэкспериментальных методов. При наличии достаточных данных их можноприменять после проведения программы.Висследованииэкспериментальныхтакжеметодов:выявленынадежностьглавныенедостаткирезультатовчастоквази-невысока,поскольку методология менее строга в статистическом плане.
Кроме того,существует проблема смещения выборки. При создании контрольной группы нанадежность результатов может повлиять множество факторов. Поэтому методымогут быть статистически сложными, что требует высокой квалификации приразработке плана оценки, анализе и интерпретации результатов, что не всегдавозможно.Вдиссертациииспользованиюсформулированыквази-экспериментальныхосновныеметодов:рекомендацииприихпоприменениинеобходимо уделять особое внимание обоснованию полученных выводов.Реальная острота таких проблем зависит от того, насколько будет обеспеченаидентичность экспериментальной и контрольной группы. Если основныеиндикаторычеткосформулированы,иихсовместимостьобеспечена,вероятность ошибочных выводов сводится к минимуму.
Однако часто бываетневозможно контролировать все внешние факторы, воздействующие наконтрольные группы. Учитывая широкий охват проектов реформирования ССТ,квази-экспериментальные методы являются наиболее предпочтительными дляколичественнойоценки,втовремя13какэкспериментальныеметодыцелесообразно использовать для оценки пилотных проектов, проводимых вотдельных регионах, либо программ, направленных на узкие группы населения.В работе также показано, что для того, чтобы оценка проектов устройстваССТ была комплексной, целесообразно проводить сопоставление планируемыхрезультатов проекта с затратами на его выполнение. Для этой цели метод«затраты - эффективность» является предпочтительней, нежели «затраты –издержки», поскольку не все результаты можно привести к стоимостнойоценке.Среди критериев оценки эффективности ССТ существуют такие, которыене поддаются количественной оценке, поэтому целесообразно использованиекачественных методов.
Качественные методы анализа могут быть оченьполезными не только в случае отсутствия необходимых эмпирических данных,нотакжедляболеечеткойформулировкисамихкритериев,учетанеэкономических факторов, особенностей поведения и традиций.В исследовании обосновывается, что необходимость использованиякачественных методов объясняется тем, что иногда никакие другие структурыиспользовать просто невозможно: нет данных о значениях индикаторов дореализации программы, и нет возможности сформировать контрольную группу.Среди методов качественного анализа для оценки системы социальныхтрансфертов целесообразно использовать два наиболее часто применяемыхметода -метод экспертных оценок и метод конкретных ситуаций (case-study).Методэкспертныхвозможностьобратитьсясоциальныхтрансфертов,оценоккачастоиспользуетсявысококласснымметодеслиспециалистамконкретныхситуацийсуществуетвобластиоказываетсянезаменимым, когда необходимо интерпретировать различные институты,процессы, подоплеку тех или иных решений и событий.
Основным недостаткомметодаконкретныхситуацийявляетсяневозможностьраспространениярезультатов конкретного исследования на все население. Кроме того, подобныеисследования требуют много времени и затрат для всестороннего изучениявопроса.В исследовании показано, что преимущества качественной оценкизаключаются в гибкости методики и возможности ее адаптации к конкретнойситуации,вееоткрытостиибыстротепроведения.Использованиекачественных методов дает более глубокое понимание позиций всехзаинтересованных сторон и системы их приоритетов, а также условий и14процессов, влияющих на результат программы. Автор рекомендует применятькачественные методы при определении целей исследования, определенииключевых показателей и интерпретации полученных количественных данных.Кроме того, с помощью качественных методов можно адекватно установитьстепень удовлетворенности участников (общества) результатами политики.Среди недостатков качественных методов были выделены субъективностьприсбореданных,отсутствиесравнительной(контрольной)группы,статистическую недостоверность по причине небольших объемов выборки, чтозатрудняет экстраполяцию выводов на репрезентативную совокупность.Обоснованность и надежность данных в большей степени зависит отквалификации и интуиции специалиста, проводящего оценку.
Поэтому всегдасуществует риск неверной интерпретации данных.В конце второй главы обосновывается необходимость сочетанияколичественного и качественного методов применительно к оценке социальныхявлений и социальной политики.Основная задача третьей главы «Оценка эффективности системысоциальных трансфертов в России» – на базе обоснованных вышерекомендаций разработать и опробовать методику, позволяющую оценитьэффективность действующей ССТ, а также проектов ее нового устройства.В исследовании проводилась оценка эффективности действующей ССТ посравнению с ситуацией полного отсутствия трансфертов.
Для апробацииметодики в качестве альтернативного варианта устройства ССТ было выбранокрайнее предложение сторонников адресного подхода. Оно состоит в том,чтобы весь объем социальной помощи, выделяемой сегодня различнымкатегориям граждан вне зависимости от уровня их дохода, перераспределитьтаким образом, чтобы помощь получали лишь те семьи, чьи доходы нижепрожиточного уровня. Объем помощи, таким образом, должен быть равенразнице между прожиточным минимумом малоимущих домохозяйств и ихфактическимдоходом.Такимобразом,«крайнийадресный»проектпредполагает полную ликвидацию абсолютной бедности.Для оценки вышеназванных альтернатив экспертным методом былоотобрано 3 ключевых критерия, по которым проводилось сравнение:неравенство доходов населения, бедность и расходы бюджета на выплату15социальных трансфертов. Экспертами были также определены ключевыепоказатели для каждого критерия (Таблица 2).Таблица 2.
Критерии и показатели оценки системы социальных трансфертовКритерий оценки ССТВлияние на неравенствоВлияние на бедностьЗатратностьПоказателиКоэффициент ДжиниУровень бедностиОбщая сумма расходовКоэффициент Джини был выбран в качестве показателя степенинеравенстванеслучайно:онявляетсянаиболеечастоиспользуемымстандартным показателем неравенства, поэтому его применение позволяетпроводить сопоставления с результатами других исследований.Уровень бедности был выбран по тем же причинам.
Следует отметить, чтов России федеральным законодательством к бедным относятся семьи иодинокие лица, душевые доходы которых не достигают прожиточногоминимума в субъекте федерации. При этом, используется абсолютный подход коценке бедности, т.е. минимум рассчитывается исходя из определенияминимального количества товаров и услуг, предполагающих удовлетворениесамых насущных потребностей человека.Затратность ССТ было решено оценивать в терминах общей суммырасходов, поскольку важно было определить, какая система окажется болеедорогостоящей.При оценке действующей ССТ в исследовании был использован квазиэкспериментальный метод с зеркальной контрольной группой. Т.е.