К особенностям региональных рейтинговых наборов положительного свойства следует отнести привязку к экономическим (ценовым) и географическим факторам, а отрицательного – оперирование исключительно динамическими показателями. Так, наборы учреждений высшего образования состоят практически полностью не из самих натуральных или стоимостных показателей, а индексов, характеризующих их изменение за год. Очевидно, что такой набор может отразить не ситуацию на момент оценки, а интенсивность определенной тенденции. В то же время, безусловно, индексы ключевых индикаторов могут выгодно дополнить общий набор, фиксируя динамику ситуации и давая материал для прогноза ее развития.

Сфокусированность на вопросах выравнивания качества образования Российских ВУЗов – прежде всего через подтягивание депрессивных и отсталых учреждений до приемлемого уровня – требует формирования принципиально новой системы регионального мониторинга. Положения о государственной системе мониторинга социально-экономической, национально-этнической ситуации в ВУЗах Российской Федерации вошли в законопроект о региональной политике. Не рассматривая вопросы содержания и организации мониторинга, проработанные достаточно детально, отметим важную, если не ключевую, роль в нем количественных оценок ситуации. Роль эта определяется тем, что их результаты служат основанием для выбора объектов поддержки. В частности, круг учреждений обеспечивающих население высшим профессиональным образованием при помощи средств Фонда регионального развития, определяется на базе рейтинговой оценки, методика которой разработана в МО РФ.

1.3 Методы и приемы рейтинговых оценок

Теоретические и методологические корни оценки лежат в науке аксиологии (теории ценностей). Оставляя за рамками данной работы методологический анализ оценочного подхода остановимся на методической схеме рейтинговой оценки.

Она базируется на содержании процесса оценивания, и ее основными элементами в частном случае являются:

-субъект оценивания;

-объект (точнее объекты) оценивания – административно-территориальные единицы (совокупность ВУЗов муниципального образования и др.);

-процедуры оценивания – действия, которые необходимо произвести;

-ранжированный и сгруппированный для целей селективной поддержки (перечень ВУЗов).

Содержание оценивания составляет сопоставление оцениваемого объекта с его идеализированным образом (образцом, эталоном, стандартом, нормой). И в этом определении заключены суть и структура оценки. Суть раскрывается через такие неотъемлемые признаки, как

1) субъект со своей задачей;

2) объект с конкретными свойствами-характеристиками;

3) предмет оценивания – связь между субъектом и объектом;

4) «базисный» объект с идеальными свойствами-характеристиками;

5) главное действие – сравнение. Структура – через последовательные действия, отражающие логику процесса оценивания.

Признаки и структура оценки взаимосвязаны, что становится очевидным при характеристике следующих оценочных процедур.

Субъект, решая определенную задачу, задает ценностную ориентацию, критерий оценки. В данном случае оценивается социально-экономическая ситуация или, иначе говоря, диагностируется состояние ВУЗов. Могут быть и другие задачи, например, «инвестиционная привлекательность», «дискомфортность северных условий». Определение критерия ориентирует на сфокусированный отбор оцениваемых позиций и характеризующих их показателей.

Характеристика состояния ВУЗа с помощью индикаторов (нормированных показателей) – индикация или индикативный анализ. Ее квалифицированное выполнение требует тщательной разработки набора индикаторов.

Оптимальный перечень индикаторов должен быть:

-ограниченным по количеству показателей;

-релевантным – ориентированным на отражение определенных, точно соответствующих задаче, позиций социально-экономического состояния ВУЗов;

-репрезентативным – способным отражать их полно и адекватно как в пространстве (с учетом объективных географических условий ВУЗов, так и во времени (т.е. фиксировать не только моментный срез с использованием статических индикаторов, но и динамику ситуации с помощью индексов);

-методически корректным – со значениями индикаторов, упорядоченными по одному вектору (например, «чем больше – тем лучше», но с учетом смысла индикаторов по качеству образования, стимулированию успеваемости и т.п.) или с алгоритмами, способными учесть подобную смысловую аномалию;

-структурно выдержанным – без сильных диспропорций в количестве и качестве индикаторов по выбранным позициям, что может быть достигнуто с помощью агрегирования (формирования сводных индикаторов, например по образовательной инфраструктуре).

Стандартизация индикаторов характеризует близость оцениваемых ВУЗов к образцу («стандарту», «идеалу»). При этом существенны два момента. Первый – содержательный, фиксирующий образец: средний уровень (российский или по федеральному округу), максимальный уровень (российский или окружной), мировой, пороговый (критичный по каким-либо основаниям). Второй – технический, указывающий на способ определения «расстояние» до базового, образцового значения (разница между индикаторами, их отношение и др.) При этом образец может быть, как внутри оцениваемой группы, так и вне нее.

Сопоставление ВУЗов не с образцом, а друг с другом, но с учетом близости к образцу, обеспечивается ранжированием (распределением по местам или рейтингам). Более логично для этого использовать спортивный принцип «подиума»: меньше номер места – выше рейтинг. Движение по ряду от «лучшего» ВУЗа к «худшему» происходит в зависимости от смысла индикаторов с убыванием или возрастанием их значений

Ранжирование может быть прямым, когда места определяются непосредственно по величине индикаторов, и косвенным, когда они расставляются по отклонениям от выбранного стандарта – баллам и другим относительным показателям. Ранжирование может проводиться до стандартизации и без стандартизации, что, в обоих случаях, на наш взгляд, снижает достоверность результатов.

Наиболее распространенным является сплошное ранжирование, когда места «присуждаются» подряд – от первого до последнего места.

Обратим внимание на неточность и противоречивость этого способа. Дело в том, что при отклонении рейтингов отдельных индикаторов от «образцовых» (а оно есть всегда), сводный рейтинг ВУЗа тоже будет отклоняться от первого места, которое, таким образом, может оказаться не занятым. Аналогично, кстати, и с последним местом (ведь не по всем показателям ВУЗ занимает последние места, что «поднимает» его сводный рейтинг с низшей ступеньки). Кроме того, практически мала вероятность равномерного уменьшения величины индикаторов, соответствующего порядку сплошного ранжирования: 1, 2, 3, 4 и так далее без пропусков мест.

Более точным является интервальное ранжирование, предполагающее определение интервала (La) изменения конкретного индикатора (A) в группе, включающей n образовательных единиц (совокупности ВУЗов):

La = (Amax – Amin) / (n – 1).

Интервалы играют роль равномерных (но разновысоких в разных рядах индикаторов) ступенек, которым соответствуют определенные рейтинги – места в ряду образовательных единиц (подходит и образ нотного стана с определенными линейками для определенных нот). При реальном распределении значений индикаторов в ряду может не оказаться значений, соответствующих, например, второму месту, и, напротив, быть несколько значений, соответствующих третьему месту. Продолжая музыкальную аналогию, можно сказать, что нота соль всегда «сидит» на второй линейке, но она есть не во всякой мелодии.

Определение рейтинга при интервальном ранжировании тождественно стандартизации к экстремальному значению индикатора в заданном ряду. Она проводится к максимальному значению, если величина индикатора в соответствии с его содержанием отвечает установке «чем больше, тем лучше», или к минимальному. В таком случае меняются местами и экстремумы при расчете интервала.

Как показывает достаточно продолжительный опыт использования, данная методика позволяет достаточно точно определить рейтинг (R) i-того ВУЗа по любому индикатору по формуле: Ria = 1 + (A max – A i ) / L, с округлением до целого числа. Или в другой записи:

Ri a = 1 + (n – 1)*(A max – A i ) / (Amax – Amin)

Стандартизация отдельных индикаторов, «обезличивающая» натуральные и стоимостные индикаторы, создает условия их интегрирования в сводный (или общий) рейтинг i-того ВУЗа:

Ri total = (Ri a + Ri b +…+ Ri z) / m,

где m – число индикаторов.

Сводный рейтинг может быть не только среднеарифметическим, но и средневзвешенным. Второй способ требует определения весовых коэффициентов отдельных индикаторов, что, как правило, субъективно, а потому практически не используется.

Интерпретация результатов предполагает группировку рейтинговых значений по критериальному признаку. Ее картографическое отображение дает дополнительный материал для диагностики.

Анализ содержания рейтинговой оценки, то есть ее признаков и основных процедур, позволяет сформулировать мотивированные требования к методике ее проведения. Иными

словами, достоверная по результатам рейтинговая оценка должна быть:

-целевой – проводиться для решения конкретной задачи;

-комплексной – использовать целый ряд показателей, отвечающих определенным требованиям;

-стандартизированной – обеспечивать сопоставление с определенным базовым уровнем;

-прямой – ранжировать индикаторы, а не их отклонения;

-интервальной – отражать фактическое изменение индикаторов с учетом его «шага» и соответствующего этому «шагу» значения индикатора;

-интегральной – объединять частные рейтинги индикаторов в сводный (средний) рейтинг ВУЗа;

- наглядной и понятной – представлять результаты в показателях, облегчающих интерпретацию и практическое использование.

Опираясь на указанные требования, можно составить обоснованное мнение об оценочном потенциале конкретных методик.

2. Анализ рейтинговых оценок Тюменского Государственного университета

2.1 Информированность преподавателей о внедрении рейтинговой оценки ВУЗов

Изучение проблем, связанных с внедрением в ТюмГУ системы рейтинговой оценки преподавателей целесообразно начать с изучения информированности преподавателей о разных ее аспектах. Вообще, по мнению специалистов в области управления персоналом, внедрению подобной оценки должна была предшествовать большая, системная, хорошо продуманная работа по информированию работников о целях внедрения подобной системы, разъяснение самой методики оценки и способов использования ее результатов.

В данном исследовании мы попытались выяснить, в какой мере преподаватели ТюмГУ владеют информацией о сути внедряемой в ТюмГУ рейтинговой системы оценки преподавателей. Результаты показали, что практически все преподаватели знают, что в ТюмГУ внедрена рейтинговая система оценки преподавателей (см. табл. 1). Из двенадцати человек, которые не знают о внедрении рейтинга, половина – представители математического факультета.

Таблица 1 - Распределение ответов на вопрос: «Известно ли Вам, что с 1 января 2005 года в ТюмГУ внедрена рейтинговая оценка деятельности преподавателей?»

Только половина преподавателей точно назвали структурное подразделение, которое занимается внедрением данной системы (см. табл. 2). Неинформированных людей больше среди неостепененных преподавателей. Результаты, приведенные в таблице 2, свидетельствуют о том, что у значительной части преподавателей нет четкого представления о том, где аккумулируются и накапливаются сведения о результатах их работы.

Таблица 2 - Распределение ответов на вопрос: «Какое структурное подразделение ТюмГУ, по Вашему мнению, занимается сбором информации о работе преподавателей, ее обработкой, анализом в целом по университету и определением рейтинга преподавателей?»

Результаты исследования показали, что около 80% преподавателей в той или иной мере знакомились с «Положением о рейтинговой оценке преподавателей» (см. табл. 3). Однако каждый пятый отвечавший, заполняя свой рейтинг, не были осведомлены об основных положениях данной системы. Доля таких преподавателей больше на юридическом, математическом факультетах. Лучше информированы преподаватели на биологическом и социально-психологическом факультетах. Больше преподавателей, знакомых с «Положением» среди доцентов, профессоров.

Таблица 3 - Распределение ответов на вопрос: «Знакомы ли Вы с «Положением о рейтинговой оценке деятельности преподавателей в ТюмГУ»?

Результаты исследования лишь подтвердили гипотезу о том, что те преподаватели, которые хорошо знакомы с «Положением о рейтинговой оценке…», хорошо знают и основные, наиболее весомые показатели. Однако среди тех, кто не знаком с «Положением…» примерно половина сказали, что знают основные показатели. То есть преподаватели познают показатели в ходе заполнения рейтинга. Но как происходят сами расчеты, вряд ли они могут знать. Десять процентов опрошенных сказали, что они вообще не знакомы с показателями, формирующими рейтинг. При таком положении трудно представить, как преподаватели могут планировать свою деятельность для повышения своего индивидуального рейтинга. В целом по университету около 70% опрошенных преподавателей сказали, что в какой-то степени знакомы с основными, наиболее весомыми показателями (см. табл.4). Доля преподавателей, твердо сказавших, что знают основы составления рейтинга и основные показатели, выше среди профессоров. Этот факт довольно легко объясним, так как большинство руководителей структурных подразделений трудятся в должности профессоров.

Таблица 4 - Распределение ответов на вопрос: «Известны ли Вам основные, наиболее весомые показатели, по которым определяется рейтинг преподавателя?»

Значительно хуже преподаватели знают понятия абсолютного, текущего и относительного рейтингов деятельности преподавателей, лежащих в основе определения общего рейтинга. Практически, половина опрошенных не имеют представления об этих понятиях (см. табл. 5). Анализ показал, что среди тех, кто знаком с «Положением», половина эти понятия не знают. Среди тех, кому определенно известны данные понятия, в основном, профессоры, то есть доктора наук.