Автоматизированная система оценки уровня сформированности компетенций у студентов на протяжении всего обучения, страница 3

Потому что по итогу изучения ряда дисциплин учащийся либо получает знания по новым компетенциям, либонакапливает уже полученные в цикле других дисциплин, т.о. уровень старыхобновляется с накоплением знаний и тем самым почти каждый учебный семестр учащийся расширяет набор полученных компетенций и увеличивает11знания по уже полученным.Модуль оценки ОК (накопительный). Проводит расчет у каждого учащегося по каждой компетенции в течение всего обучения по заданным формулам.Значения являются накопительными, поскольку компетенция формируется поизучению ряда дисциплин и модулей дисциплин.База данных АСОУС.

Используется для хранения необходимой информации для работы с АСОУС об учащихся и их баллах. Для того чтобы модульоценки компетенций мог брать баллы из системы необходимо, чтобы дисциплина была разбита на модули, и баллы выставлялись по каждому модулю каждой дисциплины.Модуль взаимодействия с АСУВ. Экспортирует данные из АСУВ, такиекак контингент учащихся, личные дела и т.д. и всю информацию об учащихся,кафедрах и преподавателях и другую необходимую информацию для работыАСОУС.Модуль взаимодействия с БРС. Модуль экспортирует данные из БРС иопределяет, какие модули, какую компетенцию формируют (эти данные заранеепрописаны в учебных планах и соответственно в системе, должны быть указаны какие модули дисциплин, какие компетенции формируют).Модуль перевода количественных значений в качественные переводититоговые значения по уровню сформированности компетенции учащегося в качественные характеристики (рекомендации по поступлению в магистратуру,перечень профессиональных должностей на которые может претендовать учащийся).Модуль вывода графической информации и статистики обеспечиваетсоздание запрашиваемых пользователем отчетов, статистики и предоставлениеих в графическом виде.

Так же в этом модуле производится расчет аддитивныхи мультипликативных показателей по компетенциям в различных разрезах:учащийся, группа студентов, специальность, факультет.Модуль взаимодействия с пользователем обеспечивает работу с системой через графический интерфейс.Далее описана поэтапная методика получения итоговой оценки по уровнюсформированности компетенций учащихся.Этап 1. Формирование оценки по компетенции с учетом одной дисциплины и всех её модулей, участвующих в формировании этой компетенции. Каждая дисциплина состоит из определенных модулей и в зависимости от компетенции, в формировании которой участвует дисциплина, модули могут быть неравнозначны. Для этого необходимо с помощью экспертного оценивания определить весовые коэффициенты каждого модуля по каждой дисциплине, участвующего в формировании определенных компетенций.

Алгоритм представленна рис. 4.Таким образом, первоначально итоговая оценка по уровню сформированности компетенции с учетом всех модулей одной дисциплины, участвующих вее формировании вычисляется по формуле:nК d   k j0 К м , гдеjj 1(4)12К d - значение по уровню сформированности компетенции с учетом однойдисциплины, её формирующей;k j - коэффициент важности j – ого модуля дисциплины;К м j - оценка за j – ый модуль дисциплины;0n- количество модулей одной дисциплины, участвующих в формированиикомпетенции.НачалоВвод числаэкспертов (m)нетнетСчитать экспертовравнозначными?Расчет весовых коэффициентов сучетом?даВвод коэффициентовкомпетентностиэкспертовРасчет коэффициентовавторитетакомпетентностиВвод «Матрицысоответствий»Расчет коэффициентов важностис учетом мнения всех экспертовдаРасчет коэффициентов важностис учетом мнения всех экспертовОценка согласованность мнений экспертов,вычисление коэффициента конкордации WОценка значимости коэффициентов конкордации спомощью критерия Пирсона, вычислениеФормирование таблиц«Матрица компетенций» дляпроведение опроса экспертовданет?Выбор методики расчетакоэффициента важностиВывод таблицыкоэффициентов важностиЗаполнение таблицэкспертами или рассылкаэтих таблиц экспертам, длязаполнениеКонецГипотеза отвергаетсяПри необходимости экспорттаблиц, полученных отэкспертовРис.

4 Алгоритм получения и расчета коэффициентов важности модулей дляформирования соответствующих компетенцийЭтап 2. Cледующим важным этапом при оценивании является определение степени принадлежности определенной дисциплины к уровню формирования компетенции. В учебном плане прописано количество каждого вида дисциплин, и какие компетенции они формируют. Предложено представить однукомпетенцию как нечеткое множество, состоящее из набора дисциплин с определенными значениями коэффициентов принадлежности, которые определяетсяэкспертами (см. табл.

1)Таблица 1Нечеткое множество одной компетенцииК(Di)D1D2D3D4…Dn-1Dn…24ni13n 113К(Di) – компетенция, в формировании которой участвует n – дисциплин (i =1…n);Di - дисциплины, формирующие компетенцию;i - коэффициент принадлежности, который будет рассчитываться на основеинформации, собранной с экспертов.Коэффициент принадлежности присваивается экспертами и лежит в пределах [0,1].Описываются этапы:1.

В таблицах эксперты выставляют коэффициенты принадлежности каждойдисциплине к каждой компетенции ig в соответствии с учебным планом.2. После получения данных от экспертов системой производится расчеткоэффициентов принадлежности дисциплин, с учетом мнения всех экспертов икоэффициентов их авторитетаk ag , по следующей формуле:mi   i  ka , гдеg 1g(5)gm – количество экспертов, принимавших участие в экспертном оценивании.3.

Далее рассчитывается согласованность мнения экспертов по каждомупоказателю i для каждой дисциплины. Используется формула определяющаясогласованность мнения экспертов по одному показателю:vm mm    ig 2     ig g 1 g 1 m   m  1i2, где(6)gi - коэффициент принадлежности, присвоенный g- им экспертом;gi - среднеарифметическое значение коэффициентов принадлежности, приgсвоенных m – экспертами.Если значения коэффициента меньше 0,2, то мнения экспертов считаютсясогласованными. Если же данное значение превышает порог, то гипотеза отвергается и принимается решение о повторной экспертизе.5.

Чтобы получить итоговое значение, сумма всех коэффициентов важности(влияния) для одной компетенции должна принимать значение равное 1:nki 0i 1 , где(7)ki – коэффициент важности (весовой коэффициент);n - количество всех дисциплин, формирующих компетенцию.Таким образом, весовой коэффициент для конкретной дисциплины равен:ki  n i(8) ii 1На рис. 5 представлен алгоритм расчета весового коэффициента дисциплин.14НачалоВвод числаэкспертов (m)Ввод коэффициентовкомпетентностиэкспертовЭкспорт таблиц, полученных от m экспертов, снеобходимыми значениямиРасчет коэффициентов принадлежности сучетом мнения всех экспертовРасчет коэффициентов согласованностимнения экспертов v по каждомуРасчет коэффициентовавторитетакомпетентностинетда?Ввод «Матрицыкомпетенций»Формирование таблиц«Матрица компетенций» дляпроведение опроса экспертовГипотеза отвергаетсяРасчет весовых коэффициентов с учетомкоэффициента принадлежностиВыбор методики расчетакоэффициента важностинетЗаполнение таблицэкспертами или рассылкаэтих таблиц экспертам, длязаполнениеТребуетсякорректировказначенийкоэффициентов?Вывод значений весовыхкоэффициентов компетенций в«Матрице компетенций»даНахождение ошибкинесоответствияКонецРис.

5 Алгоритм получения коэффициента принадлежности и с учетом негорасчет коэффициента важности дисциплинЭтап 3. Окончательно выставление оценки за семестр по уровню сформированности компетенции получается путем умножения баллов по дисциплине навесовой коэффициент дисциплины.Вычисление относительного показателя по уровню сформированностикомпетенции c учетом одной дисциплины К n производится по формуле:К n  К d  ki(9)Соответственно, вычисление относительного значения по уровню сформированности компетенции за семестр (год) производится по формуле:nК с   К i , где(10)i 1n-количество дисциплин, участвующих в формировании компетенции за определенный период обучения.

И таким же образом рассчитываются итоговыеабсолютные значения, когда все дисциплины уже изучены.Этап 4. После того как рассчитано итоговое значение по уровню сформированности компетенций с учетом всех дисциплин, необходимо рассчитать погрешность измерения. Целесообразно вычислять погрешности только для техкомпетенций, у которых соблюдаются следующие условия:- количество дисциплин (значений), формирующих одну компетенцию больше трех;- итоговое значение по компетенции попадает в интервал -1 или -2 к краюследующего интервала оценивания по 100-бальной шкале.15Таким образом, получаем, что значения внутри одной компетенции принадлежат разным интервалам оценивания (хотя бы двум из них) и погрешностьдля не сгруппированных данных вычисляется по следующей формуле:Sl1l m 1ni 1 x ( m)  x ( m) iin 12,где(11)l – количество интервалов, которым принадлежат оценки, из которых формируется итоговая оценка по уровню сформированности компетенций;m – конкретный интервал значений (неудовлетворительно, удовлетворительно, хорошо, отлично);n – количество оценок, попавших в конкретный интервал m;xi (m) - конкретная оценка, принадлежащая интервалу m;xi (m) - среднеарифметическое оценок из интервала m.Если значение погрешности больше или равно критическому значению, т.е.S  S кр (если значения лежит в пределах -1 от следующего интервала, то критическое значение больше или равно 1, если значения лежит в пределах -2 отследующего интервала, то критическое значение больше или равно 2), то тогдаприбавляется значение погрешности, и итоговый балл попадает в следующийноминальный интервал (при необходимости можно отказаться от прибавления).Этап 5.

Заключительным этапом является перевод количественного значения в качественные характеристики. Алгоритм выведения итоговой оценкипредставлен на рис. 6.После того, как система рассчитывает количественное значение уровнясформированности компетенций, необходимо перевести эти значения в качественные показатели, характеризующие уровень подготовки по данной профессиональной компетенции.Качественные характеристики в зависимости от количественных значений,также определяются и описываются экспертами. Все соответствующие нормытакже определяются экспертами.Данная система позволяет помимо итоговых значений, также определятьдругие необходимые коэффициенты на протяжении всего обучения. Посколькупроцесс получения итоговых значений растягивается на весь период обучения,учащийся может наблюдать за приростом значений по уровням сформированности компетенций, видеть максимальный балл, который он может получить вконце обучения, с учетом уже полученных оценок.

Это позволит стимулировать студента и выделить ему приоритетные профессиональные компетенции.Четвертая глава посвящена вопросам практического применения разработанной автоматизированной системы.Для апробации работы автоматизированной системы и методики оценкиуровня сформированности компетенций использовались данные по направлению подготовки «Информационные системы и технологии», такие как: матрицакомпетенций, в которой прописано какие дисциплины какие компетенции формируют, также описание самих компетенций и рабочих программ по всем дисциплинам и другим видам учебной деятельности, участвующих в формирова-16нии компетенции, а также данные об успеваемости учащихся по баллам.