5418-1 (Модели и методы адаптивного контроля знаний)

Модели и методы адаптивного контроля знаний

Л.В. Зайцева, Н.О.Прокофьева

Рижский технический университет, Рига, Латвия

Введение

Начиная с истоков применения компьютеров в учебном процессе, особое внимание уделялось контролю знаний. Технические средства обучения, а затем и компьютеры в первую очередь использовались именно для проверки знаний учащихся. И до настоящего времени, несмотря на бурное развитие обучающих систем и других форм компьютерного обучения, контролирующие (тестирующие) программы составляют половину [Zaiceva, 2000] имеющихся в сети Интернет программ учебного назначения (универсальные и специализированные обучающие системы, электронные энциклопедии, обучающие игры и т.д.) и являются наиболее разработанными [Brusilovsky, 1999]. Проблемы компьютерного контроля знаний (КЗ) обычно рассматриваются в двух аспектах: методическом и техническом [Зайцева, 2000]. К методическим аспектам относятся: планирование и организация проведения контроля; определение типов вопросов и отбор заданий для проверки знаний студентов; формирование набора вопросов и заданий для опроса; определение критериев оценки выполнения каждого задания и контрольной работы в целом и др. К техническим аспектам относятся: автоматическое формирование набора контрольных заданий на основе выбранного подхода; выбор и использование в системе контроля параметров КЗ; выбор алгоритмов для оценки знаний учащихся и др. [Зайцева, 2002]. Поэтому вопросы компьютерного КЗ интересуют многих ученых, как педагогов, так и специалистов в области информационных технологий. За последние тридцать лет были изучены различные виды контроля [Беспалько, 1977; Беспалько, 1989; Лернер, 1996]; определены более десяти типов вопросов, их компоненты и метаданные, используемые, как правило, при формировании набора контрольных заданий [Зайцева, 1989; Зайцева, 2002; Brusilovsky, 1999]; разработаны математические методы оценки знаний учащихся [Свиридов, 1981; Зайцева, 1989а; Зайцева, 1991; Попов, 2000; Моисеев, 2001] и различные методы проведения контроля.

Таким образом, необходимо отметить, что существует ряд интересных разработок, посвященных различным аспектам контроля знаний и основанных на современных достижениях науки и компьютерной техники. В то же время, формирование набора заданий для КЗ осуществляется, обычно, случайным образом [Зайцева, 1989; Carbone, 1997; WBT, 1999; WebCT, 1999]; иногда учитывая параметры заданий [Byrnes, 1995; Rios, 1998; Соловов, 2002]; и лишь в отдельных случаях используется адаптивная выдача контрольных заданий на базе модели студента [Eliot, 1997; Lee, 1997; Rios, 1999].

В настоящей статье делается попытка систематизировать и классифицировать применяемые методы проведения контроля и модели оценивания знаний студентов на основе модели адаптивного КЗ.

Модель адаптивного контроля знаний

Профессором Л.А. Растригиным [Растригин, 1979; Растригин, 1986] было предложено рассматривать процесс обучения как процесс управления сложной системой. Аналогично можно представить и процесс управления адаптивным контролем знаний (рис. 1).

Рис. 1. Модель адаптивного контроля знаний.

Блок “Алгоритм контроля” выполняет следующие функции:

анализ деятельности студента (проверка правильности его ответов и выполняемых действий);

управление процессом контроля знаний на основе выбранного метода;

определение результатов контроля, которое обычно сводится к выставлению оценки студенту.

База знаний (БЗ) содержит методы и/или модели процесса контроля, а также совокупность знаний предметной области. База данных (БД) включает наборы вопросов и задач, предназначенных для проверки знаний студента и/или данные для формирования заданий. Контрольные задания могут также генерироваться автоматически на основе БЗ. База данных и база знаний совместно с моделью студента образуют репозиторий системы контроля.

Модель студента включает разнообразную информацию о студенте: предыстория обучения; результаты текущей работы (тип выполненных заданий, время выполнения заданий, число обращений за помощью и т.д.); личностные психологические характеристики (тип и направленность личности, репрезентативная система, способность к обучению, уровень беспокойства-тревоги, особенности памяти и др.); общий уровень подготовленности и другие [Зайцева, 2003].

Формировщик вопросов и задач используется для формирования и выдачи студенту очередного задания (вопроса или задачи). Контроль знаний осуществляется следующим образом: студент выполняет предложенное задание, и результат его работы помещается в модель студента. Блок "Алгоритм контроля" на основе анализа ответа студента, целей контроля Z и используемого метода проведения контроля, учитывая внешние ресурсы R₁ (например, возможности системы контроля) и внутренние ресурсы студента R₂ (например, время контроля), а также состояние среды D_x, определяет параметры задания, которое должно быть предложено студенту. Формировщик вопросов и задач, получив от “Алгоритма контроля” данные о параметрах следующего задания, выбирает из БД и/или БЗ необходимую информацию I, формирует текст задания и выдает его студенту. В простейшем случае работа этого блока сводится к выбору нужного вопроса или задачи из базы данных. При некоторых видах контроля (например, при текущем КЗ или самопроверке) может быть предусмотрена обратная связь К, которая состоит в выдаче комментария на ответ студента.

Таким образом, для управления адаптивным контролем знаний необходимо наличие:

методов и моделей организации (проведения) контроля;

моделей определения и оценки знаний, умений и навыков студента по результатам выполнения контрольных заданий.

Методы и модели проведения контроля

Процесс контроля знаний состоит из трех этапов: формирование вопросов для КЗ на основе контрольных заданий, хранящихся в БД; выдача их студенту и получение его ответа, возможно, с обратной связью; выставление оценки за контроль. Первые два этапа относятся к организации процесса компьютерного контроля и при адаптивном КЗ обычно объединяются.

Методы организации контроля знаний можно разделить на три класса (рис. 2):

неадаптивные методы;

частично адаптивные методы;

полностью адаптивные методы.

К неадаптивным методам контроля относятся:

Строгая последовательность. Набор заданий для контроля заранее подготавливается преподавателем или разработчиком контрольной работы и помещается в БД системы. Как правило, это одинаковая последовательность вопросов для всех студентов. Недостатки данного метода очевидны: отсутствие разнообразия (одно из требований педагогики), понижение самостоятельности выполнения заданий и др. Этот метод считается наихудшим, поэтому и применяется крайне редко. Метод можно несколько улучшить, например, подготовив несколько вариантов контрольной работы и/или выдавая задания студентам в произвольной последовательности.

Случайная выборка. Набор заданий формируется непосредственно перед контролем на основе заданий, хранящихся в БД, т.е. вариант контрольной работы – это n случайно выбранных заданий. Значение n может быть заранее задано преподавателем (разработчиком контрольной работы) или выбрано студентом (например, при самороверке). Преимущество данного метода состоит в том, что каждому студенту предлагается индивидуальная последовательность вопросов. Метод широко использовался для КЗ в ранних обучающих системах [Алексеенко, 1978; Зайцева, 1982], применяется и в современных системах [Carbone, 1997; WBT, 1999; WebCT, 1999; Сельманова, 2001]. Основной недостаток метода – вариант контрольной работы генерируется без учета трудности заданий. Таким образом, набор заданий для одного студента может включать лишь самые трудные вопросы, а для другого – только легкие. Это часто приводит к искажению результатов контроля. Существуют различные модификации данного метода, позволяющие учитывать метаданные вопросов. Например, а) могут быть заданы тема и общее время контроля, время ответа на каждый вопрос, число попыток дать ответ и т.п.; б) дополнительно к (а) устанавливается число вопросов разной степени трудности и/или из разных тем в каждом варианте контрольной работы [Byrnes, 1995; Rios, 1998].

Комбинированный метод, в основе которого – “Случайная выборка”, дополненная “Строгой последовательностью”. В этом случае преподаватель (разработчик контрольной работы) задает один или несколько вопросов, которые непременно должны быть включены в каждый вариант контрольной работы. Остальные задания генерируются случайным образом, как во втором методе.

Рис. 2. Методы организации контроля знаний.

Общим для всех неадаптивных методов является то, что вариант контрольной работы для каждого студента формируется до контроля (заранее или непосредственно перед КЗ), т.е. на первом этапе КЗ, что, с одной стороны, повышает скорость контроля (не требуется поиск задания в БД и его загрузка), с другой – позволяет выдавать задания двумя способами: по одному или списком. В последнем случае студент сам может выбрать последовательность выполнения заданий.

Частично адаптивные методы контроля предполагают использование информации из модели студента (МС) или учебного материала (УМ) при формировании набора контрольных вопросов. К этому классу моделей относятся:

Случайная выборка с учетом отдельных параметров модели студента. Метод является развитием неадаптивных методов КЗ. Он аналогичен “Случайной выборке” и/или “Комбинированному методу”, т.е. набор заданий также формируется непосредственно перед контролем, но при генерации используются такие параметры МС, как общий уровень подготовленности, способность к обучению и, возможно, другие [Зайцева, 1989; Зайцева, 2003; Zaitseva, 2003]. Таким образом, каждому студенту генерируется набор заданий, соответствующий его уровню подготовленности и способностям, что является главным преимуществом данного метода. Другое достоинство метода: студент, выполняя задания, соответствующие его способностям, не испытывает лишней психологической нагрузки во время контроля. В качестве недостатка данного метода можно отметить следующее: студенты получают задания различной трудности (это, безусловно, должно быть учтено при выставлении оценки), т.е. один выполняет только простые задания, а другой – трудные. Поэтому, генерируя вопросы студенту, соответствующие его способностям, целесообразно включить в набор и один - два задания повышенной трудности и значимости.

Контроль на основе ответов студента. В этом методе контроль осуществляется по заранее составленному сценарию или, другими словами, по разветвленной контролирующей программе. Пример такого сценария приведен на рис. 3, где вершины графа В_i соответствуют вопросам, предлагаемым студенту, а дуги указывают следующий выдаваемый вопрос в зависимости от правильности ответа: Пр – правильный ответ, Нт – неточный, Нп – неправильный ответ. Предварительная подготовка сценария КЗ дает возможность включить в программу вопросы разной степени трудности и значимости, расположив наиболее значимые и трудные задания в основной ветви программы (на рис. 3 это вопросы В₁ и В₆), а более простые – в разветвлениях. Таким образом, студенты получают разное число вопросов, а, следовательно, и время, затрачиваемое ими на контроль, различно, что является достоинством данного метода. Другое преимущество метода – простота обеспечения обратной связи (выдачи соответствующего комментария). Такой подход, как один из методов проведения КЗ, был использован в АОС “КОНТАКТ” [Зайцева, 1982], в настоящее время встречается значительно реже, т.к. имеет существенный недостаток: всем студентам предлагаются одни и те же задания, однажды включенные в контролирующую программу. Устранить этот недостаток довольно просто – достаточно отделить сценарий КЗ от набора контрольных заданий. Для этого необходимо подготовить комплект однотипных вопросов для каждого В_i, включенного в сценарий контроля, т.е. В_i = {в_i1, в_i2, …, в_iк}, а в процессе контроля случайным образом генерировать студенту вопрос из комплекта В_i.

Ответы студента, как параметр проведения КЗ, используются и в другом методе, который основан на байесовском подходе к принятию решений в условиях неопределенности. Метод предусматривает вычисление вероятностей для оценки знаний студента. Если рассчитанные вероятности не позволяют однозначно оценить проверяемые знания, то студенту предлагается еще один вопрос. В противном случае контроль продолжается, причем минимальное число вопросов n задается заранее. Данный метод был использован в АОС ВУЗ [Волков, 1984], применяется и в современных системах [Galeev, 2002].