Тема 4. Семантические модели в тестировании знаний (Лекции и семинары (8 занятий))

Тема 4. Семантические модели в тестировании знанийРассмотрим вариант фреймовой семантической модели для тестирования знаний.Темой (учебной дисциплины) называется обособленная совокупность знаний,объединенных по смыслу. Темы могут быть произвольной общности (предмет, раздел,глава, параграф и т.п.).Знания по теме – это знания, принадлежащие теме.

Владеть темой или знатьтему – это значит владеть знаниями по теме.Задачей (по теме) называется поручение студенту из исходных знаний по темеполучить другие знания по теме, называемые ответом задачи.Решением задачи будем называть процесс получения студентом ответа задачи.В качестве задач будем рассматривать как теоретические вопросы, так ипрактические задачи данной учебной дисциплины.Постановка (описание) задачи может содержать условия задачи, указания кспособу решения, подсказки и другую разнородную информацию.Кодом ответа будем называть закодированное сообщение, передающее ответ, аформой ответа – способ кодирования этого сообщения.Предикатным заданием по теме будем называть задачу, для которой известенметод решения, позволяющий получить однозначный ответ для каждой из заданных формответа. Такой ответ будем называть правильным ответом.Под выполнением задания будем подразумевать решение поставленной задачи суказанием правильного ответа.Элементарной компетенцией (студента) для заданного класса предикатныхзаданий будем называть его способность применять знания по теме для решения заданийиз этого класса.Предикатной частью учебной дисциплины будем называть совокупность тем поданной учебной дисциплине, предикатных заданий по данным темам и элементарныхкомпетенций студента для классов данных предикатных заданий.Будем говорить, что тема включает подтему или компетенцию, если все знания,принадлежащие подтеме или компетенции, принадлежат этой теме, которая называетсяродительской темой по отношению к подтеме или компетенции.Предполагается,чтотемымогутнаходитьсянапроизвольнойглубиневложенности, у каждой компетенции или темы может быть не более одной родительскойтемы, каждая тема может включать любое количество тем и компетенций.Будем говорить, что задание проверяет компетенцию, если для выполнениязадания необходимо обладание этой компетенцией.Предполагается, что каждое задание проверяет единственную компетенцию, акаждая компетенция может проверяться произвольным количеством заданий.Структурным элементом задания будем называть обособленный набор текстови/или директив, объединенных по смыслу и входящих в сообщение, посредством которогопередается задание.

Под директивой здесь подразумевается указание на проведениеопределенного действия.Можно выделить следующие типы структурных элементов заданий: заголовок,произвольный текст, помощь, примечание, единственный выбор, множественный выбор,ввод значения, слоты, палитра.Будем рассматривать следующие формы ответа: 1) выбор одного значения из nпредложенных вариантов (единственный выбор); 2) выбор произвольного количествазначений из n предложенных вариантов (множественный выбор); 3) ввод значения (вводответа); 4) подстановка в каждый из k слотов одного значения из палитры – набора nпредложенных вариантов (установление соответствия).Каждой форме ответа, описанной в конкретном задании, поставим в соответствиеодин или несколько семантических элементов задания – переменных, принимающих теили иные значения, из которых формируется код ответа.Форме ответа «единственный выбор» сопоставим один семантический элементзадания, область возможных значений которого совпадает с множеством предложенныхвариантов.Форме ответа «множественный выбор» сопоставим n семантических элементовзадания (по числу предложенных вариантов), каждый из которых будет иметь областьвозможных значений {выбран, не выбран}.Форме ответа «ввод ответа» сопоставим один семантический элемент задания,областью возможных значений которого является множество текстов, возможноспециального вида.

Например, в случае ввода числа форма ответа может подразумеватьввод десятичной дроби с разделителем запятая и округлением до заданного количествазнаков после запятой.Форме ответа «установление соответствия» сопоставим k семантических элементовзадания (по числу слотов), областью возможных значений каждого из которых будетявляться палитра из n предложенных вариантов.Для каждого семантического элемента задания можно указать верное значение,т.е.

значение, которое входит в код правильного ответа. Будем говорить, чтосемантический элемент правильно заполнен, если он принял верное значение.Рассмотрим типовое задание по курсу «Теория оптимизации и численные методы».В этом задании можно выделить 5 структурных элементов: текст E1, заголовки E2и E4, множественный выбор E3 и единственный выбор E5, а также 5 семантическихэлементов: S1, S2, S3, S4 с областью возможных значений {выбран, не выбран} и S5 собластью возможных значений . При этом S1 и S2 имеют верное значение «не выбран»,S3 и S4 имеют верное значение «выбран», а S5 имеет верное значение (0;0).Постановки задач могут быть параметризованы. Задачи вычислительногохарактера могут содержать числовые параметры.

Часто применяется детерминированнаяпараметризация по номеру студента, группы, факультета. Кроме того, одни параметрымогут вычисляться по заданной формуле в зависимости от значений других параметровтой же задачи. Параметры могут генерироваться случайным образом. В этом случаеобласть возможных значений параметров задается их списком или диапазоном.В рассмотренном примере задание имеет два числовых параметра: a и b.Семантическаямодельзнанийстудентапредставляетсобойперсонифицированную модель знаний по учебной дисциплине. Построение этой моделиосуществляется в процессе тестирования студента путем наследования от семантическоймодели учебной дисциплины.Метод наследования является расширением метода оверлейного моделирования ипредполагает, что новая фреймовая модель: 1) сохраняет все фреймы исходной модели иих слоты; 2) может расширять исходную модель за счет добавления новых фреймов ислотов.При тестировании студент последовательно выполняет предлагаемые задания.Параметры заданий принимают конкретные значения при генерации задания в тесте.

Приответе студент заполняет семантические элементы задания выбранными значениями.Таким образом, каждый семантический элемент задания получает оценку правильности.Само задание получает интегральную оценку правильности ответа, в зависимости отправильности указанных значений его семантических элементов.Кроме того, по результатам тестирования преподаватель или система тестированияоценивает умение выполнять задания, владение темами и обладание компетенциями.Рассмотрим формальное фреймовое описание семантической модели знанийстудента (жирным выделены слоты и фреймы, формируемые для конкретного студента).ТN <тема>a — включает темы:A: <тема 1>B: <тема 2>…b — включает компетенции:A: <компетенция 1>B: <компетенция 2>…c — имеет оценку владения темой: <оценка владения темой>CN <компетенция>a — проверяется заданиями:A: <задание 1>B: <задание 2>…b — имеет оценку обладания компетенцией: <оценка обладания компетенцией>QN <задание>a — включает структурные элементы задания:A: <структурный элемент 1>B: <структурный элемент 2>…b — включает семантические элементы задания:A: <семантический элемент 1>B: <семантический элемент 2>…c — включает параметры:A: <параметр 1>B: <параметр 2>…d — имеет оценку умения выполнять задание: <оценка умения выполнятьзадание>e — имеет полученную оценку выполнения: <балльная оценка>EN <структурный элемент задания>a — имеет тип: <тип структурного элемента>b — содержит тексты:A: <текст 1>B: <текст 2>…c — содержит директивы:A: <директива 1>B: <директива 2>…DN <директива>1 (если K1:=5 9, то) <выбрать один из вариантов>2 (если K1:=6, то) <выбрать несколько вариантов>3 (если K1:=7, то) <ввести ответ>4 (если K1:=8, то) <подставить выбранный вариант>TTN <текст>SN <семантический элемент задания>a — имеет область возможных значений: <область возможных значений>b — имеет верное значение: <значение>c — принял значение при ответе: <значение>d — имеет полученную оценку правильности: <оценка правильности>e — имеет прогнозную оценку правильности: <оценка правильности>PN <параметр задания>a — равен глобальному параметру: <глобальный параметр>b — имеет область возможных значений: <область возможных значений>c — принял значение при генерации задания: <значение>K1 <классификация типа структурного элемента задания> :=1 <заголовок>2 <произвольный текст>3 <помощь>4 <примечание>5 <единственный выбор>6 <множественный выбор>7 <ввод значения>8 <слоты>9 <палитра>K2<классификациязадания> :=1 <список>типаобластивозможныхзначенийсемантическогоэлемента2 <индикатор> := <{выбран; не выбран}>3 <текст>K3 <глобальный параметр> :=1 <номер студента>2 <номер группы>3 <номер факультета>K4 <классификация типа области возможных значений параметра> :=1 <формула>2 <список>3 <диапазон>K5 <классификация оценки владения темой> :=1 <качественная> :=1.1 <владеет>1.2 <частично владеет>1.3 <не владеет>2 <вероятностная>3 <балльная>K6 <классификация оценки обладания компетенцией> :=1 <качественная> :=1.1 <обладает>1.2 <частично обладает>1.2 <не обладает>2 <вероятностная>3 <балльная>K7 <классификация оценки умения выполнять задание> :=1 <качественная> :=1.1 <умеет>1.2 <частично умеет>1.2 <не умеет>2 <вероятностная>3 <балльная>K8 <оценка правильности> :=1 <верно>2 <неверно>Фреймы тем, компетенций, заданий, их элементов и параметров представляютсобой фреймы-связки.

Они заполняются по слотам следующих друг за другом смысловыхсвязок. При невозможности заполнения слот пропускается.Такая фреймовая модель легко может быть расширена или перестроена дляотображения дополнительных элементов иерархической структуры знаний и ихкачественных и количественных признаков..