Автореферат (Разработка математических методов и комплекса программных средств имитационного тестирования знаний на основе семантических моделей), страница 2

Объем диссертации составляет 124м.п.с.СОДЕРЖАНИЕ РАБОТЫВо введении обоснована актуальность работы, сформулированы цель и задачиисследования, описана структура диссертации, научная новизна и практическаязначимость работы.В первой главе рассматриваются задача моделирования знанийв интеллектуальной системе тестирования, описываются подходы к моделированиюзнаний и разработанные методы построения фреймовых семантических моделей.Описаны два вида моделей: модель учебной дисциплины, которая должнаопределять состав требуемых знаний и взаимосвязи между отдельными частямиучебного курса, и модель знаний студента, которая должна отражать представлениясистемы о составе и уровне текущих знаний конкретного студента.Тестирование (диагностика) знаний понимается как процесс сравнения моделиучебной дисциплины с моделью знаний студента. Предполагается, что вразрабатываемой интеллектуальной системе тестирования знаний построение исравнение семантических моделей будет осуществляться автоматически.

Дляформального описания семантических моделей знаний предлагается применитьфреймовый аппарат семантического программирования.Описан разработанный метод построения древовидной фреймовойсемантической модели произвольной учебной дисциплины. Согласно этому методув составе требуемых знаний по учебной дисциплине выделяются совокупностизнаний определенного вида и описываются иерархические связи между ними.Темой называется обособленная совокупность знаний, объединенных посмыслу. Заданием называется совокупность знаний, состоящая из постановкитиповой задачи и описания формы ответа. Элементарной компетенцией называетсясовокупность знаний по теме, необходимых для решения типовой задачи.Структурным элементом задания обособленный набор текстов и/или директив,объединенных по смыслу и входящих в сообщение, посредством которогопередается задание.

Семантическим элементом задания называется переменная,сопоставленная каждой форме ответа, описанной в конкретном задании, ипринимающая те или иные значения, из которых формируется код ответа.Предполагается, что темы могут находиться на произвольной глубиневложенности, у каждой темы и компетенции может быть не более однойродительской темы, каждая тема может включать любое количество тем и5компетенций. Предполагается, что каждое задание проверяет единственнуюкомпетенцию, а каждая компетенция может проверяться произвольнымколичеством заданий.Каждая совокупность знаний описывается в виде фрейма-смысловой связки.Взаимосвязь между ними выражается с помощью иерархической древовиднойструктуры фреймов.

Приведены протофреймы-смысловые связки тем, заданий,элементарных компетенций, параметров заданий, структурных и семантическихэлементов заданий; а также сопутствующие классификационные и директивныефреймы.Описан разработанный метод построения фреймовых семантических моделейзнаний студентов путем наследования от модели учебной дисциплины.

Согласноэтому методу новая фреймовая модель сохраняет все фреймы исходной модели и ихслоты; может расширять исходную модель за счет добавления новых фреймов ислотов; может иметь другой набор экземпляров фреймов. В частности, в модельзнаний студента включаются выставленные преподавателем или автоматическипостроенные оценки владения темами, обладания компетенциями, умениявыполнять задания, а также полученные оценки правильности выполнениястудентом заданий и их элементов.Приведенрасширенныйнаборпротофреймов-смысловыхсвязок,классификационных и директивных фреймов.

В качестве примера рассмотренфрагмент фреймовой семантической модели знаний учебной дисциплины «Теорияоптимизации и численные методы» и соответствующий фрагмент фреймовойсемантической модели знаний студента.Во второй главе рассматривается задача построения байесовских сетей длямоделирования и диагностики знаний студентов в интеллектуальной системетестирования.Описаны имеющиеся примеры использования байесовских сетей длямоделирования знаний студентов и проанализированы их недостатки. Предлагаетсяосуществлять формирование структуры байесовской сети на основе рассмотреннойв первой главе фреймовой семантической модели учебной дисциплины.Рассматривается серия независимых испытаний, в которых различныестуденты выполняют некоторые тестовые задания. Каждому заданию соответствуетодин или несколько семантических элементов, которые принимают верное илиневерное значение при ответе тестируемого. Преподаватель (или систематестирования) по результатам тестирования определяет, умеет ли студент решатькаждое из заданий, обладает ли он элементарными компетенциями, необходимымидля решения этих заданий, владеет ли он соответствующими темами учебнойдисциплины.Вводятся переменные (булевы случайные элементы): T1 ,..., TN , принимающиезначение 1 (значение 0), если студент владеет (не владеет) соответствующей темой;C1 ,..., CM , принимающие значение 1 (значение 0), если студент обладает (необладает) соответствующей компетенцией; Q1 ,..., QK , принимающие значение 1(значение 0), если студент умеет (не умеет) выполнять соответствующее задание;S1,..., S L , принимающие значение 1 (значение 0), если соответствующий6семантический элемент получил верное (неверное) значение при ответетестируемого.

Каждой из указанных переменных ставится в соответствие узелбайесовской сети.Предполагается, что владение общей темой непосредственно влияет навладение подтемами; владение темой непосредственно влияет на обладаниекомпетенциями, которые к ней относятся; обладание компетенциейнепосредственно влияет на умение выполнять задания, которые её проверяют;умение выполнять задание непосредственно влияет на правильность заполнениясемантических элементов этого задания. Сформированная согласно этимпредположениям структура байесовской сети является ориентированным деревом(рис. 1).Рисунок 1.

Обобщенная структура байесовской сети для моделирования знанийстудентовВ общем случае каждому узлу байесовской сети с булевыми случайнымиэлементами должен быть сопоставлен набор условных вероятностей истинностисоответствующей переменной при всех возможных значениях родителей данногоузла. Для узлов, не имеющих родителей, задается условная вероятность при пустомусловии, т.е. маргинальная вероятность.Вероятность истинности булева случайного элемента P( X  1) в работезаписывается сокращенно как P ( X ) , а дополнительная вероятность — как P ( X ) .В байесовской сети, структурой которой является ориентированное дерево,каждый узел, кроме корневого, имеет единственного родителя.

Поэтому, если сетьсодержит n узлов, то для неё требуется задать 2n  1 параметров: маргинальнуювероятность pR  P( R) для корневого узла R , а также условные вероятностиp X(1)  P( X | pa( X )) и p X(0)  P( X | pa( X )) для каждого из остальных узлов X , взависимости от значения pa( X ) — родителя узла X . Остальные значениявероятностей однозначно по ним восстанавливаются при помощи соотношений:P( R)  1  P( R) , P( X | pa( X ))  1  P( X | pa( X )) и P( X | pa( X ))  1  P ( X | pa( X )) .7Рассматриваются различные подходы к установлению значений параметровбайесовской сети.

С учетом того, что реализация описываемой моделиосуществляется в компьютерной системе тестирования, работающей в сетиИнтернет, и байесовская сеть по конкретной учебной дисциплине может содержатьтысячи узлов, а обучение параметров байесовской сети должно осуществлятьсяпоочередно по запросу преподавателя после выполнения им экспертной оценки длявыбранного студента, предлагается построить рекуррентный алгоритм поэтапногоавтоматического обучения параметров на основе наименее ресурсоемкого метода —аддитивного сглаживания.Пусть проведено N наблюдений, в которых переменная X (булев случайныйэлемент) принимала значения 1 или 0; xi — число тех наблюдений, в которых Xприняла значение 1, из первых i наблюдений.

В качестве оценки pˆ i вероятностиистинности переменной X по результатам i наблюдений может использоватьсяоценка по формуле аддитивного сглаживания (Good, 1965):x pˆ i  i, i  0,, N ,(1)i  2где  — произвольный коэффициент сглаживания.Предлагается рекуррентная формула аддитивного сглаживания: pˆ 0  0.5,(2)pˆ i 1 (i  1  2 )  Eiˆp,i1,...,N, ii  2где Ei равно значению переменной X в i -м наблюдении.Далее доказывается утверждение 1 и предлагается алгоритм 1.Утверждение 1 (о рекуррентной формуле аддитивного сглаживания).При любом числе наблюдений pˆ i  pi , i  0,..., N , т.е.

оценка по рекуррентнойформуле (2) совпадает с оценкой по формуле аддитивного сглаживания (1).Алгоритм 1. Рекуррентное оценивание одного параметра байесовской сети сбулевыми случайными элементами.1. Устанавливаем счётчик свидетельств N : 0 и задаем начальную оценкуp : 0.5 .2. Если при очередном наблюдении получено свидетельство о том, чтопеременная X приняла значение 1 или 0 при заданных значенияхродителей, положим E : 1 (или E : 0 , соответственно).3. Инкрементируем значение счётчика свидетельств: N : N  1.4. Вычисляем значение оценки параметра по рекуррентной формуле:p ( N  1  2 )  Ep :,(3)N  2где  — коэффициент сглаживания.5.