Автореферат (Разработка математических методов и комплекса программных средств имитационного тестирования знаний на основе семантических моделей), страница 4

Формально, речь идет об оценке вероятности того, чтопреподаватель по результатам тестирования определит, что студент владеет этимизнаниями.Фактически, в данном случае система тестирования моделирует конкретногопреподавателя, а байесовская сеть отражает его методику оценивания знаний.В третьей главе рассматривается разработанный комплекс программ дляимитационного тестирования знаний.Ставится задача создания комплекса программ для имитационного сетевогокомпьютерного тестирования знаний, позволяющих каждому преподавателюреализовать свою собственную методику тестирования и систему оценивания вкомпьютерных тестах.Описаны существующие системы тестирования, проанализированы ихдостоинства и недостатки.

По результатам выполненного анализа сформирован рядфункциональных и нефункциональных требований к разрабатываемомупрограммному обеспечению.Функциональные требования.Т1. Наличие средств формирования и редактирования семантическихмоделей учебных дисциплин, состоящих из тем, компетенций и заданий, вчастности, наличие инструмента для импортирования дерева курса из оглавленияучебника.Т2. Наличие визуального редактора вопросов с возможностью набораматематических формул и вставки мультимедийного контента.Т3. Возможность конструировать задания с различными типами постановкизадачи и формами ответа, в частности, задания на ввод ответа, выбор одного илинескольких вариантов из альтернатив, установление соответствия, подстановкузначений в слоты, а также комбинированных заданий.Т4.

Возможность составления задач с параметрами, значения которых впроцессе тестирования для каждого студента случайным образом генерируются из13заданного списка или диапазона, приравниваются номеру факультета, группы,студента или вычисляются по заданной формуле в зависимости от значений другихпараметров.Т5.

Возможность формирования линейных тестов с жестко фиксированнойструктурой, адаптивных тестов с ветвлениями в зависимости от ответатестируемого, тестов для самоконтроля с подсказками, а также тестов,имитирующих очный экзамен с возможностью ответа на дополнительные вопросыдля повышения отметки.Т6.

Возможность гибкой настройки процесса тестирования, в частности,установления ограничений по времени, числу задаваемых вопросов, порядку выдачивопросов и задания шкал оценивания.Т7. Возможность формирования структуры байесовской сети длямоделирования знаний студентов и наличие средств автоматического обученияпараметров байесовской сети.Т8. Наличие средств просмотра результатов тестирований и ответов навопросы с указанием ошибок тестируемого и правильного ответа, как в процессетестирования, так и по его окончании.Т9. Возможность диагностики знаний студентов путем вероятностноговывода в байесовской сети и наличие средств просмотра и редактированияпостроенных байесовских семантических моделей знаний студентов.Т10. Возможность распечатки тестовых заданий для организации«бумажных» тестов при отсутствии технической возможности проведениякомпьютерного тестирования.Т11.

Возможность одновременного прохождения тестов различнымистудентами и наблюдения за ходом тестирований преподавателями с помощьюпрограммных средств через локальную сеть или Интернет.Нефункциональные требования.Т12. Простой, интуитивно-понятный интерфейс.Т13. Наличие русскоязычной документации.Т14. Легкость установки и обновления программных средств.Т15. Платформонезависимость программных средств.Т16. Масштабируемость и простота модификации интерфейса ифункциональности системы.Т17. Минимизация объема данных, передаваемых по сети.Т18. Высокая скорость обработки данных в реальном времени.Т19. Невысокие аппаратные и программные требования к компьютерамстудентов и преподавателей.Т20. Использование при разработке бесплатных свободно распространяемыхсредств.Т21.

Обеспечение безопасности, разграничения прав доступа и защиты отвзломов.С учетом указанных требований спроектирована функциональность иархитектура программного комплекса (рис. 2), выбран стек технологий и средствразработки.14Рисунок 2. Архитектура комплекса программ для имитационного тестированиязнанийВ состав комплекса входит три программных средства: серверное приложение(СП), средство автора (СА) и средство тестируемого (СТ), каждое со своей базойданных (БД СП, БД СА, БД СТ).

В средстве автора реализован интерфейс длявыполнения описанных функций Т1–Т11, а серверное приложение обеспечиваетвзаимодействие с базой данных и осуществляет управление процессами созданиятестов и проведения тестирований. Средство тестируемого предоставляет интерфейсдля прохождения тестов студенту и реализует функциональные требования Т11 иТ8. Все программные средства комплекса удовлетворяют нефункциональнымтребованиям Т12–Т21.В этой же главе описываются разработанные структуры данных,обеспечивающие эффективную обработку и хранение древовидных семантическихмоделей в декомпозированном виде.Описываются разработанные модель теста и алгоритм имитационноготестирования знаний, которые позволяют реализовать линейные тестыс фиксированной структурой, адаптивные тесты с ветвлениями, имитировать очныйэкзамен с заданием дополнительных вопросов.Компонентом теста называется совокупность K  (QK , RK , tK ) , где QK —фиксированное подмножество заданий учебной дисциплины, RK — набор правилвыбора следующего задания, tK — время выполнения задания (может быть незадано).Тестом называется совокупность  K , T , q, I , h, a  , где K  ( K1,..., K S ) — списоккомпонентов теста, T — время, отведенное на прохождение теста (может быть незадано); q — число выполненных заданий, достаточное для выставления отметки;15I — шкала оценивания (может быть не задана); h — возможность пользованиявстроенной помощью при выполнении заданий; a — возможность ответить надополнительные вопросы для повышения отметки.Алгоритм 4.

Имитационное тестирование знаний по компонентной моделитеста.1. Устанавливаем в качестве текущего компонента теста K : K1 .Инициализируем множество выданных заданий Qshown :  .2. Если QK \ Qshown   , ищем такой компонент теста, для которогоQK \ Qshown   , если не находим, переходим к шагу 10, в противномслучае устанавливаем его в качестве текущего компонента.3. Выбираем случайным образом задание из множества QK \ Qshown ,помещаем его во множество Qshown , генерируем значения параметровзадания (если есть) и выдаем задание тестируемому.4.

Если задано ограничение tK на время выполнения задания и тестируемыйне выдал ответ за это время, фиксируем ответ для текущего задания какпустой и выставляем оценку за задание равной 0.5. Если задано ограничение T на время прохождения теста, а тестируемыйне успел выполнить заданное количество заданий q за это время,фиксируем ответ для текущего задания как пустой, выставляем оценку зазадание равной 0 и переходим к шагу 10.6. Если получен ответ от тестируемого, выставляем оценку за заданиеравной проценту правильно заполненных семантических элементовзадания.7. Если Qshown  q и при этом a  false , переходим к шагу 10.8.

Если Qshown  q и при этом a  true , предлагаем тестируемому ответить надополнительные вопросы, если он отказывается, переходим к шагу 10.9. На основании правил RK устанавливаем следующий компонент теста K ивозвращаемся к шагу 2.10. Вычисляем итоговую оценку как среднее арифметическое всехполученных оценок.11. Если задана шкала оценивания I , формируем итоговую отметку согласноэтой шкале.Далее рассматривается реализация разработанных методов и алгоритмовпостроения семантических моделей и имитационного тестирования знаний в видеряда программных и пользовательских интерфейсов (рис. 3) для построения ивизуализации семантических моделей, формирования компьютерных тестов,проведения тестирований через локальную сеть или Интернет и отображения ихрезультатов.Описаны методики работы с пользовательскими средствами автора итестируемого, а также выполнено формальное описание программного интерфейсасервисов серверного приложения.16Рисунок 3.

Интерфейс редактирования задания в средстве автора.В четвертой главе рассмотрено применение имитационного тестированиязнаний.Описаны разработанные системы тестирования для промежуточного иитогового контроля знаний студентов по учебным дисциплинам высшейматематики: «Линейная алгебра и аналитическая геометрия», «Математическийанализ», «Дифференциальные уравнения», «Теория функций комплексногопеременного и операционное исчисление», «Теория игр», «Теория оптимизации ичисленные методы», а также система тестирования для проверки базовойподготовкипервокурсниковпоэлементарнойматематике.Построенысемантические модели знаний, включающие 1237 постановок задач по 50 главам иразделам указанных учебных дисциплин, из которых сформирован 41 тест по темамразличной общности.Описана следующая методика автоматизированной диагностики знаний наоснове построения семантических моделей при сетевом компьютерномтестировании, которая позволяет имитировать методики тестирования и оцениваниязнаний конкретным преподавателем.1.Преподаватель с помощью средства автора формирует структуруучебного курса (темы, подтемы, элементарные компетенции, задания, их параметры,структурные и семантические элементы, а также взаимосвязи между ними).2.Согласно действиям преподавателя в системе имитационноготестирования автоматически строится фреймовая семантическая модель учебнойдисциплины.3.На основе фреймовой семантической модели в системе имитационноготестирования автоматически формируется структура байесовской сети для заданнойучебной дисциплины.4.Преподаватель с помощью средства автора формирует набор тестов позаданным главам и разделам учебного курса.5.Часть студентов с помощью средства тестируемого проходят пробныетестирования, по результатам которых в системе имитационного тестированияформируются наборы значений семантических элементов для каждоготестируемого.176.Преподаватель с помощью средства автора осуществляет экспертнуюоценку умения выполнять тестовые задания, обладания компетенциями и владениятемами для каждого тестируемого.7.На основе полученных по п.5 и п.6 данных в системе имитационноготестирования осуществляется автоматическое обучение параметров байесовскойсети для заданной учебной дисциплины.8.Остальные студенты с помощью средства тестируемого проходятквалификационные тестирования, по результатам которых в системе имитационноготестирования формируются наборы значений семантических элементов для каждоготестируемого.9.На основе полученных в п.8 данных в системе имитационноготестирования осуществляется автоматическое построение оценок умения выполнятьтестовые задания, обладания компетенциями и владения темами для каждоготестируемого путем вероятностного вывода в байесовской сети.10.

Преподаватель с помощью средства автора анализирует построенныемодели знаний студентов и адаптирует процесс обучения в соответствии сполученными результатами.По предложенной методике с помощью разработанного комплекса программпротестировано 414 студентов из 36 учебных групп двух факультетов.

Проверкапоказала хорошую диагностическую точность предложенных моделей на основебайесовских сетей: в 95% случаев оценки, выставленные системой автоматически,совпали с выставленными независимо оценками преподавателя.В заключении приводятся основные результаты диссертационной работы.В приложениях приведены копии свидетельств о государственнойрегистрации разработанных программ.ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫОсновным итогом диссертационной работы является создание методов ипрограммных средств имитационного сетевого компьютерного тестирования знанийна основе семантических моделей, что выразилось в достижении следующихнаучных и прикладных результатов.1.Разработаныметодыпостроениядревовидныхфреймовыхсемантических моделей учебных дисциплин и знаний студентов, позволяющиесформировать иерархическую структуру знаний по учебной дисциплине и описатьвладение темами, обладание элементарными компетенциями, умение выполнятьзадания и оценки правильности выполнения заданий и их элементов дляконкретного студента.2.Разработаны методы и алгоритмы построения и использованиябайесовских сетей с булевыми случайными элементами и древовидной структуройдля моделирования и диагностики знаний студентов, в частности, предложенспособ построения структуры сети на основе фреймовой семантической моделизнаний студента, разработан рекуррентный алгоритм автоматического обученияпараметров сети, позволяющий выполнять последовательное обновление значенийпараметров сети в процессе экспертного оценивания, и разработан18модифицированный алгоритм вероятностного вывода, линейный по времени ипамяти, который позволяет оценивать владение темами, обладание элементарнымикомпетенциями и умение выполнять задания конкретным студентом.3.Разработана компонентная модель теста, соответствующийалгоритм имитационного тестирования и методика автоматизированнойдиагностики знаний на основе построения семантических моделей, которыепозволяют имитировать методики тестирования и оценивания знаний конкретнымпреподавателем.4.Разработан комплекс программ для имитационного сетевогокомпьютерного тестирования знаний на основе семантических моделей, состоящийиз средства автора, средства тестируемого и серверного приложения; в частности,разработана архитектура программного комплекса и функциональность входящих внего программных средств; реализованы разработанные модели, методы иалгоритмы в виде ряда программных и пользовательских интерфейсов дляпостроения и визуализации семантических моделей, формирования компьютерныхтестов, проведения сетевых тестирований, диагностики знаний и отображенияполученных результатов.5.Разработаны системы имитационного тестирования знаний по семидисциплинам прикладной математики, в частности, построены фреймовыесемантические модели учебных дисциплин; реализованы тесты для промежуточногои итогового контроля знаний студентов; проведены тестирования поразработанному алгоритму имитационноготестированияивыполненаавтоматизированная диагностика знаний по предложенной методике.ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИПубликации в журналах из перечня ВАК1.