Автореферат (Разработка математических методов и комплекса программных средств имитационного тестирования знаний на основе семантических моделей)

На правах рукописиСологуб Глеб БорисовичРАЗРАБОТКА МАТЕМАТИЧЕСКИХ МЕТОДОВ И КОМПЛЕКСАПРОГРАММНЫХ СРЕДСТВ ИМИТАЦИОННОГО ТЕСТИРОВАНИЯ ЗНАНИЙНА ОСНОВЕ СЕМАНТИЧЕСКИХ МОДЕЛЕЙ05.13.18 — математическое моделирование, численные методы и комплексыпрограмм05.13.11 — математическое и программное обеспечение вычислительных машин,комплексов и компьютерных сетейАВТОРЕФЕРАТдиссертации на соискание ученой степеникандидата физико-математических наукМосква — 2013Работа выполнена на кафедре «Математическая кибернетика» Московскогоавиационного института (национального исследовательского университета)Научныйруководитель:доктор физико-математических наук,профессор Пантелеев Андрей ВладимировичОфициальныеоппоненты:доктор физико-математических наук,профессор ФГБОУ ВПО «Московский государственныйуниверситет имени М.В.

Ломоносова»Захаров Валерий Константиновичкандидат физико-математических наук, генеральныйдиректор ЗАО «ОВИОНТ ИНФОРМ»Артамонов Григорий ФеликсовичВедущаяорганизация:Кафедра прикладной информатикии мультимедийных технологий ГБОУ ВПОг. Москвы «Московский городской психологопедагогический университет»Защита состоится «20» декабря 2013 г.

в 12 ч. 00 мин. на заседанииДиссертационного совета Д212.125.04 Московского авиационного института(национального исследовательского университета) по адресу: 125993, Москва, А-80,ГСП-3, Волоколамское ш., 4.С диссертацией можно ознакомиться в библиотеке Московского авиационногоинститута (национального исследовательского университета) по адресу: 125993,Москва, А-80, ГСП-3, Волоколамское ш., 4.Отзыв на автореферат, заверенный гербовой печатью организации, просьбанаправлять по указанному адресу в двух экземплярах.Автореферат разослан «19» ноября 2013 г.Ученый секретарь Диссертационного совета Д212.125.04,кандидат физико-математических наукН.С.

СеверинаОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫАктуальность исследованияВ настоящее время в инженерном образовании, в том числе, при подготовкеспециалистов для аэрокосмической отрасли, осуществляется переход наобразовательные стандарты нового поколения, включающие усиленныеквалификационные требования на основе компетентностной модели.Согласно этим стандартам, высшее учебное заведение обязано гарантироватькачество подготовки, в том числе, путем разработки объективных процедур оценкиуровня знаний и умений обучающихся, компетенций выпускников.Оценка качества обучения должна включать текущий контроль успеваемостии промежуточную аттестацию обучающихся, причем конкретные формы ипроцедуры текущего и промежуточного контроля знаний по каждой дисциплине, втом числе, тесты и методы контроля, разрабатываются вузом самостоятельно.При разработке оценочных средств для контроля качества изучения модулей,дисциплин, практик должны учитываться все виды связей между включенными вних знаниями, умениями, навыками, позволяющие установить качествосформированных у обучающихся компетенций по видам деятельности и степеньобщей готовности выпускников к профессиональной деятельности.Таким образом, возникает насущная необходимость в разработке новыхметодов и средств контроля знаний, соответствующих указанным требованиям.Выполнение этой практической задачи сопряжено с решением рядатеоретических проблем в области интеллектуальных обучающих и тестирующихсистем и смежных областях компьютерного обучения и искусственного интеллекта.Целью диссертационного исследования является разработка методов ипрограммных средств имитационного сетевого компьютерного тестирования знанийна основе семантических моделей.Задачи исследования1.Разработать методы построения фреймовых семантических моделейучебных дисциплины и знаний студентов.2.Разработать методы и алгоритмы построения байесовских сетей длямоделирования и диагностики знаний студентов, в частности, метод построенияструктуры сети, а также алгоритмы автоматического обучения параметров ивероятностного вывода в таких байесовских сетях.3.Разработать комплекс программ для имитационного сетевогокомпьютерного тестирования знаний на основе семантических моделей, вчастности, разработать архитектуру программного комплекса и функциональностьвходящих в него программных средств; структуры данных для хранения и переносасемантических моделей; модель теста и алгоритм имитационного тестированиязнаний; реализовать разработанные методы и алгоритмы построения семантическихмоделей и имитационного тестирования знаний в виде ряда программных ипользовательских интерфейсов для построения и визуализации семантическихмоделей, формирования тестов, проведения тестирований и отображения ихрезультатов.14.Разработать системы имитационного тестирования по рядуматематических дисциплин, в частности, построить семантические модели учебныхдисциплин, сформировать тесты, разработать методику диагностики знаний,провести пробные тестирования и построить семантические модели знанийстудентов.Объектом исследования является математическое и программноеобеспечение автоматизированного контроля знаний студентов.Предметом исследования являются математические модели, методы ипрограммныесредства,предназначенныедляавтоматизациисозданиякомпьютерных тестов, проведения сетевых тестирований и диагностики знанийтестируемых.Область исследованияСогласно паспорту специальности 05.13.18 «Математическое моделирование,численные методы и комплексы программ»:—разработка новых математических методов моделирования объектов иявлений;—реализация эффективных численных методов и алгоритмов в видекомплексовпроблемно-ориентированныхпрограммдляпроведениявычислительного эксперимента;—разработка новых математических методов и алгоритмов интерпретациинатурного эксперимента на основе его математической модели;—разработка систем компьютерного и имитационного моделирования.Согласно паспорту специальности 05.13.11 «Математическое и программноеобеспечение вычислительных машин, комплексов и компьютерных сетей»:—модели, методы, алгоритмы, языки и программные инструменты дляорганизации взаимодействия программ и программных систем;—человеко-машинные интерфейсы; модели, методы, алгоритмы ипрограммные средства машинной графики, визуализации, обработки изображений,систем виртуальной реальности, мультимедийного общения.Методологическая и теоретическая основа исследованияТеоретическую основу исследований составили научные труды отечественныхи зарубежных ученых в области моделирования знаний и искусственногоинтеллекта (М.

Минский, С. Рассел, Д.А. Поспелов, В.В. Семенов), байесовскихсетей (Д. Перл, Ф. Йенсен, А.Л. Тулупьев, С.И. Николенко), обучающих систем(Б.Ф. Скиннер, К. ВанЛен, П. Брусиловский, Б.П. Вульф, А.В. Пантелеев,Т.А. Летова, А.В. Наумов, А.И. Кибзун) и тестирования знаний (Г. Раш,А. Бирнбаум, В.С.

Аванесов, А.В. Агибалов).Для решения поставленных задач использовались современные методыисследования такие, как методы дискретной математики, математическойстатистики, искусственного интеллекта, машинного обучения, информатики иобъектно-ориентированного программирования.Достоверность результатов обеспечивается строгостью математическогоаппарата, сравнением с результатами других авторов и экспериментальнойпроверкой.2Научная новизна1.Разработаныметодыпостроениядревовидныхфреймовыхсемантических моделей учебных дисциплин и знаний студентов, позволяющиесформировать иерархическую структуру знаний по учебной дисциплине и описатьвладение темами, обладание элементарными компетенциями, умение выполнятьзадания и оценки правильности выполнения заданий и их элементов дляконкретного студента.2.Предложен способ построения древовидной структуры байесовскойсети на основе фреймовой семантической модели знаний студента, которыйпозволяет описать в виде байесовской сети вероятностные взаимосвязи междуэлементами этой модели.3.Разработан рекуррентный алгоритм автоматического обученияпараметров байесовской сети с булевыми случайными элементами и древовиднойструктурой, позволяющий выполнять последовательное обновление значенийпараметров сети в процессе экспертного оценивания.4.Разработан модифицированный алгоритм вероятностного вывода длябайесовской сети с булевыми случайными элементами и древовидной структурой,линейный по времени и памяти, который позволяет оценивать владение темами,обладание элементарными компетенциями и умение выполнять задания длятестируемого студента.5.Разработана архитектура комплекса программ для имитационногосетевого компьютерного тестирования знаний и функциональность входящих внего программных средств.6.Разработаны компонентная модель теста и соответствующийалгоритм тестирования, которые позволяют реализовать линейные тесты сфиксированной структурой, адаптивные тесты с ветвлениями, имитировать очныйэкзамен с заданием дополнительных вопросов.7.Разработана методика автоматизированной диагностики знаний наоснове построения семантических моделей при сетевом компьютерномтестировании, которая позволяет имитировать методики тестирования иоценивания знаний конкретным преподавателем.Практическая значимость и внедрение результатовРазработан программный комплекс, предназначенный для автоматизациисоздания компьютерных тестов, проведения сетевых тестирований и диагностикизнаний тестируемых.

Разработаны системы тестирования для промежуточного иитогового контроля знаний студентов по следующим дисциплинам высшейматематики: «Математический анализ» (1 курс), «Линейная алгебра и аналитическаягеометрия», «Дифференциальные уравнения», «Теория функций комплексногопеременного и операционное исчисление», «Теория игр», «Теория оптимизации ичисленные методы». Кроме того, разработана система тестирования для входногоконтроля знаний абитуриентов по теме «Элементарная математика».

Построенысемантические модели знаний, включающие 1237 постановок задач по 50 главам иразделам указанных учебных дисциплин.3Разработанный программный комплекс внедрен в учебный процесс на кафедре«Математическая кибернетика» МАИ и используется для тестирования знанийстудентов по математическим дисциплинам; внедрен в рабочий процесс ООО«Информационные технологии гражданской авиации» и используется длятестирования квалификационных характеристик специалистов; засвидетельствованоактами внедрения.Апробация результатовРезультаты работы докладывались и обсуждались на следующих научныхконференциях: 7-й международной конференции «Авиация и космонавтика —2008» (Москва, 2008 г.), VI Всероссийской конференции студентов, аспирантов имолодых ученых «Технологии Microsoft в теории и практике программирования»(Москва, 2009 г.), 2-й Всероссийской конференции ученых, молодых специалистов истудентов «Информационные технологии в авиационной и космической технике2009» (Москва, 2009 г.), 8-й международной конференции «Авиация и космонавтика— 2009» (Москва, 2009 г.), 52-й научной конференции МФТИ — Всероссийскоймолодёжной научной конференции с международным участием «Современныепроблемы фундаментальных и прикладных наук» (Долгопрудный, 2009 г.), VIIВсероссийской конференции студентов, аспирантов и молодых ученых «ТехнологииMicrosoft в теории и практике программирования» (Москва, 2010 г.), научнопрактической конференции студентов и молодых ученых МАИ «Инновации вавиации и космонавтике — 2010» (Москва, 2010 г.), конкурсе научно-техническихработ и проектов «Молодежь и будущее авиации и космонавтики — 2010» (Москва,2010 г.), научно-практической конференции студентов и молодых ученых МАИ«Инновации в авиации и космонавтике — 2011» (Москва, 2011 г.), Fifth RussianYoung Scientists Conference in Information Retrieval (Санкт-Петербург, 2011 г.), 4-йВсероссийской мультиконференции по проблемам управления «МКПУ — 2011»(Дивноморское, 2011 г.), 54-й научной конференции МФТИ «Проблемыфундаментальных и прикладных естественных и технических наук в современноминформационном обществе» (Долгопрудный, 2011 г.), Международной научнометодической конференции «Информатизация инженерного образования» —ИНФОРИНО-2012 (Москва, 2012 г.), Московской научно-практическойконференции «Инновации в авиации и космонавтике — 2012» (Москва, 2012 г.), IXМеждународной конференции по неравновесным процессам в соплах и струях(Алушта, 2012 г.).Работа победила в конкурсе научно-исследовательских работ студентов иаспирантов на 54-й научной конференции МФТИ «Проблемы фундаментальных иприкладных естественных и технических наук в современном информационномобществе» в 2011 г.Исследования выполнены, в том числе, в рамках работы научнообразовательного центра «Математические методы оптимизации и идентификацииаэрокосмических систем и летательных аппаратов», как часть работ поГосударственному контракту 02.740.11.0471 в рамках Мероприятия 1.1Федеральной целевой программы «Научные и научно-педагогические кадрыинновационной России» на 2009—2013 гг.; а также в рамках Межвузовской4комплексной работы по развитию и внедрению инновационных технологий вобразовании (МКР ИТО) в 2009—2011 гг.ПубликацииРезультаты исследования опубликованы в 27 печатных работах, из которых 6статей в журналах, входящих в Перечень ВАК РФ, а также в 4 отчетах по НИР.Получено 3 свидетельства о государственной регистрации программ для ЭВМ.Структура и объем диссертацииДиссертация состоит из введения, 4 глав с выводами, заключения, спискалитературы (из 97 источников) и 3 приложений.