Автореферат (1137088), страница 5
Текст из файла (страница 5)
Основным критерием оценки полученных результатов является процентное отношение выделенных фрагментов (точек диаграммы) к общему количеству фрагментов.На Рис. 6 видно, что цветные точки разбросаны по отчету, почти нет блоков больше 5 точек. На 130 000 знаков отчета было найдено лишь 470 групп,относящихся к ТЗ. Максимальная связная длина текста, имеющего отношение кодному из значимых фрагментов ТЗ – 700 символов.
Т.е. отчет должен быть переработан разработчиком. Проверка эксперта подтвердила оценку программы.На рис. 7 представлен качественно написанный отчет, в котором ключевыеn-граммы встречаются везде, за исключением начала (содержание, авторы, введение). При длине отчета более 130 000 знаков найдено более 3500 групп.Рис.
6. Точечная диаграмма для неудачного отчета (17%)Рис. 7. Точечная диаграмма для качественно написанного отчета (66%)Эксперименты подтвердили корректность разработанного метода визуализации и его применимость на практике. Для оценки точности выделения требований ТЗ методом было произведено сравнение с ручным выделением информации экспертами. На рис. 8 представлены требования ТЗ, выделенные экспертами (верхняя часть) и предложенным методом (нижняя часть). Текст ТЗ былразделен на несколько равных фрагментов, по 3 фрагмента на страницу документа, представленных полосами.
Интенсивность цвета верхнего рисунка растет с количеством экспертов, отметивших данных фрагмент как содержащийтребования (4 оттенка заливки: меньше 33% экспертов, от 33% до 66% экспертов, от 66% до 99% экспертов и 100% экспертов).Рис. 8.Сравнение выделения фрагментовКак видно из рисунка, метод чаще выделяет фрагменты, выделенные несколькими экспертами.
В эксперименте были рассчитаны значения полноты иточности. Вычисление мер производилось на основе количества предложений:выделенных методом, но не выделенных большинством экспертов;16выделенных как методом, так и большинством экспертов;не выделенных методом, но выделенных большинством экспертов.Общее качество оценивалось при помощи F1-меры, которая определяетсякак взвешенное гармоническое среднее точности P и полноты R:.(6)Полученное в ходе экспериментов среднее значение F1-меры для разработанного метода равняется 0,685.
F1-мера для результатов, показанных экспертами (относительно их консолидированного мнения) не превысила 0,6 ни в одном из экспериментов. То есть точность и полнота работы предложенного метода как минимум не ухудшает результатов оценки, а скорее улучшает их. Приэтом затраты времени на выделение терминов предметной области и выделениезначимых фрагментов разработанным методом не превышает 8 минут, а ручноевыделение экспертами в среднем занимало 30 минут.Эффективность метода вытекает из времени работы пользователя. Приучете норм РФ по чтению и обработке документации в 25 страниц в день, можно предположить, что для полной проверки отчета размером в 100 страниц потребуется 32 часа рабочего времени пользователя, а максимальное время работы предложенным методом составляет 1 час.
То есть, при анализе неудачногоотчета экономия времени ЛПР составит до 31 часа.В заключении описываются основные результаты работы.Разработанный метод определения полноты отчетной документации позволяет выделять значимые фрагменты ТЗ, содержащие условия разработки инаходить их упоминание в отчете. Метод визуализации результатов сравнениятекстов отчетной документации и ТЗ представляет результаты в виде точечнойдиаграммы, благодаря которой пользователь может оперативно принять решение о дальнейших действиях по проверке ПД.
Предоставляемая пользователюинформация позволяет найти описание выполнения каждого из выделенныхтребований в отчете, найти требования, которые не были упомянуты в отчете ипоказать взаимосвязь между абзацами отчета и фрагментами ТЗ. Разработанный метод уменьшает время работы пользователя, заменяя чтение всего документа на изучение значимых фрагментов.
Выделение фрагментов не привязанок правилам русского языка, то метод может работать на европейских языкахпри правильном подборе словосочетаний-маркеров.При развитии системы сохраненные позиции вхождений требований ТЗ ивыделенные термины предметной области могут применяться для выделениястандартизированной конструкции, показывающей распределение требованийТЗ по документу. Конструкцию можно использовать для создания шаблоновавтоматизации документирования в САПР, а выделенные термины – как базисдля создания онтологии предметной области.Метод реализован в виде ПО для ОС Windows и позволяет производитьпроверку полноты документов в основных текстовых форматах. Система не заменяет человека, а лишь помогает ему отбросить заведомо пустые тексты илиспециально увеличенные в размере тексты, не несущие смысловой и информационной нагрузки.
На основании результатов экспериментов можно судить о17полноте и точности работы метода, о повышении эффективности работы ЛПР иуменьшении времени, затрачиваемого на проверку отчетного документа.Развитием ПО является интеграция системы в системы документооборотаорганизации для автоматической обработки документов при получении новойинформации и последующей передачи ее пользователю.ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫразработан новый алгоритм выделения требований из текстатехнического задания с использованием лексико-синтаксических шаблонов;разработан метод поиска описаний выделенных требований в текстепроектного документа, учитывающий особенности выбранной предметнойобласти;разработан метод определения степени покрытия списка требованийтехнического задания, упрощающий проверку проектной документации,относящейся к нескольким предметным областям;разработан метод визуализации полученных результатов;разработаны рекомендации по применению указанных методов в ходеприемки проектной документации;спроектирован и разработан программный комплекс для анализаотчетных документов на предмет определения полноты описания требованийтехнических заданий;путем проведения вычислительных экспериментов показана корректностьразработанного метода, эффективность его применения на практике,определены границы применимости разработанного метода.ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИСтатьи в изданиях, рекомендованных ВАК:1.
Калачёв, Я.Б. К вопросу об автоматизации проверки полноты отчетной документации / Э.С. Клышинский, Я.Б. Калачев, В.В. Жаднов // Информационныетехнологии в проектировании и производстве. – 2014. – №2.С. 68-72.2. Калачёв, Я.Б. Методика автоматизации проверки полноты технической отчетной документации / Э.С. Клышинский, Я.Б. Калачев, В.В. Жаднов // Научнотехническая информация. – 2014.
- Сер. 2: Информационные процессы и системы. № 5. – С.11-15Другие статьи:3. Kalachev, Ya.B. Method for visual representation of technical documentation’scompleteness/Ya.B.Kalachev,E.S.Klyshinsky//Журнал«НаучнаяВизуализация». – 2014. - № 3. – С. 96-104.4. Калачёв, Я.Б. Метод проверки содержательной полноты отчетной документации / Э.С. Клышинский, Я.Б. Калачев // Журнал «САПР и графика». -2013№11. - С. 94-96.5. Калачёв, Я.Б. Оптимизация временных затрат проверки полноты проектнойдокументации на предприятиях топливно-энергетического комплекса / Я.Б.
Калачёв // Журнал «Системный администратор». – 2015. - №1-2. С.126-131.18Подписано в печать 23.04.15. Формат бумаги 60х84/16.Бумага офсетная. Печать офсетная. Печ. л. 1,0.Гарнитура «Times New Roman».Тираж 100 экз. Заказ №.Отпечатано с готового оригинал-макетав типографии Издательства СПбГЭТУ «ЛЭТИ»Издательство СПбГЭТУ «ЛЭТИ»197376, Санкт-Петербург, ул. Профессора Попова, д. 5..
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
