ВКР по тему Метод распознавания пространственно-временных отношений в задачах автоматического текстового описания цифровых изображений

АННОТАЦИЯ
Расчетно-пояснительная записка 67 с., 27 рис., 5 табл., 14 источников. РАСПОЗНАВАНИЕ ИЗОБРАЖЕНИЙ, ТЕКСТОВОЕ ОПИСАНИЕ, ПРОСТРАНСТВЕННО-ВРЕМЕННЫЕ ОТНОШЕНИЯ, МАШИННОЕ ОБУЧЕНИЕ, НЕЙРОННЫЕ СЕТИ, АННОТИРОВАНИЕ ИЗОБРАЖЕНИЙ. Объектом разработки является метод распознавания пространственновременных отношений в системе автоматического текстового описания. Цель работы — разработка метода распознавания пространственновременных отношений в задачах автоматического текстового описания цифровых изображений. Метод проектировался в три этапа. На первом этапе были изучены основные методы распознавания изображений, существующие решения по автоматическому текстовому описанию. На втором этапе был произведён выбор технических решений для реализации программы, были сконструированы сценарии работы метода распознавания пространственно-временных отношений. На третьем этапе были разработаны и протестированы метод распознавания пространственно-временных отношений и рабочая система автоматического текстового описания. В настоящее время очень популярна тема автоматического текстового описания, поскольку система, описывающая цифровое изображение, позволит человеку более интерактивно взаимодействовать с роботами, люди с очень плохим зрением смогут без посторонней помощи передвигаться и многое другое. Разработанная система может быть использована для помощи слабовидящим людям, для автомобилей на самоуправлении, в информационно-поисковых системах сети Интернет. Результаты исследования могут быть использованы для изучения существующих методов и разработки новых, а также способов, алгоритмов и моделей решения задач автоматического текстового описания.
ВВЕДЕНИЕ
Актуальность. Количество информации, с которой сталкивается современный человек, растёт с каждым днём. Несмотря на то, что визуальная информация более ёмкая, текстовая информация на естественном языке является более привычной, удобной и распространённой формой коммуникации. В связи с этим возникают проблемы с анализом разнородной информации, как графической, так и текстовой информации, по этой причине эта тема очень актуальна на сегодняшний день. Обработка и анализ разнородной информации необходима в системах управления технологическими процессами, для эффективного поиска изображений или видео, для помощи слабовидящим людям, для взаимодействия человека и компьютера, для виртуальной и дополненной реальности и в других областях человеческой деятельности. В настоящее время стала очень популярна тема распознавания. Распознавание включает в себя установление сходства или различий между объектами, идентификация объекта, выделение его из множества других объектов. Уже существуют системы распознавания радужной оболочки глаза, отпечатков пальцев, лиц людей, идентификация объектов на изображении, по голосу. Но такие системы не могут описывать то, что они видят так, как это может делать человек. Поэтому исследователи в области компьютерного зрения задались вопросом автоматического текстового описания цифровых изображений. Текстовое описание — это важная, но сложная задача, которая используется для улучшения взаимодействия человека и компьютера. Существующие на данный момент алгоритмы обычно формулируют задачу как выбор из набора предложений обрамляющих прямоугольников, полученных из глубоких сетевых систем. В этой работе будет исследована проблема текстового описания, возможные пути её решения. Описание текстовых фраз, то есть поиск ограничивающих прямоугольников в изображениях, относящихся к текстовым фразам, является важной проблемой при взаимодействии человека и компьютера, в задачах робототехники и разработки баз знаний. Например, мы можем руководствоваться автономной системой, используя такие фразы, как «бутылка слева» или «тарелка на верхней полке». Хотя эти фразы легко интерпретировать для человека, они создают серьезные проблемы для современных алгоритмов текстового описания, поскольку интерпретация этих фраз требует понимания объектов и их отношений. Исходя из этого, возникла необходимость разработать алгоритм для распознавания пространственно-временных отношений. Существующие подходы к текстовому описанию, такие как [1], [2], используют преимущества когнитивных улучшений, полученных из глубоких сетевых функций. Более конкретно, глубокие сетевые модели предназначены для извлечения функций из заданных ограничивающих прямоугольников и текстовых данных, которые затем сравниваются для измерения их пригодности. Для получения подходящих ограничивающих прямоугольников, многие текстовые основы описания, такие как [1], [2], используют предложения на основе региональных предложений. Несмотря на то, что их легко получить, автоматическое извлечение предложений по регионам является ограниченным, поскольку производительность визуального описания по своей сути ограничена качеством процедуры создания заявки.
Цели и задачи.
Целью работы является разработка метода распознавания пространственно-временных отношений и информационной системы автоматического текстового описания цифровых изображений. Для достижения поставленной цели были поставлены следующие задачи:
— исследование темы автоматического текстового описания;
— обзор аналогов;
— разработка метода распознавания пространственно-временных отношений;
— тестирование разработанного метода.