Автореферат (Разработка и исследование алгоритмов совмещения изображений от бортовых видеодатчиков с виртуальной моделью местности)

На правах рукописиЕФИМОВ Алексей ИгоревичРАЗРАБОТКА И ИССЛЕДОВАНИЕ АЛГОРИТМОВ СОВМЕЩЕНИЯИЗОБРАЖЕНИЙ ОТ БОРТОВЫХ ВИДЕОДАТЧИКОВС ВИРТУАЛЬНОЙ МОДЕЛЬЮ МЕСТНОСТИСпециальность 05.13.17 – Теоретические основы информатикиАВТОРЕФЕРАТдиссертации на соискание ученой степеникандидата технических наукМосква 2016Работа выполнена в Федеральном государственном бюджетномобразовательном учреждении высшего образования«Рязанский государственный радиотехнический университет» (РГРТУ)на кафедре «Электронные вычислительные машины»Научный руководитель:Никифоров Михаил Борисович,кандидат технических наук, доцент кафедры«Электронные вычислительные машины» ФГБОУВО «РГРТУ»Официальныеоппоненты:Прохоров Сергей Антонович, доктор техническихнаук, профессор, заведующий кафедрой«Информационные системы и технологии» ФГАОУВО «Самарский государственный аэрокосмическийуниверситет имени академика С.П.

Королева(национальный исследовательский университет)»Ватолин Дмитрий Сергеевич, кандидат физикоматематических наук, старший научный сотрудниклаборатории компьютерной графики имультимедиа МГУ имени М.В. ЛомоносоваВедущаяорганизация:ФГУП «Государственный научноисследовательский институт авиационных систем(ГосНИИАС)», г. МоскваЗащита диссертации состоится «26» мая 2016 г. в 15:00 ч. на заседаниидиссертационного совета Д 212.147.03 при МГУП имени Ивана Федорова поадресу 127550 Москва, ул.

Прянишникова, д. 2а.С диссертацией можно ознакомиться в библиотеке МГУП имени ИванаФедорова. Электронная версия диссертации размещена: http:/mgup.ruАвтореферат разослан «___» __________ 2016 г.Ученый секретарьдиссертационного советаЩербина Юрий Владимирович ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫАктуальность темы исследования.

В авионике перспективных летательныхаппаратов (ЛА) должна осуществляться комплексная обработка видеоинформации отдатчиков системы технического зрения (СТЗ) и изображения виртуальной моделиместности (ВММ), формируемого на базе априорной цифровой картографическойинформации с использованием навигационных данных. Цель комплекснойобработки информации заключается в формировании максимально полной иадекватной информации о текущей ситуации в воздушном пространстве и наземнойинфраструктуре аэропорта в сложных условиях видимости и, как следствие,существенно повысить безопасность полетов и особенно в сложных метеоусловиях ина этапе посадки воздушного судна.Совокупностьсредств,обеспечивающихкомплекснуюобработкуинформации и ее отображение экипажу, принято называть системойкомбинированного видения (Combined Vision System – CVS), которая должна нетолько отвечать требованиям и выполнять функции двух систем: системыулучшенного видения (Enhanced Vision System – EVS) и системы синтезированноговидения (Synthetic Vision System – SVS), включающей формирование ВММ, но иобладать новыми возможностями, связанными с одновременной совместнойиндикацией EVS и SVS изображений.

Слияние реального и виртуальногоизображений, то есть объединение изображений от датчиков, имеющихся на борту, иSVS-изображения в единое изображение CVS, способно значительно улучшитьситуационную осведомленность экипажа ЛА.Основные проблемы при создании систем комбинированного видениясвязаны с разработкой:– алгоритмов предварительной обработки изображений от сенсоров СТЗ(изменение диапазона яркостей, выделение границ объектов, утоньшение ивекторизация фрагментов, формирование связных фрагментов) с целью улучшениявидения и подготовки их для геометрического совмещения с изображениями ВММ;– алгоритмов геометрического совмещения изображений от датчиков наборту ЛА и SVS изображений, которые могут исполнятся в бортовом вычислителе врежиме реального времени;– эффективных способов совместной визуализации реальных и виртуальныхизображений, обеспечивающих экипаж ЛА максимально полной информацией осостоянии окружающей среды.Наиболее сложной является задача совмещения получаемых от сенсоров СТЗизображений, с изображением виртуальной модели местности, создаваемым сиспользованием цифровой карты местности (ЦКМ) с учетом навигационных данныхлетательного аппарата: текущих координат местоположения и угловпозиционирования линий визирования сенсоров СТЗ.

Причиной этого служитсущественная величина погрешности определения местоположения ЛА впространстве.Разработка конкретных систем обработки изображений на борту ЛАопределяется следующими основными особенностями.Во-первых, при разработке подсистем обработки и совмещения изображенийна борту ЛА требуется решать не проблему общего автоматического пониманияизображения некоторой произвольной сцены, а более узкую задачу проблемно- 2 ориентированной интерпретации изображения. Обычно эта задача сводится кобнаружению и идентификации на изображении набора примитивов,соответствующих реальным физическим объектам, присутствие которых должнонекоторым образом отражаться на управлении ЛА.Во-вторых, к алгоритмам обработки изображений в подсистемахинформационного обеспечения предъявляются специальные требования, связанные сназначением и конкретными характеристиками разрабатываемой или ужесуществующей системы управления ЛА.В последнее время одной из наиболее актуальных задач современнойавионики стало создание систем улучшенного видения (Enhanced Synthetic VisionSystem – ESVS).

Системы данного класса позволяют путем совмещения реальныхизображений, получаемых от датчиков систем технического зрения, установленныхна борту ЛА, и изображений виртуальной карты местности, создавать и отображатькомбинированное изображение, предоставляющее летчику более подробную иточную информацию о местонахождении летательного аппарата, позволяющееосуществлять управление в сложных метеоусловиях, при плохой видимости, вночное время. Обеспечение экипажа такого рода информацией существенноповышает безопасность полетов.В качестве источников информации в таких системах могут использоваться:• телевизионные видео датчики (ТВ камеры),• инфракрасные (ИК) датчики различных диапазонов (коротковолновые идлинноволновые ИК камеры),• миллиметровые радары (МР),• лазерные локаторы (ЛЛ),• базы данных рельефа местности вдоль маршрутов полёта,• базы данных объектов аэропортов и взлётно-посадочной полосы (ВПП),• навигационные параметры ЛА другие.СформированнаясистемойEVSграфическаяинформациядалеепредставляется пилоту на одном из доступных устройств отображения – индикаторена лобовом стекле или многофункциональном индикаторе, представляющем собойдисплей, входящий в состав бортовой системы отображения информации.

В составеEVS выделяются две основные подсистемы:• СТЗ, выполняющая операции регистрации и обработки видеоинформации;• системакомпьютернойвизуализации(СКВ),непосредственноформирующая и представляющая пилоту графическую информацию о закабиннойобстановке.Наиболеевостребованнымизадачамидлясозданияполностьюавтоматических летательных аппаратов являются:– задача совмещения реального изображения, получаемого от одного изсенсоров, установленного на борту летательного аппарата, с изображениемвиртуальной модели местности, создаваемым на основе виртуальной карты;– задачи комплексирования и совмещения изображений, получаемых отдатчиков с различной природой формирования изображений.Анализ публикаций и научной литературы в области алгоритмов и методовсовмещения изображений, применимых для задач, требующих решения на бортувоздушного судна, позволяет выделить ряд проблем, которые возникают приобработке изображений различной физической природы.

Они обусловливаются 3 неоднородностью представления, различными формами хранения, рассогласованиемв работе регистрирующей аппаратуры.Степень разработанности темы. В настоящее время проблематикеобработки изображений уделяется значительное внимание в отечественной изарубежной литературе. Существенной вклад в развитие методов цифровойобработки изображений внесли отечественные ученые Алпатов Б.А.,Визильтер Ю.В., Еремеев В.В., Желтов С.Ю., Злобин В.К., Сергеев В.В.,Сойфер В.А.

и другие, а также зарубежные ученые Блейхут Р., Гонзалес Р., Понс Ж.,Прэтт У., Форсайт Д.На данный момент активно проводятся исследования по разработке исозданию систем совмещения и визуализации изображений в бортовыхвычислительных комплексах. Однако большая часть известных технологийобработки и конкретных алгоритмов обладают чрезмерно высокой вычислительнойтрудоемкостью, делающей затруднительным или невозможным их применение наборту летательного аппарата. Алгоритмы, пригодные для практического примененияв бортовых вычислителях, еще недостаточно освещены в научной литературе.В настоящей диссертации приведены разработанные автором новыенекорреляционные алгоритмы совмещения изображений, а также модификацииизвестных алгоритмов. Они, в сравнении с корреляционными алгоритмами,обладают высоким быстродействием и требуют существенно меньшихвычислительных затрат.

Приводится сравнительный анализ предлагаемыхалгоритмов с известными решениями.Цель диссертации состоит в повышении быстродействия систем совмещенияизображений до уровня, необходимого для использования в бортовомвычислительном комплексе летательных аппаратов за счет разработки иисследования алгоритмов, позволяющих снизить трудоемкость вычислительногопроцесса.Для достижения цели необходимо решение следующих задач:– осуществить анализ существующих методов и алгоритмов совмещенияизображений в бортовых вычислительных комплексах, в том числе рассмотретькорреляционные и некорреляционные подходы;– оценить степень пригодности существующих алгоритмических решений дляприменения в системах комбинированного видения летательных аппаратов;– разработать алгоритмы совмещения реальных изображений сизображениями ВММ, пригодные к применению в бортовых вычислителях;– разработать алгоритмы совмещения и взаимной геометрической коррекцииразнородных изображений;– разработать алгоритмы для оценки качества получаемых совмещений;– оценить реализуемость предложенных алгоритмов на специализированныхвычислителях, в частности, на программируемых логических интегральных схемах(ПЛИС).Научная новизна диссертации заключается в том, что в ней разработаныалгоритмы совмещения разнородных изображений в бортовых вычислительныхкомплексах, которые позволяют ускорить процесс совмещения изображений на 5258 % за счет применения методов контурного анализа и алгоритмов проективныхпреобразований без потери качества получаемых совмещений. 4 Теоретическая значимость работы состоит в том, что разработаныалгоритмы совмещения изображений для систем комбинированного видениялетательных аппаратов, основанные на методах контурного анализа и алгоритмахпроективных преобразований, а также алгоритмы оценки качества совмещения.Практическая значимость работы состоит в том, что на базе разработанныхалгоритмов созданы программные средства, обеспечивающие совмещениеизображений, полученных от бортовых видеодатчиков, с изображениями,построенными по виртуальной модели местности, и автоматическую оценкукачества получаемых результатов.Методология и методы исследования.