Диссертация (Разработка и исследование алгоритмов совмещения изображений от бортовых видеодатчиков с виртуальной моделью местности), страница 2

Слияниереального и виртуального изображений, то есть объединение изображений отдатчиков, имеющихся на борту, и SVS-изображения в единое изображение CVS,способно значительно улучшить ситуационную осведомленность экипажа ЛА.Основные проблемы при создании систем комбинированного видениясвязаны с разработкой:–алгоритмов предварительной обработки изображений от сенсоров СТЗ(изменение диапазона яркостей, выделение границ объектов, утоньшение ивекторизацияфрагментов,формированиесвязныхфрагментов)сцельюулучшения видения и подготовки их для геометрического совмещения сизображениями ВММ;6–алгоритмов геометрического совмещения изображений от датчиков наборту ЛА и SVS изображений, которые могут исполнятся в бортовомвычислителе в режиме реального времени;–эффективныхспособовсовместнойвизуализацииреальныхивиртуальных изображений, обеспечивающих экипаж ЛА максимально полнойинформацией о состоянии окружающей среды.Наиболее сложной является задача совмещения получаемых от сенсоров СТЗизображений, с изображением виртуальной модели местности, создаваемым сиспользованием цифровой карты местности (ЦКМ) с учетом навигационныхданных летательного аппарата: текущих координат местоположения и угловпозиционирования линий визирования сенсоров СТЗ.

Причиной этого служитсущественная величина погрешности определения местоположения ЛА впространстве.Совместная визуализация изображений после совмещения гораздо болеепростая задача и не представляет особенных затруднений. Как правило,визуализация реализуется как смешение изображений с различной степеньюслияния в различных частях экрана в зависимости от характера сцены и фазывыполнения полета.Погрешности определения текущих координат местоположения и высотылетательного аппарата и углового позиционирования сенсоров СТЗ, а такжекартографическая погрешность, приводят к существенному несовпадениюреальных изображений, полученных от сенсоров СТЗ, с изображениями ВММ.

Вбольшинстве систем суммарная погрешность составляет 35...45 м по координатамместоположения (широта и долгота), 6...13 м по высоте и 0,1˚...0,2˚ по углампозиционирования (курс, крен и тангаж). Расхождение реальных изображенийподстилающей поверхности и изображения ВММ увеличивается с уменьшениемвысоты. На высотах порядка 100 м ошибка может достигать величины порядка 1радиана, в то время как предельные погрешности совмещения изображений EVS иSVS в соответствии с требованием 3.1.3.3 руководства Р-315 [2, 3] не должныпревышать 5 мрад по горизонтали и по вертикали в центре изображения [4].7Разработка конкретных систем обработки изображений на борту ЛАопределяется следующими основными особенностями.Во-первых, при разработке подсистем обработки и совмещения изображенийна борту ЛА требуется решать не проблему общего автоматического пониманияизображения некоторой произвольной сцены, а более узкую задачу проблемноориентированной интерпретации изображения.

Обычно эта задача сводится кобнаружениюиидентификациинаизображениинаборапримитивов,соответствующих реальным физическим объектам, присутствие которых должнонекоторым образом отражаться на управлении ЛА.Во-вторых,кинформационногоалгоритмамобеспеченияобработкиизображенийпредъявляютсявподсистемахспециальныетребования,связанные с назначением и конкретными характеристиками разрабатываемой илиуже существующей системы управления ЛА.В последнее время одной из наиболее актуальных задач современнойавионики стало создание систем улучшенного видения (Enhanced Synthetic VisionSystem – ESVS).

Системы данного класса позволяют путем совмещения реальныхизображений,получаемыхотдатчиковсистемтехническогозрения,установленных на борту ЛА, и изображений виртуальной карты местности,создавать и отображать комбинированное изображение, предоставляющеелетчикуболееподробнуюиточнуюинформациюоместонахождениилетательного аппарата, позволяющее осуществлять управление в сложныхметеоусловиях, при плохой видимости, в ночное время. Обеспечение экипажатакого рода информацией существенно повышает безопасность полетов.В качестве источников информации в таких системах могут использоваться:телевизионные видео датчики (ТВ камеры),инфракрасные (ИК) датчики различных диапазонов (коротковолновыеи длинноволновые ИК камеры),миллиметровые радары (МР),лазерные локаторы (ЛЛ),базы данных рельефа местности вдоль маршрутов полёта,8базы данных объектов аэропортов и взлётно-посадочной полосы(ВПП),навигационные параметры ЛА другие.СформированнаясистемойEVSграфическаяинформациядалеепредставляется пилоту на одном из доступных устройств отображения –индикатореналобовомстеклеилимногофункциональноминдикаторе,представляющем собой дисплей, входящий в состав бортовой системыотображения информации.

В составе EVS выделяются две основные подсистемы:СТЗ,выполняющаяоперациирегистрациииобработкивидеоинформации;системакомпьютернойвизуализации(СКВ),непосредственноформирующая и представляющая пилоту графическую информацию о закабиннойобстановке [4, 5].Использованиесовременныхцифровыхвидеодатчиковсвысокимразрешением позволило приблизить информативность искусственных зрительныхустройств к соответствующим характеристикам человеческого глаза.

Аппаратныевозможности, предоставляемые последними достижениями электроники ивычислительной техники, настолько высоки, что вычислительные мощностиперспективных бортовых ЭВМ практически равны мощностям обработкиизображений, применяемых в человеческом мозгу. Таким образом, для созданияполностью автоматических летательных аппаратов, выполняющих задания любойсложности, требуется лишь создание и разработка методов и алгоритмовпонимания, классификации и интерпретации изображений, получаемых отразличных элементов СТЗ. Однако названная задача является весьма трудной длярешения и практической реализации.

Наиболее востребованными являются:– задача совмещения реального изображения, получаемого от одного изсенсоров, установленного на борту летательного аппарата, с изображениемвиртуальной модели местности, создаваемым на основе виртуальной карты;– задачи комплексирования и совмещения изображений, получаемых отдатчиков с различной природой формирования изображений [6, 7].9Здесь имеет смысл ввести понятие разнородных и однородных изображений.Подразнороднымибудемпониматьизображения,зафиксированныеразнотипными сенсорами технического зрения, такими как телевизионная(тепловизионная) камера, радиолокационная система, лазерный локатор и т.д.Особое место занимают изображения, построенные по виртуальной моделиместности по причине их «искусственности». Они не отражают напрямуюнекоторую информацию о внешнем физическом поле, а лишь априорнуюкартографическуюинформацию.Пододнороднымибудемпониматьизображения, полученные от однотипных сенсоров технического зрения, кпримеру,изображения,полученныеотдвухтелекамерилителе-итепловизионной камер будут однородными, от телевизионной камеры ирадиолокационной системы – разнородными.Анализ публикаций и научной литературы в области алгоритмов и методовсовмещения изображений, применимых для задач, требующих решения на бортувоздушного судна, позволяет выделить ряд проблем, которые возникают приобработке изображений различной физической природы.

Они обусловливаютсянеоднородностьюпредставления,различнымиформамихранения,рассогласованием в работе регистрирующей аппаратуры.Степень разработанности темы. В настоящее время проблематикеобработки изображений уделяется значительное внимание в отечественной изарубежной литературе. Существенной вклад в развитие методов цифровойобработки изображений внесли отечественные ученые Алпатов Б.А., ВизильтерЮ.В., Еремеев В.В., Желтов С.Ю., Злобин В.К., Сергеев В.В., Сойфер В.А. идругие, а также зарубежные ученые Блейхут Р., Гонзалес Р., Понс Ж., Прэтт У.,Форсайт Д.На данный момент активно проводятся исследования по разработке исозданию систем совмещения и визуализации изображений в бортовыхвычислительных комплексах.

Однако большая часть известных технологийобработкииконкретныхалгоритмовобладаютчрезмерновысокойвычислительной трудоемкостью, делающей затруднительным или невозможным10их применение на борту летательного аппарата. Алгоритмы, пригодные дляпрактического применения в бортовых вычислителях, еще недостаточноисследованы и освещены в научной литературе. В настоящее время не существуетуниверсальныхподходов,которыемоглибыобеспечитьтребуемуюэффективность для всех сфер и условий применения. По этой причине примодификации существующих и, особенно, при разработке новых алгоритмовсовмещения изображений необходимо принимать во внимание спецификупредметной области, характеристики ТВ и тепловизионных (ТПВ) датчиков,установленных на борту ЛА и качество ВММ.В настоящей диссертации приведены разработанные автором новыенекорреляционные алгоритмы совмещения изображений, а также модификацииизвестных алгоритмов.

Они, в сравнении с корреляционными алгоритмами,обладаютвысокимбыстродействиемитребуютсущественноменьшихвычислительных затрат. Приводится сравнительный анализ предлагаемыхалгоритмов с известными решениями.Одной из основных проблем в вопросе совмещения изображений,возникающих при создании систем улучшенного видения, является реализацияпредлагаемых методов и алгоритмов в бортовом вычислителе, что накладываетсущественные ограничения на возможные способы совмещения изображений.Цельдиссертациисостоитвповышениибыстродействиясистемсовмещения изображений до уровня, необходимого для использования вбортовом вычислительном комплексе летательных аппаратов за счет разработки иисследования алгоритмов, позволяющих снизить трудоемкость вычислительногопроцесса.Для достижения цели необходимо решение следующих задач:- осуществить анализ существующих методов и алгоритмов совмещенияизображений в бортовых вычислительных комплексах, в том числе рассмотретькорреляционные и некорреляционные подходы;- оценить степень пригодности существующих алгоритмических решенийдля применения в системах комбинированного видения летательных аппаратов;11-разработатьалгоритмысовмещенияреальныхизображенийсизображениями ВММ, пригодные к применению в бортовых вычислителях;- разработать способы и алгоритмы совмещения и взаимной геометрическойкоррекции разнородных изображений;- разработать алгоритмы для оценки качества совмещения изображений;- оценить реализуемость предложенных алгоритмов на специализированныхвычислителях, в частности, на программируемых логических интегральныхсхемах (ПЛИС).Научная новизна диссертации заключается в том, что в ней разработаныалгоритмы совмещения разнородных изображений в бортовых вычислительныхкомплексах, которые позволяют ускорить процесс совмещения изображений на52-58 % за счет применения методов контурного анализа и алгоритмовпроективных преобразований без потери качества получаемых совмещений.Теоретическая значимость работы состоит в том, что разработаныалгоритмы совмещения изображений для систем комбинированного видениялетательных аппаратов, основанные на методах контурного анализа и алгоритмахпроективных преобразований, а также алгоритмы оценки качества совмещения.Практическаязначимостьработысостоитвтом,чтонабазеразработанных алгоритмов созданы программные средства, обеспечивающиесовмещениеизображений,изображениями,полученныхпостроеннымипоотбортовыхвиртуальнойвидеодатчиков,моделиместности,сиавтоматическую оценку качества получаемых результатов.Объект исследования – методы и алгоритмы совмещения изображений вбортовых вычислителях летательных аппаратов, особенностью которых являетсяиспользование в качестве исходных изображений различной физической природыформирования и картографической информации.Предмет исследования – определен перечнем задач, решаемых вдиссертации, который совпадает с предметной областью п.5 «Разработка иисследованиемоделейиалгоритмованализаданных,обнаружениязакономерностей в данных и их извлечениях, разработка и исследование методов12и алгоритмов анализа текста, устной речи и изображений» и п.7 «Разработкаметодовраспознаванияизображений,образов,решающихфильтрации,правил»паспортараспознаванияспециальностиисинтеза05.13.17–Теоретические основы информатики.Методология и методы исследования.