Диссертация (Разработка и исследование алгоритмов совмещения изображений от бортовых видеодатчиков с виртуальной моделью местности), страница 18

Исходныеизображения2.Исходныеизображения послесовмещения по КТ3. Исходныеизображения послекорректировки углакрена4. Шаг 2 + 35. Шаг 4 +корректировка углатангажа6. Шаг 5 +корректировка повысоте1481226567701847,38%1481226567942263,61%1481226606543836,71%148121481226606266538035443254,24%29,92%14812234081083973,18%Шаг 1. Грубое совмещение исходных изображений, без какой-либокорректировки по параметрам позиционирования летательного аппарата (рисунок4.17). Качество совмещения низкое: 1  47,38% .Шаг 2.Совмещение реального и виртуального изображений за счет сдвига ихв плоскости Oxy по осям Ox и Oy до совмещения найденных пары ключевыхточек (рисунок 4.18 б).Шаг 3. Совмещение реального и виртуального изображений с учетомкорректировки по углу крена.

Угол, на который нужно повернуть одно из двухизображений определяется как угол между прямыми, аппроксимирующими линиигоризонта на изображениях (рисунок 4.18 г).Шаг 4. Совместное применение шага 2 и 3 (рисунок 4.18 е).Шаг 5. Совмещение реального и виртуального изображений послеприменения операций шага 4 и выполнения корректировки по тангажу.Корректировка по тангажу происходит до момента совпадения линий горизонтана реальном и виртуальном изображениях (рисунок 4.18з).Шаг 6. Корректировка по высоте после выполнения преобразованийизображений на шаге 5 (рисунок 4.18к).132абвгдеа – изображение ВММ после сдвига, б – результат совмещения с РИ;в – изображение ВММ после корректировки по крену,г – результат совмещения с РИ;д – изображение ВММ после сдвига и корректировки по крену,е – результат совмещения с РИРисунок 4.18 (начало)133жзикж – изображение ВММ после корректировки по тангажу,з – результат совмещения с РИ;и – изображение ВММ после корректировки по высоте,к – итоговый результат совмещенияРисунок 4.18 – Виртуальное изображение и получаемые на различных шагахалгоритма результатыВыполним преобразования, описанные в шагах 2 – 6.

На рисунке 4.18априведено виртуальное изображение, смещенное по осям Ох и Оу на величиныx  68 и y  17характерных(пикселей)точек.Насоответственнорисунке4.18бдопоказансовмещениянайденныхрезультатсовмещенияизображений. Досовмещение изображений по найденной паре ключевых точек(шаг 2) за счет сдвига одного изображения относительно другого позволяетсущественно увеличить значение показателя качества совмещения 1 (на 16 %).Без учета ошибок по высоте и тангажу, преобразование, выполненное в шаге2, может привести к смещению линий горизонта на сравниваемых изображениях.134Этот эффект можно наблюдать на рисунке 4.18б.

Для устранения этих смещений,необходимо выполнить корректировки по углам крена и тангажа, а также высотеЛА.На рисунке 4.18в приведено виртуальное изображения после выполнениякорректировки по крену на величину   1,088  (шаг 3), а на рисунке 4.18г –показан результат совмещения изображений. Линии горизонта теперь совпадают,но одновременно произошло, как и следовало ожидать, смещение контуров реки вплоскостиOxy.Значениепоказателякачествасовмещенияизображенийуменьшилось почти на 27 % (с 63,61 % до 36,7 %).Значит, внесение поправок по углу крена позволяет существенно повыситькачество совмещения линий горизонта, выделенных на реальном и виртуальномизображениях. Однако это преобразование одновременно приводит к смещениюхарактерных точек и всего изображения.

Поэтому вновь выполняется сдвигизображений в плоскости Oxy до совмещения характерных точек (рисунок4.18 е).В результате этого преобразования (шаг 4) пара характерных точексовмещена, линии горизонта параллельны. Однако сохраняется недосовмещениеизображений по оси Ox на неизвестную величину ∆Z. Устранить этонедосовмещение можно в рамках пошаговой процедуры за счет корректировкизначений угла тангажа и высоты. Результаты цепочки таких преобразований (шаг5) приведены на рисунках 4.18ж-к. Итоговые значения корректировок значенийугла тангажа и высоты таковы:   0,3 , h  20 м .Подведем кратко итог проведенного исследования. Во-первых, показанавозможностьоценкикачествасовмещенияизображенийспомощьюколичественных показателей качества совмещения, основанных на определенииплощади замкнутых контуров. Во-вторых, выполнена демонстрация работыалгоритма предсовмещения изображений. Показано, что в результате выполнениягруппыпреобразованийвиртуальногоизображениядостигается135удовлетворительное качество совмещения и при этом удается получить оценкиошибок навигационных данных:О качестве совмещения можно судить как визуально (рисунок 4.19к), так ипо значениям коэффициента 1 , приведенным в таблице 4.1 (последняя строка,выделено полужирным).

Его величина в итоге достигла максимального значения:1  73,18% .4.3.2 Сравнительный анализ трудоемкости алгоритмов совмещенияВ случае решения задачи совмещения реального и виртуального изображениянаиболее трудоемкой операцией является создание большого количестваизображений, генерируемых по виртуальной модели. Для известных алгоритмовсовмещения необходимо:- в среднем 700 виртуальных изображений для корреляционного совмещения(в случае применения генетического алгоритма [72]);- в среднем 490 виртуальных изображений для корреляционного совмещения(в случае использования неравномерной сетки перебора [73]);- в среднем 50 виртуальных изображений при использовании предлагаемогоалгоритма совмещения, использующем единственную пару ключевых точек.В таблице 4.2 приведены временные затраты для различных способовсовмещения, разбитые по этапам процедуры совмещения.

Следует отметить, чтопредлагаемые алгоритмы совмещения по единственной паре ключевых точек и сиспользованиемпроективныхпреобразованийтребуютвсравнениискорреляционными алгоритмами более длительной предварительной обработкисовмещаемых изображений.Предлагаемый алгоритм совмещения по единственной паре ключевых точекобеспечивает выигрыш в быстродействии в сравнении с корреляционнымсовмещением на 52-58 %.

Алгоритм совмещения с использованием проективныхпреобразований обеспечивает выигрыш в 42-46 %. Диаграмма временных затратна работу различных алгоритмов приведена на рисунке 4.19.136Таблица 4.2 – Временные затраты при различных способах совмещения№ п/пКорреляционныйметод (ГА)Переборпо Совмещениепо Совмещениеснеравномернойединственной паре использованиемсеткеключевых точекпроективныхпреобразований1Предварительная обработка изображения и выделение границ – 0,7с.2КорреляционноеКорреляционноеНекорреляционнаяНекорреляционнаясовмещениес совмещениес часть:часть:использованиемиспользованием2.1)выделение 2.1)выделениеГА - 10 снеравномернойконтуров значимых контуров значимыхсетки перебора - 7 с объектов – 0,6 с;объектов – 0,6 с;2.2) аппроксимация 2.2) аппроксимацияконтуровконтуровмногоугольниками – многоугольниками –0,5 с;0,5 с;2.3)сокращение 2.3)сокращениечислаточекв числаточеквмногоугольниках – многоугольниках –0,3 с;0,3 с;2.4)установление 2.4)установлениесоответствия между соответствия междуточками – 0,1 с;точками – 0,2 с;2.5) совмещение понайденнойпареточек – 0,1 с.3КорреляционнаяПреобразованиечасть – 0,8 с.одного изображенияк плоскости другого– 1,2 с.Итого: 10,4с7,4с2,8с3,5Рисунок 4.19 – Временные затраты различных методов совмещения4.3Применение137алгоритмасовмещениясиспользованиемпроизвольного количества пар ключевых точекПриведемпримерысовмещениятелевизионногоитепловизионногоизображений с применением алгоритма, предусматривающего определениеэлементов матрицы гомографии по количеству пар ключевых точек, отличному от4.Телевизионная и тепловизионная камеры жестко закреплены на некоторомрасстоянии друг от друга на борту воздушного судна.

Параметры камер:телевизионная – горизонтальныйугол обзора 41°, вертикальный 30,7°,тепловизионная система имеет поле зрения 20° × 16° по горизонтали и вертикалисоответственно. Поскольку взаимное расположение камер в процессе полета неменяется, то естественно ожидать, что матрица гомографии для данногофиксированного положения камер в ходе конкретного полета также меняться небудет.Значит,можновыбратьпаручеткихизображенийподстилающейповерхности, содержащей четко выделенные (на исходном изображении) контурыобъектов и осуществить поиск матрицы гомографии с их использованием.Совмещение дальнейших кадров видеоряда осуществляется с использованиемединожды рассчитанной матрицы гомографии.Проведенные эксперименты подтвердили это предположение.