Диссертация (Разработка и исследование алгоритмов совмещения изображений от бортовых видеодатчиков с виртуальной моделью местности), страница 19

Корректнорассчитанная один раз матрица гомографии обеспечивала хорошее совмещениетелевизионного и тепловизионного изображений на протяжении всего полета.Экспериментальное исследование алгоритма состояло в следующем:После этапа выделения контуров объектов на исходных изображениях имеемпоследовательность бинарных изображений. Эксперименты проводились надпоследовательностью из 7 изображений одного и того же участка земнойповерхности, полученных с борта летательного аппарата с промежутком междусоседними снимками в 1 секунду.

Пара таких изображений приведена нарисунке 4.20.138Рисунок 4.20 – Два кадра видеоряда с интервалом в 1 секундуВ результате применения алгоритма получения связанных контуров,описанного в параграфе 2.3.4 получаем множество контуров объектов {Γ ij } ,обнаруженныхнавсехизображениях,гдеi –номеризображениявпоследовательности, j – номер объекта на i -ом изображении.Для некоторого контура объекта Γ ij необходимо найти соответствующийему контур Γ i 1,k , где k – номер соответствующего объекта на (i  1) -омизображении.

На изображениях, выбранных для эксперимента, имеется четыреобъекта: 1 – река, 2 – старое русло реки, 3 – большое озеро, 4 – маленькое озеро(рисунок 4.20).Длякаждогообъектанапервом изображениисравниваемойпарыпроизводится поиск наиболее похожего объекта на втором изображении пары. И,наоборот, для каждого объекта на втором изображении производится поискнаиболее похожего объекта на первом. Если объекты похожи друг на друга,соответствие считается установленным.

Такая взаимная проверка соответствияпозволяет отбросить ложные пары.Длясравненияконтуровавтокорреляционных функцийij k  объектоввычисляютсяij ,  ij ij  , i  1,7,i , j k,значенияj  1,4, k  1, n . Здесь139ij  x1, y1 , x2 , y2 ,..., xn , yn  –координатноеij , ij  описаниеij ,контураn22,  xm  iyn   x(k  m) mod n   iy( k  m) mod n . xm  ym , ijni, j  km1m 1Вычисляем автокорреляционные функции ij k  , k  1, n для каждого j -гоконтура объекта на каждом i -ом изображении.

Полученные автокорреляционныефункции  ij k  нельзя сравнивать непосредственно друг с другом, поскольку онипредставляют собой векторы различной длины. Эта длина совпадает сколичеством точек, образующих контур, которое в общем случае может бытьразличным.Поэтомуавтокорреляционныефункциидалееподвергаютсяпроцедуре передискретизации с помощью стандартной функции resample языкаMATLAB. После этого их можно сравнивать между собой.

На рисунке 4.21представлены примеры автокорреляционных функций после передискретизациидля трех изображений последовательности *ij : а, б, в, г для первого, второго,третьего и четвертого объектов соответственно.Затем вычисляется мера сходства автокорреляционных функций для каждойпары сравниваемых объектовn / 2mij, i s j      ijk   is , j k ,k 1i  1,7, j , j   1,4, i s  1,2,...,7, i s  i.В таблице 4.3 представлены значения, полученные при сравнении объектовна втором и на третьем изображениях i  2, is  3 .Таблица 4.3 – Значения меры сходства автокорреляционных функций№ объектана третьемизображении1234№ объекта на втором изображении17.2318.949.5627.44214.927.418.5515.17310.4314.686.1521.56426.288.8517.736.35140абвга – для первого объекта; б – для второго объекта; в – для третьего объекта;г – для четвертого объектаРисунок 4.21– Пример автокорреляционных функций после передискретизацииВидно,чтосоответствиемеждуобъектаминавторомитретьемизображениях установлено правильно.

Подобным образом анализируются иостальные пары изображений. В результате экспериментов удалось проследитьперемещение первых трех объектов от изображения к изображению. Четвертыйобъект (маленькое озеро) постепенно уходит из поля зрения камеры, поэтомуправильно сопоставлен только в половине случаев.После этапа установления взаимного соответствия между объектами наизображениях, требуется для каждой найденной пары объектов установитьсоответствия между участками контуров этих объектов.

Это нужно длянахожденияпредполагаемыхизображений.Сравнение141пар ключевыхучастковконтуров(соответствующих)объектовточекпроводилосьсиспользованием алгоритма формирования подконтура, предложенного в работе[74].Далеепарысоответствующихточек,обнаруженныенаконтурах,объединяются по всем объектам в единое множество пар точек для парыизображений. Среди этих пар могут быть ложные. Предполагаемые парысоответствующих точек, найденные на контурах для всех объектов на втором итретьем изображениях, представлены на рисунке 4.22.Рисунок 4.22– Предполагаемые пары соответствующих пар точек на второми на третьем изображенияхСиним цветом обозначены контуры объектов на втором изображении,зеленым – на третьем, красным – линии, соединяющие соответствующие точки.Видно, что несмотря на наличие нескольких ложных соответствий в основномпары точек обнаружены верно.Найденные пары ключевых точек используются для вычисления матрицыгомографии.

При этом необходимо отбросить ложные соответствия. Для этогоможно использовать алгоритм RANSAC или какой-либо альтернативныйалгоритм.Вданномслучаедлявычисленияматрицыгомографиипоподмножеству выбранных среди правильно установленных пар соответствующихточек использовался специально разработанный алгоритм, изложенный в142параграфе 2.3.7. Результирующая матрица гомографии, полученная для второго итретьего изображений, имеет вид 0,86H 2,3   0,01 - 5  10-5- 0,150,77- 33  10-541,69 23,31.1 Можно проверить правильность нахождения гомографии между плоскостямиЗемли на изображениях, преобразовав контуры объектов на третьем изображениик плоскости контуров объектов на втором изображении. Результат представлен нарисунке 4.23.Рисунок 4.23– Совмещение контуров объектов на втором и на третьемизображенияхПолученную матрицу гомографии можно использовать для совмещенияисходных изображений земной поверхности.

Поскольку на изображенияхпредставлена равнинная местность, можно преобразовать плоскость Земли наодном из изображений к плоскости Земли на другом изображении, затемвыполнить слияние этих изображений. Результат слияния преобразованноговторого изображения исходной последовательности с третьим изображениемпредставлен на рисунке 4.24.143Рисунок 4.24– Результат слияния пары изображенийБыла выполнена оценка качества совмещения изображений с применениемалгоритма оценки качества, изложенного в параграфе 3.4. Для простогоналожения пары исходных изображений показатель качества составил α=0,431.Для совмещения, представленного на рисунке 4.23, оценка качества α=0,919, чтоможноинтерпретироватькакоченьхорошеесовмещение.Иллюстрацияпредставлена на рисунке 4.25.Рисунок 4.25– Оценка качества совмещения контуровВ качестве дополнительной иллюстрации работы алгоритма на рисунке 4.26приведены исходные изображения (в ТПВ и ТВ диапазонах) одного участкаподстилающей поверхности, полученные с камер в некоторый момент времени атакже результат их совмещения с помощью найденной матрицы гомографии.144ТВП кадрТВ кадрРезультат совмещенияТВП кадрТВ кадрРезультат совмещенияРисунок 4.26 – Совмещение изображений подстилающей поверхностиВесьмаинтересными145представляютсясовмещениятехкадроввидеопоследовательностей, где наблюдается сильный засвет телевизионногоизображения, при котором оно становится совершенно непригодным длявизуального восприятия.

Однако, за счет совмещения с тепловизионным кадром,удается получить информативное изображение подстилающей поверхности.Иллюстрация такого рода совмещений приведена на рисунке 4.27.ТВП кадрТВ кадрРезультат совмещенияРезультат совмещенияРисунок 4.27 – Совмещение изображений подстилающей поверхности вусловиях засвеченности ТВ изображения146Также было выполнено совмещение кадров видеоряда с изображениями,построенными по виртуальной модели местности с применением предлагаемогоалгоритма.

Результаты совмещения приведены на рисунке 4.28.аба – результат совмещения для сцены 1; б – результат совмещения для сцены 2Рисунок 4.28 – Результаты совмещения реального и виртуального изображений4.4 Описание аппаратной реализации предлагаемых алгоритмовОсновные алгоритмы, предложенные в работе, были реализованы аппаратнона базе программируемых логических интегральных схем (ПЛИС), применениекоторых возможно на борту летательного аппарата.Структурная схема реализации однопоточного вычислителя в ПЛИСприведена на рисунке 4.29. Структурная схема реализации многопоточноговычислителя для восьми вычислительных блоков приведена на рисунке 4.30.Каждый из восьми вычислительных модулей по своей структуре идентиченвычислителю на рисунке 4.29.При реализации указанных структур как модели, когда отсутствуютзадержки передачи данных, загрузка двух буферов размером 704×576 элементовзанимает 16 мс, полная обработка данных занимает 300 мс при частоте 50 МГц.Отладочная плата на кристалле Virtex7 имеет тактовый генератор с частотой 200МГц, т.е.

скорость обработки увеличится примерно в 4 раза.147Модуль верхнего уровняВычислительный модульCLKШАШУШУEthernetКонтроллер GigabitEthernetШДПамятьпервогоизображенияШАШДШУШДПамятьвторогоизображенияРисунок 4.29 – Структурная схема реализации однопоточного вычислителяв ПЛИСМодуль верхнего уровняВычислительныймодуль 1CLKВычислительныймодуль 2ШУEthernetКонтроллер GigabitEthernetШД...Вычислительныймодуль 7Вычислительныймодуль 8Рисунок 4.30 – Структурная схема реализации многопоточного вычислителяв ПЛИС1484.4.1 Реализация алгоритма преобразования одного изображения кплоскости другого с применением матрицы гомографииРеализация алгоритма преобразования одного изображения к плоскостидругого с применением матрицы гомографии на FPGA выполнена следующимобразом.В основе алгоритма лежит операция матричного умножения матрицыгомографии H на матрицу М .