Диссертация (Разработка и исследование алгоритмов совмещения изображений от бортовых видеодатчиков с виртуальной моделью местности), страница 7

Для вычисления градиента в каждой точке в окрестности ключевойточки используются фильтры (маски) Хаара. Фильтр Хаара размером 6 6 дляоценки частной производнойIимеет следующий видx111Dx  111Оценка частной производнойполучается из приведеннойDx111111111111111111111111111.111Iнаходится с помощью маски, котораяyее транспонированием.

Оценки частныхпроизводных d x  D x  I  G и d y  D y  I  G , где G – значение функции Гауссас центром в ключевой точке и   2s , s – размер фильтра, находятся для всехфильтров в каждой октаве.В окрестности каждой ключевой точки строится квадрат, которыйразбивается на 16 квадрантов с сеткой размером 5 5 . В каждом квадрантевычисляются четверки чисел d x ,  d y ,  d x,  d y . Для их получения вкаждом квадранте необходимо 25 раз выполнить свертку изображения с фильтром40Хаара соответствующего размера. Значит, в окрестности каждой ключевой точкитакую свертку необходимо выполнить 400 раз.Отметим, что SURF используется для поиска объектов. Тем не менее,дескриптор не использует информацию об объектах.

SURF рассматриваетизображение как единое целое и выделяет особенности всего изображения,поэтому он плохо работает с объектами простой формы.1.6.2 Дескриптор SIFTОсновным моментом в детектировании особых точек является построениепирамиды гауссианов (Gaussian) и разностей гауссианов (Difference of Gaussian,DoG) [30].Гауссианом (или изображением, размытым гауссовым фильтром) называетсяизображение L( x, y, )  G ( x, y, )  I ( x, y ) .

L – значение гауссиана в точке скоординатами (x,y), а σ – радиус размытия. G – гауссово ядро, I – значениеяркости исходного изображения,  – операция свертки.Изображение, полученное путем попиксельного вычитания одного гауссинаисходного изображения из гауссиана с другим радиусом размытия, называютразностью гауссианов.D( x, y, )  (G( x, y, k)  G ( x, y, ))  I ( x, y )  L( x, y, k)  L( x, y, ) .В работе дескриптора SIFT вначале определяются координаты особой точкис субпиксельной точностью. Это достигается с помощью аппроксимированияфункции DoG многочленом Тейлора второго порядка, взятого в точкевычисленного экстремума:D T1 T 2DD( x)  D x xx.x2x 2Здесь D – функция DoG, X = (x,y,σ) – вектор смещения относительно точкиразложения, первая производная DoG – градиент, вторая производная DoG –матрица Гессе.41Смещениеточкивычисленногоэкстремума,относительноточного 2 D 1 Dˆопределяется как X  .

В ходе расчетов все производные вычисляютсяx 2 xпо формулам конечных разностей. В итоге имеем СЛАУ размерности 3×3,относительно компонент вектора X̂ .Если одна из компонент вектора X̂ превышает половину шага сетки ввыбранном направлении, это означает, что точка экстремума вычислена неверно,и необходимо сдвинуться к соседней точке в направлении указанных компонент.Длясоседнейточкивыполняютсяаналогичныедействия.Еслиприпоследовательном просмотре точек происходит выход за пределы октавы, тоданная точка исключается из рассмотрения. Когда положение точки экстремумавычислено, само значение DoG в этой точке проверяется на малость по формуле:1 DTD( xˆ )  D xˆ .2 xЕсли проверка не проходит, точка исключается, как имеющая малыйконтраст.Последняя проверка состоит в исключении плохо освещенных или лежащихна границе какого-либо объекта точек.

Такие точки имеют большой изгиб (однаиз компонент второй производной) вдоль границы и малый в перпендикулярномнаправлении.Следующим этапом работы дескриптора SIFT является нахождениеориентации ключевой точки. После того, как установлено, что некоторая точкаявляется ключевой, необходимо вычислить её ориентацию [31].Согласно [32] направление ключевой точки вычисляется исходя изнаправлений градиентов точек, соседних с ней.

Вычисления градиентовпроизводятся на изображении в пирамиде гауссианов, с наиболее близким кмасштабу ключевой точки масштабом.Величина и направление градиента в точке (x,y) вычисляются по формулам:42m( x, y )  ( L( x  1, y )  L( x  1, y )) 2  ( L( x, y  1)  L( x, y  1)) 2 ,m—величинаградиента,  ( x, y)  arctg((L( x, y  1)  L( x, y  1)) /(L( x  1, y)  L( x  1, y))2 ) , θ —направление градиента.Вначале определяется окрестность ключевой точки, в которой будутрассмотрены градиенты. По сути, это окно, требуемое для свертки с гауссовымядром, причем оно будет круглым, а радиус размытия для этого ядра σ равенполутора масштабам ключевой точки.

Радиус окна определяется как 3σ [32].Направление ключевой определяется из гистограммы направлений O,состоящей из 36 компонент, которые равномерно покрывают промежуток в 360градусов. Каждая точка окна (x,y) вносит вклад, равный m*G(x, y, σ), в тукомпонентугистограммы,котораяпокрываетпромежуток,содержащийнаправление градиента θ(x, y).Направлениеключевойточкилежитвпромежутке,покрываемоммаксимальной компонентой гистограммы. Значения максимальной компоненты(max) и двух соседних с ней интерполируются многочленом второй степени.Максимум многочлена принимается за направление ключевой точки. Если вгистограмме присутствуют компоненты со значениями не менее 0.8×max, ониобрабатываютсяаналогичнымобразомидополнительныенаправленияприписываются ключевой точке.Заключительным этапом выступает построение самого дескриптора.

Вкачестве дескриптора в методе SIFT используется вектор. Он вычисляется нагауссиане, ближайшем по масштабу к ключевой точке, исходя из градиентов внекотором окне ключевой точки. Дескриптор ключевой точки состоит изгистограмм, полученных в локальных регионах изображений, соседних сключевой точкой. На практике при обработке изображений чаще всегоиспользуются дескрипторы, содержащие 128 компонент (4×4×8) [32].431.6.3Выводыпоприменимостидескрипторовдлясовмещенияразнородных изображенийДескрипторы SURF и SIFT де-факто стали стандартами обработкиизображений. На их основе для решения различных задач обработки изображенийпостроено множество производных дескрипторов, различающихся по своимхарактеристикам и области применимости [33].Отметим, что для совмещения изображений различной физической природыизвестные дескрипторы особых точек применимы не всегда.

Так, совмещение сиспользованием SURF и SIFT дает весьма качественные результаты в случае, еслив качестве исходных выступают ТВ и (или) ТПВ изображения. Однакоприменение детекторов к изображениям, построенным по виртуальным моделямместности, с целью их совмещения с ТВ и ТПВ кадрами не дает желаемогорезультата по причине визуальной «скудности» виртуальных карт и отсутствия наних требуемых для нормальной работы детекторов особых точек перепадовяркостей.1.7 Основные выводы по главеНа основе проведенного анализа можно выявить основные преимущества инедостатки существующих подходов к совмещению изображений различнойфизической природы формирования.Корреляционно-экстремальные методы совмещения:Достоинства:− гарантированное получение квазиоптимального решения;− простота реализации с применением специализированных вычислителей;− глубокая теоретическая база и обширная практическая апробациясуществующих методов.Недостатки:− высокие вычислительные затраты, обусловленные необходимостьюгенерирования значительного количества виртуальных изображений (до 106штук).44Некорреляционные методы совмещения:Достоинства:−высокое быстродействие;−отсутствие необходимости в большом количестве виртуальныхизображений;−большая интеллектуальность, позволяющая получать в процессесовмещения дополнительную информацию об изображениях.Недостатки:−сложностьустановлениясоответствиямеждухарактернымиобъектами разнородных изображений, обусловленная различием в объектовомсоставе изображений различной природы;−существенное количество алгоритмов детектирования точечныхособенностей изображения опирается на вычисление дескрипторов, которыеоказываютсявесьманеустойчивымикгеометрическимияркостнымтрансформациям, что делает невозможным их применение для сопоставленияразнородных изображений.На основе полученных результатов более перспективными представляютсянекорреляционные алгоритмы совмещения изображений различной физическойприроды,однакоприихсозданиинеизбежновозникаетцелыйряддополнительных задач, требующих решения.Целесообразнойпредставляетсяпопыткаобъединенияпреимуществкорреляционных (высокая точность получаемых результатов, слабая зависимостьот структуры совмещаемых изображений) и некорреляционных методов (высокоебыстродействие) путем осуществления «грубого» совмещения с применениемнекорреляционных подходов, за счет чего возможно существенное сокращениепространства поиска наилучшего совмещения, и последующее «точное»совмещение с применением некоторого корреляционного алгоритма.

Одним изалгоритмов такого рода является алгоритм совмещения по единственной пареключевых точек, предлагаемый в параграфе 2.4 настоящего диссертационногоисследования.45Постановка задач исследования1. Необходимо разработать алгоритмы для совмещения изображенийвиртуальноймоделиместностистелевизионнымиитепловизионнымиизображениями, превосходящие по быстродействию известные корреляционныеалгоритмы.2. Необходимо разработать алгоритмы по оценке качества совмещенияизображений, позволяющих в автоматическом режиме без участия человекаоператора формировать объективную оценку качества совмещения изображений.3.

Разработать набор вспомогательных алгоритмов, позволяющих получитьконтурное описание основных объектов сцены.4. Оценить возможность аппаратной реализации предлагаемых алгоритмов,выработать рекомендации по их практическому применению.46ГЛАВА2.АЛГОРИТМЫСОВМЕЩЕНИЯИЗОБРАЖЕНИЙВСИСТЕМАХ КОМБИНИРОВАННОГО ВИДЕНИЯ2.1 Сравнение и выбор видов критериальных функцииКорреляционные и разностные критериальные функции оказываютсянепригодными для совмещения изображений с малым числом уровнейквантованияяркости.Вслучаебинарныхизображенийчислоуровнейквантования составляет 2, что исключает применение названных видов функцийдля их совмещения.

По этой причине для сравнительного анализа, как наиболееперспективные и обеспечивающие наилучшее решение задачи совмещения ТВ иТПВ изображений с изображениями виртуальной модели местности, выбраныпарные критериальные функции:функция Рао (1.7);функция совпадения нулей (1.8);функция Джекарда(1.9);функция Дейка (1.10);функция Соукала и Снита (1.11);функция Кулзинского (1.12);функция Роджерса и Танимото (I) (1.13);функция Роджерса и Танимото (II) (1.14);функция Соукала и Мишнера (1.15);функция Юла (1.16);функция Хаммана (1.17).Чтобы сравнить выбранные функции необходимо некоторое множествопоказателей качества целевой функции (ЦФ) QF  {qF1 , qF2 ,..., qFn } , на основаниикоторого будет выноситься решение о преимуществе одной функции над другой.К показателям качества можно отнести следующие характеристики функции[34, 36]: «трудоемкость, количество экстремумов, расстояние между ГЭ иближайшим по значению и по расстоянию локальным экстремумом (ЛЭ), среднеерасстояние между ближайшими ЛЭ, среднее значение целевой функции,47минимальное и максимальное значение функции, среднее квадратическоеотклонение значений (СКО) функций, СКО экстремумов функции, СКОрасстояний между экстремумами и т.д.».Методика отбора лучших критериальных функций приведена в работах [34,35].