Диссертация (Разработка и исследование алгоритмов совмещения изображений от бортовых видеодатчиков с виртуальной моделью местности), страница 20

Матрица М – координата одного пикселяпреобразуемого изображения: h11 h12H   h21 h22 h31 h32h13  xh23  , M   y  . 1 1Результат произведения матриц можно записать в следующем виде: x М '   y  ,  z  x'  h11  x  h12  y  h13 1, y '  h21  x  h22  y  h23 1, z '  h  x  h  y  1 1.3132При реализации алгоритма в ПЛИС следует выделить следующее:−вычисление значений x' , y ' , z ' возможно производить параллельно;−операции произведений h11  x , h21  x , h31  x и h12  y , h22  y , h32  yвозможно выполнять одновременно;−операции умножения констант на единицу h13 1 , h23 1 и 11 следуетсразу заменить константами h13 , h23 и 1;−Во избежание ошибок, вызванных неравномерным распространениемсигналов, вычисление сумм следует разбить на 2 действия.Граф конечного автомата, реализующего произведение матриц, представленна рисунке 4.31.149С0С1С2С3С4СКС5Рисунок 4.31 – Граф конечного автоматаСостояния автомата имеют следующий смысл:C0 – начальное состояние, установка начальных значений x и y;С1 – вычисление произведений;C2 – вычисление суммы, шаг 1;С3 – вычисление суммы, шаг 2;С4 – фиксация новых значений;С5 – при исчерпании точек для обработки (К) – переход в начальноесостояние, иначе (С) –переход к следующим координатам (переход в состояниеС1).Для каждого кадра видеопоследовательности автомат пребывает в состоянииС1 только 1 раз, затем циклически повторяется цепочка С2→С3→C4→С5→С2.Таким образом, для пересчёта координат одной точки требуется 4 тактасинхроимпульса.Данный автомат в общем случае можно использовать параллельно дляпроизвольного числа обрабатываемых точек, но это сильно усложняет структуруустройства и его отладку.

Поэтому было принято решение использовать 32параллельно работающих блока. Тогда для обработки изображения размером704×576 требуется 50688 тактов. Это соответствует 1,013 мс при частоте 50 МГци ≈0.25мс при частоте 200 МГц. Выполнение аналогичной операции пересчетакоординат пикселей одного изображения к плоскости другого на ЭВМклассической архитектуры с однопоточной обработкой занимает в среднем 65мс.В случае использования четырех ядер процессора, время обработки сокращается150до 17 мс.

Получаем, что аппаратная реализация алгоритма преобразования одногоизображения к плоскости другого позволяет повысить быстродействие в 65 раз.После вычисления координат пикселей одного изображения, в плоскостидругого, требуется лишь перестановка яркости пикселей в соответствии с новымикоординатами.

Возможно также комплексирование совмещаемых изображений.4.4.2 Реализация алгоритма оценки качества совмещения изображенийна основе межпиксельного расстоянияОбработкаизображенийплавающимокномлегкоподдаётсяраспараллеливанию. Алгоритм оценки качества (приведен в пункте 3.4)относительно прост и использует малое количество элементов внутренней логикикристалла, что позволяет одновременное использование большого количестваобработчиков.Более узкое место – память кристалла. Однако, для реализации указанногоалгоритма используются только два буфера памяти (реализованные напараметризированныхблокахXilinxCoreиGenerator)массивиз25шестнадцатибитных регистров, хранящий смещения относительно адреса центраокна.При реализации параллельной структуры необходимо учитывать перекрытия– области изображения, загружаемые одновременно в два обработчика. Дляизображений размером 704×576 пикселей целесообразно использовать от восьмидо десяти параллельно работающих блоков.Каждыйблокобработчикапредставляетсобойконечныйавтомат,содержащий 3 состояния:1) загрузка части изображения с перекрытием в память;2) непосредственно обработка – отыскание на втором изображении черныхточек в окрестности k×k обрабатываемой черной точки на первом изображении(размер окрестности поиска принят равным 5×5);3) расчет локальных и интегральных показателей качества совмещения;4) передача обработанной части изображения на Ethernet.151На обработку одной точки первого изображения требуется от 1 до 50 тактов.Если на первом (исходном изображении) яркость точки равна 255, то обработчиксразу переходит к следующей точке, затрачивая 1 такт.

Если яркость точкипервого изображения равна 0, а на втором изображении в пределах окна 5×5 нетточек с яркостью 0, то обработчик затрачивает 25 тактов. В случае, когда навтором изображении в окрестности 5×5 есть точка с яркостью 0, на её обработкутратится два такта: 1 – сравнение, 2 – запись по текущему адресу значениеяркости – 100.

То есть если для черной точки первого изображения все точки окнавторого изображения также черные, обработчику потребуется 50 тактовсинхроимпульса.Дополнительные затраты на расчет интегральных и локальных показателейкачества можно оценить в среднем как 5 тактов на 1 пиксель обрабатываемогоизображения. На рисунке 4.32 приведена оценка предельного быстродействияобработки, измеряемая в кадрах в секунду, в зависимости от доли черныхпикселей на первом обрабатываемом изображении.Рисунок 4.32 – Зависимость предельного быстродействия от доли черныхпикселей на изображенииНа практике возможно обрабатывать от 100 до 120 кадров в секунду, аограничения на скорость обработки будет накладывать только канал передачиданных.

В нашем случае используется Ethernet 1 Gbit.152При реализации данного подхода с применением вычислительной машиныклассической архитектуры с однопоточной обработкой была достигнута скоростьобработки в 12-14 кадров в секунду. Таким образом, аппаратная реализацияалгоритма оценки качества совмещения изображений на основе межпиксельногорасстояния позволяет повысить быстродействие оценки качества в 8,5 раза.4.5 Основные выводы по главеВ главе представлена структура разработанных программных средств дляисследования и отладки алгоритмов совмещения изображений от бортовыхдатчиков с изображениями ВММ, а также оценивания качества получаемыхрезультатов совмещения.

Основные результаты:1.Приведенырезультатыэкспериментальнойпроверкиалгоритмов,предлагаемых в главах 2 и 3, показана эффективность предложенных решений всравнениискорреляционнымиметодамииалгоритмамисовмещенияосновныхалгоритмов,изображений.2.Проработанааппаратнаяреализацияпредложенных в настоящей работе: алгоритма проективного преобразованияодного изображения к плоскости другого, алгоритма оценивания качествасовмещенияизображенийнаосновемежпиксельногорасстояния.Продемонстрирован выигрыш в быстродействии, получаемый за счет реализацииназванных алгоритмов в ПЛИС.3.В ходе апробации алгоритмов доказана их применимость для решениязадачи совмещения изображений в бортовом вычислительном комплекселетательного аппарата.153ЗАКЛЮЧЕНИЕВ представленной работе выполнены исследования и разработка алгоритмовпо совмещению изображений в бортовом вычислительном комплексе, в томчисле:1.Обоснован набор критериальных функций, применимых в системахкомбинированного видения летательных аппаратов.2.Предложен алгоритм совмещения изображений, основанный на поискеединственной пары ключевых точек, позволяющий сократить число изображенийВММ, требуемых для совмещения, в 10-12 раз и ускоряющий процесссовмещения на 52-58%.3.Предложенпошаговыйалгоритмпоискаматрицыгомографии,применяемый в случае наличия недостоверных пар точек, использующийнахождение элементов матрицы гомографии по произвольному числу ключевыхточек, позволяющий ускорить совмещение изображений на 42-46% в сравнении скорреляционными алгоритмами.4.Предложен алгоритм выделения на изображениях значимых объектов,позволяющий повысить качество получаемых совмещений α на 0,15–0,18.5.Предложеналгоритмотсеиванияизпроизвольныхнаборовнедостоверных пар ключевых точек.6.Предложены алгоритмы оценки качества результатов совмещенияизображений, основанные на определении расстояния между точками контуров ивзаимного расположения протяженныхлиний, позволяющие производитьавтоматический сравнительный анализ результатов работы различных алгоритмовсовмещения.7.Разработаноисследованиепрограммноеэффективностиобеспечение,алгоритмовпозволяющеесовмещениявыполнятьизображенийиавтоматическую оценку получаемых результатов.Разработанное алгоритмическое и программное обеспечение внедрены на АО«Государственный Рязанский приборный завод» и в учебном процессе кафедрыЭВМРязанского154государственногорадиотехническогоПодтверждающие документы приведены в приложении А.университета.155СПИСОК СОКРАЩЕНИЙ И УСЛОВНЫХ ОБОЗНАЧЕНИЙВИ – виртуальное изображениеВММ – виртуальная модель местностиВПП – взлетно-посадочная полосаГА – генетический алгоритмГЭ – глобальный экстремумКЭНС – корреляционно-экстремальная навигационная системаЛА – летательный аппаратЛЛ – лазерный локаторЛЭ – локальный экстремумМНК – метод наименьших квадратовМР – миллиметровый радарМФИ – многофункциональный индикаторПЛИС – программируемая логическая интегральная схемаРИ – реальное изображениеСКВ – система компьютерной визуализацииСЛАУ – система линейных алгебраических уравненийСТЗ – система технического зренияЦКМ – цифровая карта местностиЦФ – целевая функцияCVS – combined vision systemEVS – enhanced vision systemSVS – synthetic vision system156СПИСОК ЛИТЕРАТУРЫ1.