Тема 9

Тема 9. Базовые алгоритмы обработки изображенийПлан занятия1. Общие сведения2. Форматы хранения изображения в СТЗ2.1. Структура графического файла2.2. Сжатие изображения3. Типовые алгоритмы обработки изображения3.1. Предварительная обработка3.2. Сегментация3.3.Кодирование3.4.

Описание4. Распознавание5. Способы получения 3D изображения1. Общие сведенияСущность обработки изображения заключается в приведении исходного изображения сцены к виду, позволяющему решить задачу распознавания ее объектов.Процесс преобразования информации в СТЗ можно представить в виде шести основных этапов.Этапы обработки изображениявводпредварительнаяобработкасегментацияописаниераспознаваниеинтерпретацияЭтапы распознавания (идентификации), т. е.

установление принадлежности объекта к некоторому классу, а такжеинтерпретация, т. е. формализация нового класса объектов – относятся к задачам верхнего уровня СТЗ.2. Форматы хранения изображения в СТЗИзображения сохраняют в максимально компактной и стандартной форме — в виде графического файла.

Различают два типа графических файлов: векторные; растровые.Форма представления изображенияпалитровоемонохромноеполутоновоев естественных цветахВекторное изображение представляет собой совокупность независимых математических объектов — контуров,каждый из которых можно перемещать и масштабировать. Примерами примитивных объектов являются: ломаныелинии, многоугольники, окружности и эллипсы, кривые Безье, текст.Кривая Безье представляет собой семейство кривых (первой, второй и третьей степени).

Например, для случаякривой третьего порядка, справедлива зависимостьКривая БезьеРастровое изображение представляет собой совокупность отдельных пикселей, записанную в ячейки памяти ввиде таблицы или битовой карты. Физический размер пикселя связан с разрешением по полю устройства вводаизображения. Разрешение по полю определяют числом пикселей на дюйм dpi. Эта единица измерения являетсяальтернативой числу телевизионных линий (твл), причемСуществуют два способа преобразования файлов израстрового формата в векторный: преобразование растрового файла в растровый объект векторного изображения; трассировка растрового изображения для создания векторного объекта.Графический файл состоит из заголовка и собственно данных. Заголовок содержит спецификацию и общие сведения о файле.

Данные разделяют на поля, теги и потоки. Полем называется структура данных, имеющая фиксированный размер и позицию в файле. Тег представляет собой структуру, размер и позиция которой изменяются от файла к файлу. В потоке организовано последовательное чтение блока данных различной длины.Простейшим способом организации пиксельных данных врастровом файле является использование строк развертки.Сжатие (кодирование) изображения осуществляется аппаратно-программными устройствами — кодеками. Процедуры сжатия могут входить в спецификацию графическогоформата или выполняться отдельно.Методы сжатия изображений подразделяют на: симметричные асимметричные.Классификация алгоритмов сжатияСтруктура графического файламежкадровоевнутрикадровоебез потерьс потерямиLZWJPEGвейвлетныйRLEфрактального сжатияХаффманаCCITTЭффективность сжатия оценивают коэффициентом сжатия:Алгоритмы сжатияРазличают две группы алгоритмов сжатия: сжатие без потерь; сжатие с потерями.В алгоритмах сжатия без потерь либо оптимизируется кодирование минимального элемента информации — байта(алгоритмы Хаффмана и CCITT), либо удаляется избыточная информация (алгоритмы LZW и RLE).К алгоритмах сжатия с потерями относят алгоритмы JPEG, вейвлет-преобразования и фрактального кодирования.Этапы реализации алгоритма JPEGАлгоритм JPEGСущность субдискретизации заключается в том, что каждому блоку из 4-х пикселей (22) яркостного канала Yставятся в соответствие усреднённые значения U (Cb) и V (Cr)Схемы субдискретизацииДискретное косинусное преобразование (ДКП, DCT) — применяется в алгоритмах сжатия информации с потерями MPEG и JPEG.

Это преобразование тесно связано с дискретным преобразованием Фурье.Действие ДКП, а также обратного ему преобразования можно описать с помощью матрицы преобразования D. Дляпрямого и обратного ДКП справедливы выражения:При обработке изображений используют двумерное ДКП. При этом прямое и обратное ДКП производятся по следующим формулам:N 1 N 1YDij  Cij x 0 Yxy cosy 0(2 y  1)i(2 x  1) jcos2N2NN 1Yxy  Cij i0N 1YDijj 0cos(2 y  1)i(2 x  1) jcos2N2NПосле ДКП получается матрица, в которой коэффициенты в левом верхнем углу соответствуют низкочастотнойсоставляющей изображения, а в правом нижнем – высокочастотнойРезультат действия ДКПБольшинство методов кодирования динамического изображения – видеоизображения основано на устранениивременной и пространственной избыточности данных.

В первом случае, имеет место значительная корреляция между ближайшими кадрами видеоизображения, особенно при большой частоте кадров. Во втором, наблюдаетсясходство значений соседних пикселей в кадре.Классификация алгоритмов сжатия видеоизображенийна основе блоковна основе изображенийДКПDWTSVDKLTПримерами преобразований на основе блоков являются ДКП, разложение по сингулярным числам (SVD) и преобразование Кархунена – Лоэвэ (KLT). Каждое из этих преобразований работает с NN блоками пикселей (сэмплами) исходного или текущего изображения.Преобразования на основе изображений работают с целым кадром или с его большим фрагментом. Наиболее популярным преобразованием этого типа является дискретное вейвлетное преобразование (ДВП, DWT).Межфреймовое или дельта-сжатие, представляет собой группу алгоритмов, в которых кодируется отличие одногокадра изображения от предыдущего.Схема GOP3.

Типовые алгоритмы обработкиВыделяют три группы типовых алгоритмов обработки изображения, характерных для всех систем зрения:1. предварительная обработка изображения;2. сегментация;3. описание.Целью предварительной обработки изображения является формирование и последующее улучшение изображения, его бинаризация и кодирование (в частности, получение контурного представления).Назначение и реализацияалгоритмызадачикомпенсация низкочастотных артефактовустранение высокочастотных помехувеличение контраставыравнивание общего яркостного фонабинаризациялинейныеранговыелокально-адаптивныеФормированием изображения называется процедура непосредственного получения изображения в виде расположенного в памяти видеопроцессора массива дискретных элементов — пикселей, образующих матрицу или контурГистограммой изображения называется график распределения полутонов изображения, в котором по горизонтальной оси представлена яркость, а по вертикали — относительное число пикселей с данным значением яркости.Гистограммы изображенийГистограмма позволяет оценить количество и разнообразие оттенков изображения, а также общий уровень яркости изображения.Основные операции с гистограммами: выравнивание;эквализация;линейное контрастирование;степенное преобразование;гамма-коррекция;Бимодальная гистограмма бинаризация.Контрастирование относится к методам гистограммного выравнивания и используется при недостаточном диапазоне воспроизводимых яркостей.

Линейное контрастирование реализуют линейным поэлементным преобразованием видаК степенным преобразованиям относят преобразование вида:Бинаризацию изображения проводят непосредственно после улучшения изображения также с помощью гистограммы полутонов. Выходное бинаризованное изображение Yб(x, y) содержит лишь две градации яркости: 0 или1, причемПод фильтрацией изображений понимают операцию, имеющую своим результатом изображение того же размера,полученное из исходного по некоторым правилам.

В общем случае фильтрация решает следующие основные задачи:сглаживание (подавление высокочастотной помехи типа «снег»);повышение контрастности;выделение контура.Функции преобразования Гауссова низкочастотного и высокочастотного фильтров в пространственной и частотной областяхКлассификация фильтровувеличение контрастностиподавление шумавыравнивание гистограммылинейныеусредняющий фильтр Mean Filterдифференциальный фильтранизотропный фильтрэкспоненциальный операторранговыемедианный фильтр — Median Filterлокально-адаптивныеГауссово размытие — Gaussian Smoothingсохраняющее сглаживание — Conservative SmoothingВозможность сглаживания обусловлена тем, что спектр визуальных помех обычно содержит более высокие пространственные частоты, чем спектр изображения, т.

е. размер помехи существенно меньше размера фрагмента объекта.Метод порогового сглаживания основан на сканировании цифрового изображения программным окном размеромNN (где N равно 3 … 7) и вычислении на каждом шаге средней яркости Yср группы элементов:Сущность метод анизотропной фильтрации заключается в свертке исходного дискретного массива изображенияY и сглаживающего массива (фильтра) W размером NN. Результатом является новый (сглаженный) массив Y*,элементы которого вычисляются согласно выражению:В основу метода рекуррентной фильтрации положен тот же принцип свертки, что и при анизотропной фильтрации, однако здесь используются не только элементы исходного массива Y, но и элементы уже сглаженного массиваY*.

Следовательно, поэлементные операции проводятся согласно выражениюМедианная фильтрация для некоторой окрестности пикселя с координатами i, j описывается выражениемДля выделения контура наиболее распространены методы, основанные на использовании операторов пространственного дифференцирования, которые находят в каждом фрагменте изображения элементы, расположенные награнице различных по яркости областей.Градиент яркости Гij в некоторой точке x изображения с координатами i, j определяется как двухмерный вектор:Норма градиента определяется выражениямиили приближенноОсновные алгоритмы выделения контуровРобертсаСобеляПревиттаКанниЛапласаОператор Робертса использует программное окно 22.Оператор Собеля работает в программном окне 33 пикселя.В вычислительных процедурах контур изображения Yij* получают путем свертки, т.е.

умножения исходного изображения Yij на соответствующую маску M. Для градиентных фильтров M Г.Оператор РобертсаОператор СобеляОператор ПревиттаПроцедура разделения отдельных контуров изображения и соотнесение их с определенными объектами называетсясегментацией.

Алгоритмы сегментации, как правило, основываются на двух процедурах: поиске разрывности в контуре; определении подобия областей.Под кодированием изображения понимается обратимое преобразование информации, позволяющее получитькомпактный массив чисел, однозначно описывающий это изображение в удобной для данной вычислительнойструктуры форме.Под описанием понимается определение характерных параметров объекта — признаков (дескрипторов), необходимых для его выделения из числа всех, образующих сцену.Признаки изображенияглобальныелокальныедескрипторы границпризнаки геометриидескрипторы областипризнаки топологииструктурные признакивероятностные и нечеткие признакиМомент инерции порядкаположительные числа) дляможноопределитьпоЦентральный момент инерции порядка p+q равенp+q (где p, q — целыенекоторой области изображенияформуле:4. РаспознаваниеРаспознаванием называется процесс, при котором на основании набора признаков некоторого изображения объекта определяется его принадлежность к определенному классу.Методы распознаваниятеоретическиеструктурныеперебор вариантовсинтаксическиелогическиена основе теории графовна основе теории принятия решенийгрупповых классификацийнечеткая логиканейронные сетиУпрощенная математическая постановка задачи распознавания сводится к классификации объектов, т.

е. отнесению априорно известных объектов к априорно известным классам.5. Способы получения 3D изображенияВ СТЗ под трехмерным (3D) понимают изображение, содержащее информацию о трех геометрических измерениях объекта. Трехмерное изображение может быть получено с помощью двух телекамер или с помощью специальных приемов.Используя две телекамеры, координату zО точки объекта можно определить в системе координат каждой из телекамер.На изображении для любой точки с координатами xp, yp, принадлежащей i-й линии транспаранта, можно восстановить третью координату zp:.