cg2014_03_ip (Раздаточные материалы)

Основы обработки изображенийАнтон КонушинОбработка изображений• Семейство методов и задач, где входной ивыходной информацией являются изображения.•Зачем обрабатывать?1.Улучшение изображения для восприятия человеком•2.Улучшение изображения для восприятия компьютером•3.цель – чтобы стало «лучше» с субъективной точкизрения человекацель – упрощение последующего распознаванияРазвлечение (спецэффекты)•цель – получить эстетическое удовольствие от красивогоэффектаЦифровое изображениеВспоминаем процесс получения цифрового изображения…Что может получиться плохо?Темное или слабоконтрастноеШумноеНерезкоеНеправильные цветаНеравномерноосвещённоеТональная коррекцияПостоянство цвета и освещенностиСпособностьзрительной системычеловека оцениватьсобственныеотражательныесвойстваповерхностей в независимости отусловийосвещенностиПример:Белый цвет насвету и в тениJ.

S. Sargent, The Daughters of Edward D. Boit, 1882Slide by F. DurandПостоянство яркостиhttp://web.mit.edu/persci/people/adelson/checkershadow_illusion.htmlSlide by S. LazebnikПостоянство яркостиhttp://web.mit.edu/persci/people/adelson/checkershadow_illusion.htmlSlide by S. LazebnikКоррекция контраста изображенияПочему изображение может быть слабоконтрастным?• Ограниченный диапазончувствительности датчика• “Плохая” функции передачидатчикаКак мы можем численно оценить, контрастнымполучилось изображение или нет?Оценка гистограммы02550255•Не полностью используется диапазон яркостей•Концентрация яркостей вокруг определенных значений неравномерное заполнение диапазона яркостей)Точечные операторыОператор, который определяет значение выходного пиксела позначению только одного входного пиксела1f ( y)  xy – яркость пикселя на исходном изображении,x – яркость пикселя после коррекции.Линейная коррекцияКомпенсация узкого диапазона яркостей –линейное растяжение:(255  0)f ( y)  ( y  ymin ) *( ymax  ymin )1График функции f -1(y)Линейная коррекцияКомпенсация узкого диапазона яркостей – линейноерастяжение:Робастная линейная коррекцияЧто будет при применении линейной коррекции ктакой картинке?Робастная (устойчивая) версия метода:•Вычислим такую линейную коррекцию, чтобы 5% самыхтемных пикселов стали черными и 5% самых светлых сталибелымиЛинейная коррекцияЛинейное растяжение – «как AutoContrast в Photoshop»Линейная коррекцияЛинейная коррекция помогает не всегда!Нелинейная коррекцияxyГрафик функции f -1 (y)Нелинейная коррекцияНелинейная компенсация недостаточнойконтрастностиЧасто применяемые функции:• Гамма-коррекция• Изначальная цель – коррекция для правильногоотображения на мониторе.y  c  x• Логарифмическая• Цель – сжатие динамического диапазона привизуализацииданныхy  c  log(1  x)Гамма-коррекцияГрафики функции f -1 (y)Нелинейная коррекцияГрафик функции f -1 (y)Цветовой баланс («баланс белого»)Когда мы смотрим на фотографию или монитор, глазаадаптируются к освещению в комнате, а не к освещениюсцены на фотографии.Если «баланс белого» неточен, цвета фотографиикажутся неестественными.Неправильный балансПравильный балансКакскорректироватьизображение?http://www.cambridgeincolour.com/tutorials/white-balance.htmSlide by S.

LazebnikКоррекция по шаблону• Разумный подход:• Сфотографировать объект с известным цветом (шаблон)• Вычислить цветовое преобразование, чтобы цвет объекта нафотографии совпал с нужным• Простейшая реализация:• Возьмём однотонные карточки (белые)• Будем домножать каждый канал отдельно, чтобы цвет карточекстал белым• Вычисление коэффициентов - Если цвет объект записывается какrw, gw, bw , тогда веса 1/rw, 1/gw, 1/bwНасколько такоепреобразование корректно,какие могут бытьнедостатки?Slide by S. LazebnikПрофессиональная цветокоррекцияSource: http://x-rite.comSource: The dark knightИспользуем цветной шаблон смногими цветамиКакое преобразование в камере?Базы изображенийhttp://vision.middlebury.edu/color/• Авторы собрали большую коллекцию разныхизображений для оценки различных моделейпреобразования в камере• Полиномиальная модель (24 параметра)yi  gi ([ M D k ]i )A.

Chakrabarti, D. Scharstein, and T. Zickler. An empirical camera model forInternet color vision. BMVC 2009Оценка параметров цветокоррекцииЕсли нет цветовых шаблонов, тогда нам нужноугадать (или оценить) коэффициенты усиленияМодель «Серого мира» (Grayworld)• Средний уровень («серый») по каждому каналу долженбыть одинаков для всех каналов• Если цветовой баланс нарушен, тогда «серый» в этомканале больше «серого» других каналов• Вычислим коэффициенты усиления так, чтобы среднее вкаждом канале стало одинаковым:Slide by S. Lazebnik«Серый мир» - примеры«Серый мир» - примеры«Серый мир» - примерыВарианты «угадывания»Модель блика• Цвета бликов обычно соответствуют цвету источника• Ищем самый яркий пиксель, и веса берем обратнопропорционально его цветамСопоставление диапазона (Gamut)• Gamut: выпуклая оболочка цветов всех пикселей• Выбираем преобразование, которое переводит диапазонизображения к «стандартному» при дневном освещенииЦветовая коррекция изображений• Растяжение контрастности (“autolevels”)• Идея – растянуть интенсивности по каждому изканалов на весь диапазон;• Метод:• Найти минимум, максимум по каждому из каналов:Rmin , Rmax , Gmin , Gmax , Bmin , Bmax• Преобразовать интенсивности:( R  Rmin ) *(255  0)( 255  0); (G  Gmin ) *;( Rmax  Rmin )(Gmax  Gmin )(255  0)( B  Bmin ) *;( Bmax  Bmin )Растяжение контрастностиРастяжение контрастностиРаспознавание баланса белогоМетоды цветовой коррекциидо сих пор развиваются.Пример: Для каждого классаобъектов, присутствующих всцене, вычисляемпреобразование такимобразом, чтобы диапазонцветов объекта совпадал сосредним диапазоном объектовэтого класса на «типичных»изображенияхJ.

Van de Weijer, C. Schmid and J. Verbeek, Using High-Level Visual Information for ColorConstancy, ICCV 2007.Slide by S. LazebnikШумоподавление• Причины возникновения шума:– Несовершенство измерительных приборов– Хранение и передача изображений с потерей данныхШум фотоаппаратаСильное сжатие JPEGВиды шума• Соль и перец:случайные черные ибелые пиксели• Импульсный:случайные белыепиксели• Гауссов: колебанияяркости,распределенные понормальному законуSource: S. SeitzГауссов шум• Мат.модель: сумма множества независимыхфакторов• Подходит при маленьких дисперсиях• Предположения: независимость, нулевоематожиданиеSource: M.

HebertУсреднение нескольких кадров«Временная фильтрация»Зашумленные изображ енияI (i , j )  g r (i, j )  Err (i, j );1I (i , j ) NNIk(i , j );k 1E ( I (i, j ))  g r (i , j );Усреднение по 10изображ ениямУсреднение• «Пространственная фильтрация»• Заменим каждый пиксель взвешенным среднимпо окрестности• Веса обозначаются как ядро фильтра• Веса для усреднения задаются так:111111111“box filter”Source: D. LoweОпределение свертки• Пусть f – изображение, g -ядро. Сверткаизображения f с помощью g обозначается как f * g.( f  g )[m, n]   f [m  k , n  l ] g[k , l ]k ,lfSource: F. DurandОсновные свойства• Линейность: filter(f1 + f2 ) = filter(f1) + filter(f2)• Инвариантность к сдвигу: не зависит от сдвигапиксела: filter(shift(f)) = shift(filter(f))• Теория: любой линейный оператор, инвариантный ксдвигу, может быть записан в виде свертки• Чтобы доказать нелинейность фильтра, можновоспользоваться основными свойствами, и показатьих не выполнение на примереSlide by S.

LazebnikПолезные свойства• Ассоциативность: a * (b * c) = (a * b) * c• Последовательное применение фильтров: (((a * b1) * b2) * b3)• Эквивалентно применению такого фильтра: a * (b1 * b2 * b3)• Дистрибутивность по сложению:a * (b + c) = (a * b) + (a * c)• Домножение на скаляр можно вынести за скобки: ka * b =a * kb = k (a * b)Slide by S. LazebnikДетали реализацииРазмер результирующего изображения?• Больше на размер фильтра -1• Тот же, что у исходного• Меньше на полуразмер фильтраfullgsameggfgvalidggfgggfgggSlide by S. LazebnikДетали реализацииКак происходит фильтрация по краям?• Окно фильтра выходит за границы изображения• Необходимо экстраполировать изображение• Варианты:––––clip filter (black)wrap aroundcopy edgereflect across edgeSource: S. MarschnerПростейшие фильтры0 0 00 1 00 0 0?OriginalSource: D. LoweПростейшие фильтры0 0 00 1 00 0 0OriginalFiltered(no change)Source: D.

LoweПростейшие фильтры0 0 00 0 10 0 0?OriginalSource: D. LoweПростейшие фильтры0 0 00 0 10 0 0OriginalShifted leftBy 1 pixelSource: D. LoweПростейшие фильтры1 1 11 1 11 1 1?OriginalSource: D. LoweПростейшие фильтры1 1 11 1 11 1 1OriginalBlur (with abox filter)Source: D. LoweСглаживание с box-фильтром• При сглаживании с box-фильтром на изображениимогут образовываться паразитные линииSource: D. ForsythЯдро фильтра гауссаВзвешиваем вклад пикселейпо окрестности с учетомблизости к центру:0.0030.0130.0220.0130.0030.0130.0590.0970.0590.0130.0220.0970.1590.0970.0220.0130.0590.0970.0590.0130.0030.0130.0220.0130.0035 x 5,  = 1Source: C. RasmussenВыбор размера ядра• Размер ядра дискретного фильтра ограниченSource: K.