ЛекцииММ1 (Курс электронных лекций), страница 18

DWT - алгоритм основан на передаче сигнала, например изображения, через пару фильтров: низкочастотный и высокочастотный. Низкочастотный фильтр выдает грубую форму исходного сигнала. Высокочастотный фильтр выдает сигнал разности или дополнительной детализации. В свою очередь, результат на выходе высокочастотного фильтра (добавочный сигнал детализации) может быть подвернут той же процедуре и так далее.

Простым примером DWT является DWT Хара:

Входной сигнал x[n] есть множество выборок с индексом n. Низкочастотный фильтр Хара (Haar Low Pass Filter) есть арифметическое среднее двух удачных выборок:

g[n] = 1/2 * ( x[n] + x[n+1] )

Высокочастотный фильтр Хара (Haar High Pass Filter) есть средняя разность двух удачных выборок:

h[n] = 1/2 * ( x[n+1] - x[n] )

При этом:

x[n] = g[n] - h[n] x[n+1] = g[n] + h[n]

Выходные последовательности g[n] и h[n] содержат избыточную информацию. Таким образом, что для воспроизведения исходного сигнала x[n] достаточно взять только четные или только нечетные его выборки. Как правило, берутся четные выборки. Таким образом, исходный сигнал x[n] получается только из: g[0], g[2], g[4], .... h[0], h[2], h[4],

x[0] = g[0] - h[0]

x[1] = g[0] + h[0] x[2] = g[2] - h[2] x[3] = g[2] + h[2] и так далее...

Выход низкочастотного фильтра, как уже отмечалось, представляет собой грубую аналогию исходного сигнала. Если исходным сигналом является изображение, то на выходе низкочастотного фильтра получится расплывчатое, размытое изображение с низким разрешением. Выход высокочастотного сигнала добавляет детали к изображению. В сочетании с выходом низкочастотного фильтра может быть воспроизведено, таким образом, исходное изображение. Грубая форма исходного сигнала (сигнал на выходе низкочастотного фильтра) иногда называют основным уровнем (base layer), а дополнительный сигнал детализации — уровнем улучшения (enhancement layer). Сигнал на выходе высокочастотного фильтра h[n] может быть пропущен снова через пару фильтров, и процесс, таким образом, может быть повторен, пока не будет достигнута достаточная степень детализации исходного сигнала x[n]. Однако ясно, что никакого сжатия здесь не достигается. Преобразование попросту воспроизводит то же количество битов, которое было в исходном сигнале. Выходные значения называются коэффициентами преобразования, или коэффициентами wavelet-преобразования.

Преобразование Хара используется в основном в области сжатия изображений. Для других целей используются более сложные фильтры преобразований. Сжатие же достигается в основном за счет применения некоторой формы квантизации (скалярной или векторной) к добавочному сигналу детализации. Далее к полученным коэффициентам преобразования применяется техника вероятностного (энтропийного) кодирования.

Разность кадров.

Компрессорами, использующими технологию разницы кадров, являются: Cinepac

В целом может обеспечивать сжатие, лучшее, чем независимое сжатие отдельных кадров. Возникающие в ходе кодирования ошибки накапливаясь, требуют наличия дополнительного ключевого кадра.

Алгоритм разницы кадров использует то обстоятельство, что во многих видео изображение от кадра к кадру мало чем различается. По мере применения алгоритма векторной квантизации для кодирования каждого следующего кадра и получения при этом малых коэффициентов, которые трудно кодируются, в кадры постепенно вкрадывается ошибка. Это требует включения в видеоряд так называемых ключевых кадров, которые кодируются без учета предыдущих и являются так называемыми “опорными точками” в видео.

Компенсация движения.

Компрессорами, использующими технологию компенсации движения, являются: MPEG-1,2 и 4.

По сравнению с механизмом разницы кадров механизм компенсации движения позволяет достигать большей степени сжатия. Кодирование весьма трудоемко и требует специальной аппаратуры. Технология компенсации движения используется в таких международных стандартах сжатия цифрового видео, как: MPEG, H.261 и H.263. Наибольшее сжатие достигается в сценах с пониженным движением.

Компенсация движения основана на использовании ряда сложных алгоритмов. Сфера, где данная технология сжатия эффективна, как правило, сводится к видеоряду, в котором объект изменяет свое местоположение относительно неподвижного фона. Объекты, изменяющиеся по форме, приближающиеся или удаляющиеся (движущаяся камера), не подлежат эффективному сжатию посредством алгоритма компенсации движения. Сжатие возможно заданием вектора смешения элементов изображения вместо хранения больших значений новых координат данных элементов изображения. Основным блоком (относительно которого задается вектор смещения остальных блоков) может являться любой блок изображения размером 16x16 пикселей, максимально похожий на кодируемый (предсказываемый) блок. Ясно, что кадр, на который ссылаются таким образом другие кадры, должен быть декодирован ранее. Однако совсем не обязательно, чтобы опорный кадр предшествовал предсказываемому кадру. MPEG позволяет производить предсказание в обоих направлениях путем введения так называемых B - (bidirectionally predicted) кадров.

Алгоритм компрессии MPEG - 1.

Технология сжатия видео в MPEG решает следующие задачи:

Устранение временной избыточности видео (в пределах коротких интервалов времени большинство фрагментов сцены остаётся неподвижными).

Устранение пространственной избыточности изображения путём подавления мелких несущественных деталей.

Использование более низкого цветового разрешения YOV.

Повышение информационной плотности результирующего потока путём выбора оптимального математического кода для его описания.

На этапе предварительной обработки входной видеосигнал оцифровывается и форматируется согласно заданному размеру и цветовой выборке (например, для PAL 352*288 и 2:1:1). Изображение делится на макроблоки размером 16*16 пикселей.

Каждый макроблок состоит из шести блоков, четыре из которых несут информацию о яркости, а два – определяют цвет. Каждый блок имеет размер 8*8. Блоки являются основными единицами, над которыми осуществляется дискретное косинусоидальное преобразование и квантование.

I - кадры - независимо сжатые (I - Intrapictures). Являются опорными и кодируются независимо методом JPEG. Требуют для своего кодирования большого объёма информации и обеспечивают большую точность восстановления. Стандарт не ограничивает алгоритма определения вектора смещения. Кадры I - типа сжаты описанным выше методом и не содержат ссылок на какие-либо другие кадры. Средняя степень сжатия составляет примерно 2 бита на точку. Подобный кадр является первым кадром последовательности, с него начинается новый видеоряд, при этом между двумя I - кадрами может находиться не более 12 кадров других типов. Обычно последовательность выглядит следующим образом:

I B B P B B P B B P B B I B B P B B P B

Р - кадры - сжатые с использованием ссылки на одно изображение (P - Predicted). Макроблоки P – типа могут кодироваться по уже описанной схеме и предсказываемые, которые формируют разность, текущего макроблока и подобного ему предыдущего I или P блока. В основном, в P – блоках используется вторая схема.

В - кадры - сжатые с использованием ссылки на два изображения (В - Bidirection). Могут быть I, P и B – типа. Могут кодироваться с предсказанием вперёд, назад, и интерполируемые, как полусумма обоих предсказаний. В данном случае кодеру предстоит наиболее сложная работа по выбору наиболее эффективного варианта, реализующего компромисс между длиной кода и качеством восстанавливаемого изображения. Положительным является тот факт, что при этом не происходит накапливания ошибок в отличие от предыдущих этапов.

ВС - кадры - независимо сжатые с большой потерей качества (используются только при быстром поиске).

Каждый кадр, таким образом, кроме служебной информации включает в себя переменное число кодов

Кадры P - типа, или предсказанные кадры, обычно следуют через два B - кадра.

Рис. 30. Кадры P и B – типа.

Поскольку B - кадры ссылаются как назад, так и вперед по последовательности, то для оптимизации процесса воспроизведения кадры в потоке перераспределяются следующим образом: компенсация движения является методом увеличения степени сжатия Р - и В - кадров путем использования информации из предыдущих кадров. Этот алгоритм действует на уровне макроблоков и обеспечивает примерно трехкратное сжатие по сравнению с I - кадрами.

Рис. 31. Двунаправленное предсказание

Сжатый с его использованием кадр содержит дополнительно вектор перемещения макроблока, на который имеется ссылка и отличия между кодируемым макроблоком и макроблоком по ссылке.

О
бычно не вся информация в кадре может быть эффективно описана методом компенсации движения. В подобном случае макроблок, не имеющий анологов в предыдущих кадрах, кодируется так же, как и все макроблоки в I - кадре.

Для B - кадра компенсация движения может осуществляться как вперед, так и назад, поэтому для данного типа возможно четыре варианта кодирования макроблоков:

Рис. 32. Варианты кодирования макроблоков.

• кодирование без компенсации движения;

• компенсация с прямым предсказанием;

• компенсация с обратным предсказанием ;

• компенсация с двунаправленным предсказанием.

Обратное предсказание применяется тогда, когда нет возможности выполнить прямое.

Частота I - кадров выбирается в зависимости от требований на время произвольного доступа. Соотношение Р - и В - кадров подбирается, исходя из требований к величине компрессии и ограничений декодера. Именно варьирование частоты кадров разных типов обеспечивает алгоритму необходимую гибкость и возможность расширения.

При выборе кодека для видео надо иметь ввиду следующее.

Видео вводится в компьютер для двух целей. Первая из них – компьютерный монтаж. Вторая – создание видеоролика в формате AVI или QuickTime для последующего использования в ролике мультимедиа. При этом рекомендуется использовать различные кодеки для сжатия информации. В случае монтажа следует пользоваться кодеками None, Component Video, Motion – JPEG, применение других кодеков может привести к ухудшению фрагмента. Для создания фильма для показа на компьютере следует использовать кодеки, которые ухудшают качество картинки, но при этом значительно уменьшают объём фильма. Необходимо также учитывать количество данных, которые надо прочитать за единицу времени. При выборе кодека надо иметь ввиду эту величину.

Cinepak. Один из старейших кодеков, появившихся на рынке. Первоначально был разработан фирмой SuperMatch. Однако, впоследствии был переработан другой фирмой - Radius. Свою популярность кодек получил благодаря использованию минимальных ресурсов процессора. Максимальный коэффициент компрессии составляет 10:1. Кодек выдает среднее качество видеоизображения из - за чрезмерной пикселеризации (изображение выглядит "шероховатым"). К недостаткам кодека также относится изменение насыщенности цвета в видеоизображении, что влечет за собой определенный визуальный эффект - изображение становится более желтым. Cinepak - наиболее асимметричный кодек. Кодирует видеоизображение в 8- и 24 - битном разрешении цвета. Алгоритм сжатия использует векторную квантизацию (vector quantization) и межкадровую разность. Плохо работает с видеоизображением, частота воспроизведения которого превышает 15 кадров в секунду. Кодек хорошо сжимает синтезированное динамическое видеоизображения - 2D и 3D анимацию. В случае черно - белого видеоизображения, кодек представляет возможность произвести сжатие в 8-битном режиме с 256 оттенками серого. В настоящее время корпорация Compression Technologies продает улучшенный кодек CinepakPro, в котором устранены основные проблемы которые встречались у стандартного Cinepak. CinepakPro полностью совместим с Cinepak.

VDOWave от VDONET . Основанный на преобразовании элементарной волны кодек видео. Microsoft лицензировал VDOWAVE как часть NetShow . Имеются две версии VDOWAVE кодер - декодера. VDOWave 2.0 - кодек фиксированной задержки пакетов в канале , который использует Microsoft, четырехсимвольный код VDOM.. VDOWave 3.0 - "масштабируемый" кодек видео. Этот кодек использует Microsoft четырехсивольный код (FOURCC) VDOW. В NetShow 2.0, автономная установка клиентов устанавливает VDOWAVE декодер. VDOWave использует комбинацию алгоритмов сжатия элементарной волны и компенсации движения.

Intel Indeo 3.1/3.2. Один из старейших кодеков, появившихся на рынке. Качество сжатого видеоизображения немного лучше, чем у Cinepak. Однако, кодек более требователен к ресурсам процессора. Indeo 3.1/3.2 представляет собой менее асимметричный кодек - время компрессии и декомпрессии видеоизображения примерно равны. Максимальный коэффициент компрессии составляет 15:1. Кодирует видеоизображение в 24-битном разрешении цвета. Алгоритм сжатия использует векторную квантизацию и межкадровую разность. Кодек наиболее подходит для сжатия изображения с "говорящими головами". Процесс сжатия видеоизображения на порядок быстрее, чем у Cinepak. Видеоизображение, сжатое при помощи кодека Indeo R3.2, имеет цветовые артефакты - изображение расплывается и получает красно-синий оттенок.