Белоногов И.Б., Коротаев А.И., Ревунков Г.И. - Технологии мультимедиа (1063013), страница 16

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 16)

AVI (Audio Video Interleave).

Разработанный фирмой Microsoft метод сжатия, записи и воспроизведения движущих изображений (Live Video) и звука на компьютере с использованием только программных средств. Файлы, созданные с использованием этого метода, имеют расширение AVI.

AVI может иметь или не иметь звуковые дорожки. При создании AVI файлов, включающих звуковое сопровождение, важным является правильная синхронизация звука с видеоизображением. Для этого используется технология чередования видеокадров и звука, которой, собственно, и определяется аббревиатура AVI (Audio Video Interleaved). Разные по типу видео и аудиоданные записываются в один файл на диске следующим образом: все информационные потоки разбиваются на множество равных частей (chunks) и затем записываются в один файл друг за другом по очереди

Microsoft Video for Windows использует четыре основных кодека для сжатия AVI файлов цифрового видео - Microsoft Video 1, RLE compression, Cinepak Codec by SuperMatch и Intel Indeo Video R3.2 (INDEO - INtel viDEO).

Кодек Microsoft Video 1 предназначен для сжатия реалистических видеофрагментов и рассчитан на разрешение цвета не более, чем 16 бит.

Кодек RLE compression (run-length encoding) предназначен для сжатия в AVI анимаций.

Cinepak Codec by SuperMatch и Intel Indeo Video R3.2 используют 24-битное разрешение цвета и имеют достаточно большую степень сжатия - порядка 10:1.

QuickTime.

QuickTime - стандарт, архитектура программного обеспечения, которая позволяет создавать, объединять и публиковать все типы цифровых мультимедиа данных. Используя QuickTime, программные приложения могут легко работать с широким кругом форматов файлов и кодеков. QuickTime включает три основополагающих элемента - QuickTime видео формат (Movie file format), слой абстрактного носителя (Media Abstraction Layer) и богатый набор встроенных медиа - служб. QuickTime видеоформат хорош тем, что он платформенно независим, открыт для расширения. В связи с названными преимуществами, поддерживается многими производителями. QuickTime видео также поддерживается на платформе Windows. QuickTime слой абстрактного носителя определяет исчерпывающий набор сервисных функций покрывающих все аспекты создания, редактирования и воспроизведения цифрового материала.

Среди них:

• синхронизация по времени;

• компрессия и декомпрессия аудио - и видеоданных;

• преобразование форматов, масштабирование, смешивание и транскодирование;

• аудио - и видеоэффекты и переходы;

• синхронизация чтения и записи;

• захват данных;

• импорт и экспорт данных.

QuickTime поддерживает широкий набор типов мультимедиа данных (видео, аудио, текст, временной код, музыкальный MIDI - интерфейс, спрайты, анимацию и др.).

Формат QuickTime имеет несколько отличных друг от друга кодеков - Video, Animation, Cinepak, Graphics, Photo-JPEG и другие. Наиболее качественными являются кодеки Cinepak и Video.

Далее речь пойдет об основах одного из наиболее продвинутых стандартов, разработанного международным комитетом Motion Pictures Expert Group (сокращенно - MPEG) и принятого в окончательной редакции ISO 11172-2 только в 1993г. Хотя MPEG-стандарт определяет правила кодирования и декодирования цифровых потоков как изображений, так и связанного с ними звука, в этом материале мы остановимся только на видео.

В отличии от AVI-формата, который обычно использует алгоритмы сжатия Motion -JPEG, MPEG - файлы занимают значительно меньше места. Здесь есть свои проблемы: во-первых MPEG, в отличии от AVI очень тяжело редактировать и до последнего времени не было соответствующих редакторов; во-вторых, цена систем для оцифровки MPEG несколько выше, чем на обычные платы ввода видео.

Обзор технологий и алгоритмов сжатия видео.

Векторная квантизация (Vector Quantization,VQ) . Компрессорами, использующими технологию VQ, являются Indeo 3.2 и Cinepac. Оба они применяют цветовую схему YUV. Процесс кодирования очень трудоемок и практически неосуществим без специального дополнительного оборудования. Процесс декодирования очень быстр. Имеют место блоковые искажения при высоких коэффициентах сжатия. Технологии, использующие алгоритмы БДКП, ДВП могут достигать более высоких уровней сжатия.

Основная идея векторной квантизации заключается в разбиении изображения на блоки (размером 4x4 пикселя в цветовой схеме YUV для компрессоров Indeo и Cinepac). Как правило, некоторые блоки оказываются похожими друг на друга. В этом случае компрессор идентифицирует класс похожих блоков и заменяет их одним общим блоком. Кроме того, генерируется двоичная таблица (карта) таких общих блоков из самых коротких кодовых слов. VQ-декодер затем, используя таблицу, собирает изображение поблочно из общих блоков. Ясно, что данный способ кодирования с потерями качества, так как, строго говоря, схожесть блоков весьма относительна. Здесь допускается аппроксимация реальных блоков изображения к общему, их объединяющему. Процесс кодирования длителен и трудоемок, так как кодеру необходимо выявлять принадлежность каждого блока изображения к какому-нибудь общему блоку. Однако задача декодирования в этом случае сводится к задаче построения изображения по заданной карте из общих блоков и не занимает много аппаратных и временных ресурсов. Таблицу или карту также называют еще и кодовой книгой, А двоичные коды, входящие в нее, — кодовыми словами, соответственно. Наибольшее сжатие с использованием алгоритма VQ достигается путем уменьшения числа классов общих блоков, то есть предположением о схожести относительно большего числа блоков изображения, и, как следствие, уменьшением кодовой книги. По мере уменьшения размеров кодовой книги качество воспроизводимого видео ухудшается. В результате на изображении появляется искусственная “блочность”.

Дискретное Косинусное Преобразование (ДКП) См. JPEG.

Дискретное Wavelet - преобразование (DWT)

Компрессоры, использующие DWT (Discrete Wavelet Transform): Intel Indeo 5.x; Intel Indeo 4.x

Большинство как статических, так и динамических изображений, сжатых при помощи алгоритма DWT, не имеет характерной для алгоритма ДКП блочной структуры. Наблюдается относительно высокое качество изображений, сжатых с использованием DWT, превосходит качество изображений, сжатых при помощи ДКП, при тех же коэффициентах сжатия. DWT несколько размазывает, закругляет острые контуры изображения (так называемый контурный шум или эффект Гиббса).

DWT - алгоритм основан на передаче сигнала, например изображения, через пару фильтров: низкочастотный и высокочастотный. Низкочастотный фильтр выдает грубую форму исходного сигнала. Высокочастотный фильтр выдает сигнал разности или дополнительной детализации. В свою очередь, результат на выходе высокочастотного фильтра (добавочный сигнал детализации) может быть подвернут той же процедуре и так далее.

Простым примером DWT является DWT Хара:

Входной сигнал x[n] есть множество выборок с индексом n. Низкочастотный фильтр Хара (Haar Low Pass Filter) есть арифметическое среднее двух удачных выборок:

g[n] = 1/2 * ( x[n] + x[n+1] )

Высокочастотный фильтр Хара (Haar High Pass Filter) есть средняя разность двух удачных выборок:

h[n] = 1/2 * ( x[n+1] - x[n] )

При этом:

x[n] = g[n] - h[n] x[n+1] = g[n] + h[n]

Выходные последовательности g[n] и h[n] содержат избыточную информацию. Таким образом, что для воспроизведения исходного сигнала x[n] достаточно взять только четные или только нечетные его выборки. Как правило, берутся четные выборки. Таким образом, исходный сигнал x[n] получается только из: g[0], g[2], g[4], .... h[0], h[2], h[4],

x[0] = g[0] - h[0]

x[1] = g[0] + h[0] x[2] = g[2] - h[2] x[3] = g[2] + h[2] и так далее...

Выход низкочастотного фильтра, как уже отмечалось, представляет собой грубую аналогию исходного сигнала. Если исходным сигналом является изображение, то на выходе низкочастотного фильтра получится расплывчатое, размытое изображение с низким разрешением. Выход высокочастотного сигнала добавляет детали к изображению. В сочетании с выходом низкочастотного фильтра может быть воспроизведено, таким образом, исходное изображение. Грубая форма исходного сигнала (сигнал на выходе низкочастотного фильтра) иногда называют основным уровнем (base layer), а дополнительный сигнал детализации — уровнем улучшения (enhancement layer). Сигнал на выходе высокочастотного фильтра h[n] может быть пропущен снова через пару фильтров, и процесс, таким образом, может быть повторен, пока не будет достигнута достаточная степень детализации исходного сигнала x[n]. Однако ясно, что никакого сжатия здесь не достигается. Преобразование попросту воспроизводит то же количество битов, которое было в исходном сигнале. Выходные значения называются коэффициентами преобразования, или коэффициентами wavelet-преобразования.

Преобразование Хара используется в основном в области сжатия изображений. Для других целей используются более сложные фильтры преобразований. Сжатие же достигается в основном за счет применения некоторой формы квантизации (скалярной или векторной) к добавочному сигналу детализации. Далее к полученным коэффициентам преобразования применяется техника вероятностного (энтропийного) кодирования.

Разность кадров.

Компрессорами, использующими технологию разницы кадров, являются: Cinepac

В целом может обеспечивать сжатие, лучшее, чем независимое сжатие отдельных кадров. Возникающие в ходе кодирования ошибки накапливаясь, требуют наличия дополнительного ключевого кадра.

Алгоритм разницы кадров использует то обстоятельство, что во многих видео изображение от кадра к кадру мало чем различается. По мере применения алгоритма векторной квантизации для кодирования каждого следующего кадра и получения при этом малых коэффициентов, которые трудно кодируются, в кадры постепенно вкрадывается ошибка. Это требует включения в видеоряд так называемых ключевых кадров, которые кодируются без учета предыдущих и являются так называемыми “опорными точками” в видео.

Компенсация движения.

Компрессорами, использующими технологию компенсации движения, являются: MPEG-1,2 и 4.

По сравнению с механизмом разницы кадров механизм компенсации движения позволяет достигать большей степени сжатия. Кодирование весьма трудоемко и требует специальной аппаратуры. Технология компенсации движения используется в таких международных стандартах сжатия цифрового видео, как: MPEG, H.261 и H.263. Наибольшее сжатие достигается в сценах с пониженным движением.

Компенсация движения основана на использовании ряда сложных алгоритмов. Сфера, где данная технология сжатия эффективна, как правило, сводится к видеоряду, в котором объект изменяет свое местоположение относительно неподвижного фона. Объекты, изменяющиеся по форме, приближающиеся или удаляющиеся (движущаяся камера), не подлежат эффективному сжатию посредством алгоритма компенсации движения. Сжатие возможно заданием вектора смешения элементов изображения вместо хранения больших значений новых координат данных элементов изображения. Основным блоком (относительно которого задается вектор смещения остальных блоков) может являться любой блок изображения размером 16x16 пикселей, максимально похожий на кодируемый (предсказываемый) блок. Ясно, что кадр, на который ссылаются таким образом другие кадры, должен быть декодирован ранее. Однако совсем не обязательно, чтобы опорный кадр предшествовал предсказываемому кадру. MPEG позволяет производить предсказание в обоих направлениях путем введения так называемых B- (bidirectionally predicted) кадров.

Алгоритм компрессии MPEG-1.

Технология сжатия видео в MPEG решает следующие задачи:

Устранение временной избыточности видео (в пределах коротких интервалов времени большинство фрагментов сцены остаётся неподвижными).

Устранение пространственной избыточности изображения путём подавления мелких несущественных деталей.

Использование более низкого цветового разрешения YOV.

Повышение информационной плотности результирующего потока путём выбора оптимального математического кода для его описания.

На этапе предварительной обработки входной видеосигнал оцифровывается и форматируется согласно заданному размеру и цветовой выборке (например, для PAL 352*288 и 2:1:1). Изображение делится на макроблоки размером 16*16 пикселей.

Каждый макроблок состоит из шести блоков, четыре из которых несут информацию о яркости, а два – определяют цвет. Каждый блок имеет размер 8*8. Блоки являются основными единицами, над которыми осуществляется дискретное косинусоидальное преобразование и квантование.

I - кадры - независимо сжатые (I-Intrapictures). Являются опорными и кодируются независимо методом JPEG. Требуют для своего кодирования большого объёма информации и обеспечивают большую точность восстановления. Стандарт не ограничивает алгоритма определения вектора смещения. Кадры I - типа сжаты описанным выше методом и не содержат ссылок на какие-либо другие кадры. Средняя степень сжатия составляет примерно 2 бита на точку. Подобный кадр является первым кадром последовательности, с него начинается новый видеоряд, при этом между двумя I - кадрами может находиться не более 12 кадров других типов. Обычно последовательность выглядит следующим образом:

I B B P B B P B B P B B I B B P B B P B

Р - кадры - сжатые с использованием ссылки на одно изображение (P - Predicted). Макроблоки P – типа могут кодироваться по уже описанной схеме и предсказываемые, которые формируют разность, текущего макроблока и подобного ему предыдущего I или P блока. В основном, в P – блоках используется вторая схема.

В - кадры - сжатые с использованием ссылки на два изображения (В - Bidirection). Могут быть I, P и B – типа. Могут кодироваться с предсказанием вперёд, назад, и интерполируемые, как полусумма обоих предсказаний. В данном случае кодеру предстоит наиболее сложная работа по выбору наиболее эффективного варианта, реализующего компромисс между длиной кода и качеством восстанавливаемого изображения. Положительным является тот факт, что при этом не происходит накапливания ошибок в отличие от предыдущих этапов.

ВС - кадры - независимо сжатые с большой потерей качества (используются только при быстром поиске).

Характеристики

Список файлов книги