Белоногов И.Б., Коротаев А.И., Ревунков Г.И. - Технологии мультимедиа (1063013), страница 15
Текст из файла (страница 15)
Отличительной особенностью технологии A3D фирмы Aureal является использование метода трассировки звука. В играх, например, источниками звуков (цифровых потоков) могут быть персонажи, всевозможные объекты, окружающая среда. Алгоритмы обсчета путей распространения звуковых волн воспроизводят эффект распространения звука в окружающей среде.
Технология моделирует звуковое окружение, включает дополнительную информацию в звуковой поток в форме различий амплитуд, фаз и временных задержек между выходными каналами.
При моделировании широко используются следующие эффекты.
1. Реверберация. Отличается от эффекта “эхо” отсутствием периодичности при повторе звуковых последовательностей. Позволяет моделировать акустические свойства помещения.
2. Окклюзия. Моделирует ослабление звука, прошедшего сквозь препятствие из определённого материала (кирпич, металл, бетон и т. д.).
3. Обструкция. Моделирует дифракцию звука, закрытого преградой, т. е. звуки, задержанные препятствием.
В результате при прослушивании 3D – звука создаётся ощущение, что источники звука выходят за пределы горизонтальной плоскости.
Рис. 28. Формирование трёхмерного звука.
Как видно из рисунка, при распространении звуковые волны достигают слушателя различными путями:
-
они могут следовать по прямому пути к слушателю;
-
один раз отразившись от объекта (путь однократно отраженного звука);
-
отраженный дважды (путь вторично отраженного звука) и более раз;
-
звуки могут так же проходить сквозь объекты, такие, как вода или стены.
Существуют три главных компонента: интерфейс A3D, geometry engine (геометрический движок, определяющий геометрию объектов в пространстве) и scene manager (менеджер сцены). Интерфейс A3D является основным компонентом. Один в отдельности он используется для реализации прямых путей распространения звука (direct path). Geometry engine является основным компонентом для обсчета отраженных и прошедших сквозь препятствия акустических звуковых волн или для Acoustic Wavetracing. Менеджер сцены используется как геометрическим движком, так и интерфейсом A3D для управления сложными звуковыми сценами. Обработка каждого из этих компонентов будет производиться именно в таком порядке. Взаимосвязь и функционирование менеджера сцены, геометрического движка и реализация прямых путей распространения звука показаны ниже:
Рис. 29. Менеджер сцены и геометрический движок.
Видео.
Существует много способов получения видеоматериала. Но видеолента, на использование которой нет официального разрешения, может надолго стать головной болью. Приобретение разрешения также может стать трудно разрешимой и очень дорогой проблемой.
Съёмка видео является наиболее сложным элементом создания мультимедиа и требует специальных знаний. В большинстве случаев студии имеют возможности редактирования и доработки материала, которые на вашем компьютере недоступны. Однако, заказ съёмки в профессиональной киностудии может оказаться слишком дорогим удовольствием. Скорее всего, при создании мультимедиа – фильма стоимость проекта не должна выходить за определённые границы.
В мультимедиа используются те же правила съёмки видео, что и для телевидения. Для воспроизведения на небольшом экране можно избежать вывода кадров с широкой перспективой. Эффект размытого движения панорамы не заметен на небольших окнах. Следует чаще применять средний, близкий и портретный кадр. Рекомендуется больше держать камеру неподвижно, позволять предмету входить в камеру.
Не следует недооценивать значение опоры для видеокамеры. Для всех “домашних” видеосъёмок характерно дрожание изображения. Треножник или даже скрученный свитер на капоте автомобиля помогут улучшить качество съёмки. Если же необходимо производить съёмку с руки, то следует пользоваться камерой с электронной стабилизацией изображения.
Однако, наибольшее отличие любительского видео от профессионального заключается в способности работать со слабым освещением.
Стандартная схема освещения в студии имеет четыре типа освещения: задний свет, прямой свет, антитеневое освещение и фоновое освещение.
Следует придерживаться также следующих правил:
-
Заголовки должны появляться медленно и присутствовать на экране достаточно долго, затем – медленно растворяться.
-
Нельзя слишком загромождать экран.
-
Нельзя использовать слишком часто параллельные линии, окна, концентрические окружности. Эти объекты должны иметь большие размеры и формироваться толстыми линиями.
-
Соседние цвета должны отличаться по интенсивности. Например, светлый голубой и тёмный красный.
Аналоговый метод передачи видеосигналов
Самым ранним методом передачи видеосигналов является аналоговый метод. Одним из первых видеоформатов на основе этого принципа стал композитный видеосигнал. Композитное аналоговое видео комбинирует все видеокомпоненты (яркость, цвет, синхронизацию и т. п.) в один сигнал. Из - за объединения этих элементов в одном сигнале качество композитного видео далеко от совершенства. В результате мы имеем неточную передачу цвета, недостаточно "чистую" картинку и другие факторы потери качества. Композитное видео быстро уступило дорогу компонентному видео, в котором различные видеокомпоненты представлены как независимые сигналы. Дальнейшие усовершествования этого формата привели к появлению различные его вариаций: S-Video, RGB, Y, Pb, Pr и др. Тем не менее все вышеперечисленные форматы остаются аналоговыми по своей сути, и, следовательно, обладают одним существенным недостатком: при копировании дубль всегда уступает по качеству оригиналу. Потеря качества при копировании видеоматериала аналогична фотокопированию, когда копия никогда не бывает такой же четкой и яркой, как оригинал.
Цифровое видео Недостатки, присущие аналоговому способу воспроизведения видео, в конце концов привели к разработке цифрового видеоформата. На смену аналоговому видео пришло цифровое. В области профессионального видео применяется несколько цифровых видеоформатов: D1, D2, Digital BetaCam и др. В отличие от аналогового видео, качество которого падает при копировании, каждая копия цифрового видео идентична оригиналу. Хотя современный видеоряд базируется на цифровой основе, практически все цифровые видеоформаты до сих пор в качестве носителя исходного сигнала используют пленку с последовательным доступом. Поэтому большинству профессионалов в области видео все еще привычней работать с пленкой, чем с компьютером. Конечно, пленка в качестве источника данных все еще остается более предпочтительной, чем жесткий диск компьютера, поскольку вмещает значительно больший объем данных. Но зато для цифрового видеомонтажа использование компьютеров дает ряд существенных преимуществ: не только обеспечивает прямой доступ к любому видеофрагменту (что невозможно при работе с пленкой, поскольку к необходимым участкам можно добраться лишь последовательно просматривая видеоматериал), но и предполагает широкие возможности обработки изображения (редактирование, сжатие). Это достаточно веские причины для перехода видеопроизводства с традиционного оборудования на компьютерное. Компьютерное цифровое видео представляет собой последовательность цифровых изображений и связанный с ними звук. Элементы видео хранятся в цифровом формате. Существует множество способов захвата, хранения и воспроизведения видео на компьютере. С появлением компьютерного цифрового видео стихийно стали возникать самые разнообразные форматы представления видеоданных, что поначалу привело к некоторой путанице и вызвало проблемы совместимости. Однако в последние годы благодаря усилиям Международной организации по стандартизации (ISO -- International Standards Organisation) выработаны единые стандарты на форматы видеоданных, которые мы позже рассмотрим.
Основные характеристики цифрового видео Цифровое видео характеризуется четырьмя основными факторами: частота кадра (Frame Rate), экранное разрешение (Spatial Resolution), глубина цвета (Color Resolution) и качество изображения (Image Quality).
Частота кадра. Стандартная скорость воспроизведения видеосигнала -- 30 кадров/с (для кино этот показатель составляет 24 кадра/с). Каждый кадр состоит из определенного количества строк, которые прорисовываются не последовательно, а через одну, в результате чего получается два полукадра, или так называемых "поля". Поэтому каждая секунда аналогового видеосигнала состоит из 60 полей (полукадров). Такой процесс называется interlaced видео. Между тем монитор компьютера для прорисовки экрана использует метод "прогрессивного сканирования" (progressive scan), при котором строки кадра формируются последовательно, сверху вниз, а полный кадр прорисовывается 30 раз каждую секунду. Разумеется, подобный метод получил название non-interlaced видео. В этом заключается основное отличие между компьютерным и телевизионным методом формирования видеосигнала.
Глубина цвета. Этот показатель является комплексным и определяет количество цветов, одновременно отображаемых на экране. Компьютеры обрабатывают цвет в RGB-формате (красный – зеленый - синий), в то время как видео использует и другие методы. Одна из наиболее распространенных моделей цветности для видеоформатов -- YUV. Каждая из моделей RGB и YUV может быть представлена разными уровнями глубины цвета (максимального количества цветов). Для цветовой модели RGB обычно характерны следующие режимы глубины цвета: 8 бит/пиксель (256 цветов), 16 бит/пиксель (65,535 цветов) и 24 бит/пиксель (16,7 млн. цветов). Для модели YUV применяются режимы: 7 бит/пиксель (4:1:1 или 4:2:2, примерно 2 млн. цветов), и 8 бит/пиксель (4:4:4, примерно 16 млн. цветов).
Экранное разрешение. Еще одна характеристика - экранное разрешение, или, другими словами, количество точек, из которых состоит изображение на экране. Прямой связи между разрешением аналогового видео и компьютерного дисплея нет. Стандартный аналоговый видеосигнал дает полноэкранное изображение без ограничений размера, так часто присущих компьютерному видео. Телевизионный стандарт NTSC (National Television Standards Committee), разработан Национальным комитетом по телевизионным стандартам США. Используемый в Северной Америке и Японии, он предусматривает разрешение 768 на 484. Стандарт PAL (Phase Alternative), распространенный в Европе, имеет несколько большее разрешение -- 768 на 576 точек. Поскольку разрешение аналогового и компьютерного видео различается, при преобразовании аналогового видео в цифровой формат приходится иногда масштабировать и уменьшать изображение, что приводит к некоторой потере качества.
Качество изображения. Последняя, и наиболее важна характеристика - это качество видеоизображения. Требования к качеству зависят от конкретной задачи. Иногда достаточно, чтобы картинка была размером в четверть экрана с палитрой из 256-ти цветов (8 бит), при скорости воспроизведении 15 кадров/с. В других случаях требуется полноэкранное видео (768 на 576) с палитрой в 16,7 млн. цветов (24 бит) и полной кадровой разверткой (24 или 30 кадров/с).
Сжатие видео. Следует исходить из разумной достаточности при определении необходимой степени сжатия. При этом необходимо учитывать, как четыре характеристики (частота кадра, экранное разрешение, глубина цвета и качество изображения) влияют на объем и качество видео. Вы должны ясно себе представлять, какую "цену" придется заплатить за качественное изображение. Чем больше глубина цвета, выше разрешение и лучше качество, тем большая производительность компьютера вам потребуется, не говоря уж о громадных объемах дискового пространства, необходимого под цифровое видео. Учитывая эти характеристики, можно выбрать оптимальный коэффициент сжатия. Надо отметить, что в профессиональном видео действует простое правило - чем ниже коэффициент сжатия, тем лучше. Современные приложения (игры, компьютерные тренажеры, видеокиоски и некоторые деловые пакеты) зачастую не требуют полноэкранного видео. Такие программы обычно используют видео в окне, и для них не требуется оцифровывать целый кадр
Сжатие обычное (в режиме реального времени). Термин real - time (реальное время) имеет много толкований. Применительно к сжатию данных используется его прямое значение, т. е. работа в реальном времени. Многие системы оцифровывают видео и одновременно сжимают его, иногда параллельно совершая и обратный процесс декомпрессии и воспроизведения. Для качественного выполнения этих операций требуются очень мощные специальные процессоры, поэтому большинство плат ввода/вывода видео для PC бытового класса не способны оперировать с полнометражным видео и часто пропускают кадры. Недостаточная частота кадров является одной из основных проблем дл видео на PC. При производительности ниже 24 кадров/с видео перестает быть плавным, что нарушает комфортность восприятия. К тому же, пропущенные кадры могут содержать необходимые данные по синхронизации звука и изображения.
Симметричное и асимметричное сжатие. Этот показатель связан с соотношением способов сжатия и декомпрессии видео. Симметричное сжатие предполагает возможность проиграть видеофрагмент с разрешением 640 на 480 при скорости в 30 кадров/с, если оцифровка и запись его выполнялась с теми же параметрами. Асимметричное сжатие - это процесс обработки одной секунды видео за значительно большее время. Степень асимметричности сжатия обычно задается в виде отношения. Так цифры 150:1 означают, что сжатие одной минуты видео занимает примерно 150 минут реального времени. Асимметричное сжатие обычно более удобно и эффективно для достижении качественного видео и оптимизации скорости его воспроизведения. К сожалению, при этом кодирование полнометражного ролика может занять слишком много времени, вот почему подобный процесс выполняют специализированные компании, куда отсылают исходный материал на кодирование (что увеличивает материальные и временные расходы на проект).
Сжатие с потерей или без потери качества. Как мы уже говорили, чем выше коэффициент сжатия, тем больше страдает качество видео. Все методы сжатия приводят к некоторой потере качества. Даже если это не заметно на глаз, всегда есть разница между исходным и сжатым материалом. Пока существует всего один алгоритм (разновидность Motion-JPEG для формата Kodak Photo CD), который выполняет сжатие без потерь, однако он оптимизирован только для фотоизображений и работает с коэффициентом 2:1.
Сжатие видеопотока или покадровое сжатие. Это, возможно, наиболее обсуждаемый сегодня вид сжатия. Покадровый метод подразумевает сжатие и хранение каждого видеокадра как отдельного изображения. Сжатие видеопотока основано на следующей идее: несмотря на то, что изображение все врем претерпевает изменения, задний план в большинстве видеосцен остается постоянным - отличный повод для соответствующей обработки и сжатия изображения. Создается исходный кадр, каждый следующий сравнивается с предыдущим и последующим изображениями, а фиксируется лишь разница между ними. Этот метод позволяет существенно повысить коэффициент сжатия, практически сохранив при этом исходное качество. Однако в этом случае могут возникнуть трудности с покадровым монтажом видеоматериала, закодированного подобным образом.
Коэффициент сжатия. Этот показатель особенно важен для профессионалов, работающих с цифровым видео на компьютерах. Коэффициент сжатия - это цифровое выражение соотношения между объемом сжатого и исходного видеоматериала. Для примера, коэффициент 200:1 означает, что если принять объем полученного после компрессии ролика за единицу, то исходный оригинал занимал объем в 200 раз больший. Обычно, чем выше коэффициент сжатия, тем хуже качество видео. Но многое, конечно, зависит от используемого алгоритма. Для MPEG сейчас стандартом считается соотношение 200:1, при этом сохраняется неплохое качество видео. Различные варианты Motion- JPEG работают с коэффициентами от 5:1 до 100:1, хотя даже при уровне в 20:1 уже трудно добиться нормального качества изображения. Кроме того, качество видео зависит не только от алгоритма сжатия (MPEG или Motion-JPEG), но и от параметров цифровой видеоплаты, конфигурации компьютера и даже от программного обеспечения (к этим вопросам мы вернемс чуть позже в сравнительном обзоре видеоплат).