Предпосылки создания стандарта

 

Стандарт МРЕG-4 базируется на трех китах:

1) цифровое телевидение;

2) интерактивные графические приложения;

3) интерактивные мультимедийные приложения.

Тенденция последних лет — сближение, слияние этих источников аудиовизуальной информации, появление новых источников как натурального, так и синтезированного контента (содержания). До недавнего времени в вещании преобладала концепция «телевидения» - программа готовилась в студии и передавалась как периодическая последовательность строк изображения и сопутствующих звуков. Все усовершенствования, включая появление цифрового вещания и стандарта МРЕG-2, не изменили эту концепцию в корне, хотя добавили к ней некоторые новые аспекты — многопрограммность, подписку, дополнительные услуги, зачатки интерактивности. Однако похоже на то, что сейчас традиционная концепция телевидения не удовлетворяет уже пользователей аудиовизуальных услуг. Зрители хотят иметь доступ к видео- и аудиопрограммам, как они уже имеют доступ к мультимедийному контенту через Интернет и World Wide Web - «Всемирную паутину».

В последние 3-4 года мультимедийные и графические средства все чаще вторгаются в область классического ТВ вещания, которое, в свою очередь, проникает в сферу мультимедиа (значительная часть ТВ и звуковых программ транслируется в Интернете, иногда в специальных Интернет-версиях). Аудиовизуальное содержание все чаще используется в интерактивных приложениях, таких, например, как игры или дистанционное обучение. Заметно размывается граница между компьютерными изображениями, виртуальной реальностью и телевидением. Все чаще возникает необходимость перемещать один и тот же контент из одной сети в другую, из одной сферы в другую, и требуются унифицированные форматы представления и передачи информации.

Все эти факторы сформировали потребность в едином стандарте, который бы определял формат представления аудиовизуальной информации, совместимый с любой средой распространения, и механизмы интерактивного взаимодействия с мультимедийным контентом. В стандарте должны быть предусмотрены возможности передачи различных видов видео- и аудиоданных — текста, графики, двумерных (2D) и трехмерных (3D) изображений, натурального и синтезированного видео и аудио, в потоковой форме или в виде загружаемых файлов. Необходимо обеспечить высокое качество при очень низких скоростях передачи, гибкий доступ к контенту (с любого места, в ускоренном и замедленном режимах), средства интерактивного взаимодействия с объектами, вплоть до возможности абонента влиять на развитие сюжета, совместимость с любой транспортной средой.

Основное отличие МРЕG-4 от ранее принятых стандартов — объектно-ориентированное представление медиа-информации. В стандарте вводится ключевое понятие медиа-объекта — единицы звукового, визуального или аудиовизуального контента. Любая сцена разделяется на объекты, которые соотносятся в пространстве и времени и описываются отдельными элементарными потоками (ES). Объекты могут быть натуральными — записанными с видеокамеры или микрофона, и синтетическими — синтезированными в компьютере. Такой подход имеет ряд преимуществ: более экономно расходуются биты для описания сцены, отдельные объекты легко использовать в других сценах, упрощается построение масштабируемых объектов и взаимодействие с объектами, появляются широкие возможности взаимодействия пользователя с выбранным объектом, например, вывод дополнительной информации об объекте, изменение его параметров (цвета, текстуры, громкости звучания или языка), исключение объекта из сцены, создание пользователем новых сцен из объектов, полученных от разных источников или хранящихся в памяти терминала. Все эти операции требуют лишь изменить описание сцены, а это вполне под силу процессору абонентского терминала.

Описание сцены

Для описания сцены и ее динамического изменения в МРЕG-4 используется специально разработанный двоичный язык BIFS (Вinаrу Format for Sсеnеs — двоичный формат описания сцен). Описание сцены указывает декодеру, где и когда воспроизводить объекты, входящие в сцену, и как реагировать на воздействие пользователя. Чтобы увязать ЭП с медиа-объектами в сцене, используются дескрипторы объекта. Они переносят информацию о числе и свойствах ЭП, связанных с конкретными медиа-объектами. Сами дескрипторы также переносятся в одном или нескольких ЭП, поэтому нетрудно добавить или удалить объект во время сеанса. Потоки дескрипторов могут рассматриваться как описания потоковых ресурсов для представления, а описание сцены служит для изменения пространственно-временного размещения объектов в сцене. МРЕG-4 определил специальный язык синтаксических описаний для точного описания синтаксиса потоков, переносящих информацию о медиа-объектах и описания сцен. Он представляет собой расширение языка С++ и позволяет дать точное описание синтаксиса и в то же время упростить проверку на соответствие.

BIFS оперирует двумя протоколами модификации сцены во времени — командным (BIFS-Command) и анимационным (BIFS-Anim). Командные потоки BIFS позволяют загружать новую сцену, изменять свойства объектов, вводить и уничтожать объекты. Потоки BIFS-Anim управляют процессами анимации сцены, например, изменением точки взгляда, перемещением, трансформацией размера, плавным изменением цвета, освещенности и т.д. Синхронизация потоков осуществляется путем временной привязки. Как и в предыдущих стандартах МРЕG, один вид временной метки обеспечивает синхронизацию тактовых частот кодера и декодера, метки другого вида, привязанные к функциональным единицам аудиовизуальных данных, содержат желаемое время декодирования (для единиц доступа) или время завершения компоновки (для компоновочных единиц).

Основные принципы BIFS заимствованы из языка VRML (Virtual Reality Modelling Language — язык моделирования виртуальной реальности), разработанного для создания 3D графики. Это широко распространенный и в значительной степени бесплатный язык программирования, точнее, эффективный 3D формат обмена, как бы объемный аналог НТМL. Дело в том, что некоторые виды информации лучше воспринимаются в объемном виде — игры, результаты научных исследований, архитектурные решения. VRML обеспечивает интеграцию трехмерных, двумерных, текстовых и мультимедийных объектов в связную модель. Он оперирует объектами, каждый из которых имеет различные аттрибуты. Объект называется узлом, а аттрибуты — полями. Число полей зависит от типа узла. Полный перечень узлов и полей известен как граф (разветвленная древообразная структура). VRML включает большинство используемых в 3D приложениях средств: иерархические трансформации, источники света, выбор точки взгляда, анимацию, свойства материала, отображение текстуры и т.д.

Язык BIFS позаимствовал у VRML структуру описания сцены в виде графа, модели поведения, графические примитивы для построения 3D-изображений: конусы, сферы, сетки, текстовые примитивы, текстурирование и подсветку (всего их 36). В то же время BIFS имеет существенные отличия от VRML, в него внесены новые решения:

1) VRML — язык высокого уровня, BIFS — двоичный, благодаря этому объем сообщений в нем в 10-15 раз меньше, чем в VRML; хотя объем описаний сцены обычно меньше, чем аудиовизуальной информации, эти описания передаются непрерывно и могут в результате составить заметную часть передаваемых данных, поэтому сжатие потоков BIFS достаточно актуально;

2) VRML работает с файлами, предварительно загружаемыми в процессор, а BIFS предназначен в первую очередь для потоковой передачи в реальном времени;

3) BIFS позволяет работать как с 2D, так и с 3D объектами, осуществлять масштабирование, перемещение, вращение, более того, впервые решена задача представления в одной сцене и 2D, и 3D объектов.

 

Доставка потоков данных

Полученные в результате кодирования элементарные потоки необходимо доставить к декодеру. Для этого МРЕG-4 предлагает двухуровневый механизм мультиплексирования, показанный на рисунке 3.1. Элементарные потоки поступают на мультиплексирование, пройдя уровень синхронизации SL (Sync Layer), где в заголовки пакетированных элементарных потоков (PES) вводятся временные метки.

 

Рисунок 3.1 - Двухуровневый механизм мультиплексирования цифрового потока в стандарте МРЕG-4

 

Первый уровень, названный FlехМuх, играет вспомогательную роль в мультиплексировании, он объединяет низкоскоростные потоки с одинаковыми требованиями к качеству передачи, чтобы уменьшить их число в сложных сценах и сократить время передачи. Использование FlехМuх не является обязательным, и он может быть пустым, если следующий уровень обеспечивает все необходимые функции. FlехМuх не имеет собственных средств защиты от ошибок.

Второй уровень, TransMuх (Тrаnspоrt Мultiрlеxing), предлагает транспортные услуги по передаче потоков с заданным качеством обслуживания. Условия передачи предполагают необходимую пропускную способность, допустимый уровень ошибок, максимальное время задержки, приоритет и т.д. TransMuх не является транспортным протоколом как таковым, он представляет собой скорее интерфейс между кодером МРЕG-4 и стандартным транспортным протоколом. В качестве такового могут использоваться протокольные стеки RТР/UDP/IР, ААL5/АТМ, транспортный поток МРЕG-2.

Взаимодействие с транспортной средой управляется протоколом DMIF (Delivery Multimedia Integration Framework — мультимедийная интегрированная система доставки). DМIF, как его определяет стандарт, — сеансовый протокол для управления потоковой передачей в произвольных средах. После запуска он устанавливает соединение с удаленным абонентом, выбирает подлежащие передаче потоки и посылает запрос на их передачу. Порт DMIF посылает отметки к тем точкам, откуда будут передаваться потоки, и устанавливает соединение. Функции DMIF по связи с транспортными протоколами реализуются через интерфейс DAI (DMIF Аррliсаtiоn Interface), который получает PES от уровня синхронизации и переводит запросы DMIF в команды, воспринимаемые конкретным протоколом. Команды для разных протоколов могут быть различными.

На приемном конце индивидуальные ES выделяются из пришедшего

Рисунок 3.2 - Структура терминала МРЕG-4

 

транспортного потока путем демультиплексирования (рисунок 3.2).

На этом этапе DMIF не отвечает за работу транспортного протокола, он подключается только при наличии потоков FlехМuх. Выделенные после демультиплексирования пакеты PES обрабатываются с целью извлечения из них информации о синхронизации. Эта информация переносится в заголовках пакетов, генерируемых на уровне синхронизации.

Во второй версии стандарта введены два дополнительных механизма, облегчающие транспортировку и опознавание элементарных потоков. Первый предназначен для организации передачи файлов и имеет вид специального файлового формата представления контента с расширением.mp4. Он содержит большой объем описательной информации, позволяющей передавать файлы с помощью любых протоколов, редактировать их содержимое и воспроизводить его на разных терминалах. В основу положен популярный формат Quick Time.

Второй механизм — интерфейс программных приложений МРЕG-4 с кодами известного языка программирования Jаvа — призван облегчить интеграцию Jаvа-приложений в структуру МРЕG-4. Он будет принимать ЭП Jаvа-приложений, обрабатывать их и направлять к соответствующим компонентам МРЕG-4 плейера. Усовершенствование протокола DMIF во второй версии стандарта касается введения возможности работы с мобильными средствами связи, обеспечения более широкого класса параметров качества обслуживания (Q₀S),

Второй механизм — интерфейс программных приложений МРЕG-4 с кодами известного языка программирования Jаvа — призван облегчить интеграцию Jаvа-приложений в структуру МРЕG-4. Он будет принимать ЭП Jаvа-приложений, обрабатывать их и направлять к соответствующим компонентам МРЕG-4 плейера.

Усовершенствование протокола DMIF во второй версии стандарта касается введения возможности работы с мобильными средствами связи, обеспечения более широкого класса параметров качества обслуживания (Q₀S), поддержания сеансовой работы одновременно с несколькими сетевыми провайдерами, имеющими собственные порты, и т.д.