Назначение и состав систем мультимедиа

Лекция  9 СИСТЕМЫ МУЛЬТИМЕДИА

Устройства ввода-вывода звуковых сигналов

 

Системы мультимедиа начинались со звука, который восприни­мается независимо от изображения, не наносит ущерба восприятию выводимой на экран информации, а при хорошем качестве даже дополняет ее и повышает восприимчивость пользователя, оказывает сильное психологическое воздействие на оператора, создает настрое­ние. Звуковое сопровождение служит дополнительным способом пе­редачи информации об основном и фоновом процессах, например, вос­произведение речи дает представление об индивидуальности говорящего, помогает разобраться в произношении слов; сопровождение фонового процесса звуковыми эффектами способствует возникнове­нию образного представления об особенностях их протекания, инфор­мирует пользователя о наступлении ожидаемого события, привлека­ет к себе внимание и др. (так, о появлении сообщения в электронной почте может информировать звук падающей газеты или защелкива­ние крышки почтового ящика; перекачка информации может сопро­вождаться журчанием ручейка и т.д.).

Однако звуковая (аудио или акустическая) информация имеет и самостоятельное значение. Можно выделить три направления в ис­пользовании звуковых возможностей систем мультимедиа:

• бытовые системы мультимедиа используют звуковые возможно­сти ПЭВМ в обучающих, развивающих программах (обучение чте­нию, произношению, музыке); в энциклопедиях и справочниках (бы­товых — медицина, расписания движения автобусов, поездов, са­молетов, прогноз погоды, репертуар театров). В бытовых системах использование таких музыкальных редакторов, как Skream Tracker, позволяет перейти на качественно новый уровень использования аудиосистем — от пассивного восприятия музыки к активной ра­боте с музыкальными произведениями без музыкального образо­вания; к реализации цветомузыки на экране ПЭВМ;

• мультимедиа бизнес-приложения используют звук в следующих целях: тренинг (профессиональные обучающие системы: иностран­ному языку, распознаванию голосов птиц, распознаванию шумов в сердце и других органах, при обучении радиотелеграфистов); презентации (например, демонстрация товара с помощью ЭВМ); проведение озвученных видеотелеконференций; голосовая почта; автоматическое стенографирование (восприятие речи и перевод ее в текстовый вид); использование голоса пользователя в целях защиты (электронные замки, доступ к программному обеспечению и информации в ЭВМ, к банковским сейфам и др.);

• профессиональные мультимедиасистемы — это средства произ­водства озвученных видеофильмов, домашние музыкальные студии (музыкальные редакторы типа Skream Tracker, Whacker Tracker, Ezpno и др. позволяют наиграть мелодию, выполнить ее программную обработку (изменить высоту тона, длительность звучания, тип инструмента, скорость нажатия-отпускания клави­ши, синтезировать звуковые эффекты), воспроизвести или запи­сать на стандартную звукозаписывающую аппаратуру).

Лекция  9 СИСТЕМЫ МУЛЬТИМЕДИА

Назначение и состав систем мультимедиа

 

В технической литературе часто встречаются различные опреде­ления понятия «мультимедиа». Наиболее полно отражает существо вопроса следующее: мультимедиа — это компьютерная информаци­онная технология, позволяющая объединять в компьютерной системе текст, звук, графические изображения и анимацию.

Согласно этому определению, основными отличительными при­знаками систем мультимедиа являются: интеграция в одном про­граммном продукте многообразных видов информации: традицион­ных (текст, таблицы, иллюстрации) и оригинальных (речь, музыка, фрагменты видеофильмов и др.) и наличие в составе компьютера спе­цифических устройств, предназначенных для работы с различными видами информации (микрофона, аудиосистемы, проигрывателя оп­тических компакт-дисков, телевизора, видеомагнитофона, цифровой видеокамеры, электронных музыкальных инструментов и др.).

Появление возможности работы с новыми видами информации при­вело к тому, что компьютер в мультимедийном исполнении стал уни­версальным устройством, перерабатывающим различные виды инфор­мации.

• Числовая информация: целые со знаком, целые без знака, числа с фиксированной и плавающей точкой, двоично-десятичные числа.

• Логическая информация, представляемая в виде логических пере­менных True и False (которые кодируются как 1 и 0).

• Символьная информация, представленная в виде скэн-кодов кла­виатуры, кодов ASCII, Windows 1252, ANSI, кодов формы симво­лов и полей переменной длины.

• Аудиоинформация (монотонный звуковой сигнал (меандр) — рав­номерный и затухающий; мелодия — гармоническая последова­тельность монотонных звуковых сигналов различной частоты и длительности; аккорд — совмещенная во времени смесь монотон­ных звуковых сигналов; звуковые эффекты; речь). Вся аудиоин­формация (в отличие от предыдущих типов) имеет динамический характер. Она существует только в режиме реального времени; ее нельзя остановить для более подробного изучения. Если изменить масштаб времени, аудиоинформация искажается. Это свойство иногда используется для получения звуковых эффектов.

• Видеоинформация: статическая и динамическая. Статическая ви­деоинформация включает штриховые рисунки (к которым относятся графики, чертежи, таблицы) и полутоновые рисунки, в ко­торых форма предметов передается яркостью, освещенностью, цветом. Рисунки делятся на плоские (двухмерные) и объемные (трехмерные) и могут быть монохромными или цветными. Штриховое изображение (рисунок, текст) состоит из темных ли­ний на светлом фоне. По яркости элементы рисунка могут быть либо темными, либо светлыми — промежуточных значений в штриховом рисунке нет.

Полутоновое изображение (рисунок, фотография) состоит из эле­ментов, различающихся яркостью. Для монохромных изображений степень светлоты элементов изображения оценивается интенсивнос­тью оттенков серого. Технические средства способны различать ог­раниченное количество оттенков серого, поэтому аналоговая вели­чина — степень светлоты элемента изображения — подвергается дис­кретизации и оценивается числом по дискретной шкале серого. (Шкала серого представляет собой набор полей с оттенками серого, с одной стороны которой находится белый цвет, а с другой — черный).

Для точности передачи изображения существенное значение име­ет разрешающая способность считывающей или воспроизводящей аппаратуры, которая оценивается количеством наименьших элемен­тов изображения (пиксел или точек) на единицу длины (сантиметр или дюйм).

При считывании и отображении полутоновых изображений суще­ственное место занимает вопрос: какое количество уровней серого должна обеспечивать (воспринимать или отображать) аппаратура?

Глаз человека способен различать около 200 оттенков серого. Поэтому требовать от аппаратуры большего разрешения не следует. Для оцифровки такого количества оттенков необходимо 8 бит на каждый пиксел. Для хранения оцифрованного изображения размером 9x12 см при разрешающей способности 300 пиксел на дюйм необходи­мо около 1 Мбайта памяти.

Динамическая видеоинформация — это фильмы (видео-, мульт- и слайд-фильмы). В их основе лежит последовательное экспонирование на экране отдельных кадров вывода в соответствии со сценарием. Поэтому процесс обработки динамической видеоинформации часто называют «редактированием сценариев». Динамическая видеоинфор­мация используется либо для передачи движущихся изображений (ани­мация), либо для последовательной демонстрации отдельных кадров вывода (слайд-фильмы).

Для демонстрации анимационных и слайд-фильмов используются различные принципы. Анимационные фильмы демонстрируются так, чтобы зрительный аппарат человека не мог зафиксировать отдель­ные кадры вывода. Для этого они должны достаточно быстро сме­нять друг друга. Поскольку время экспонирования каждого кадра мало, появление на экране каждого кадра не только не фиксируетсясознанием воспринимающего их человека, но остается незамеченной даже их смена. При демонстрации более 16 кадров в секунду незамет­но даже мелькание. Если кадры содержат различные фазы движения объекта, то такая демонстрация создает впечатление перемещения объекта.

При демонстрации слайд-фильмов каждый кадр должен экспони­роваться на экране столько времени, сколько необходимо для воспри­ятия его человеком (в среднем от 30 с до 1,5 мин.).

• Семантическая (смысловая) информация — это информация, не имеющая ярко выраженного носителя. Считается, что носителем ее являются знаковые системы, изучаемые семиотикой. Смысл свя­зан с такими понятиями, как ум, разум, рассудок, смышленость, догадливость, понимание, постижение. Это — идеальное содержа­ние, идея, сущность, целостное содержание какого-либо высказы­вания, несводимое к значениям составляющих его частей и эле­ментов. Смысл бывает здравый, обиходный, иносказательный, переносный, скрытый, непрямой. Смышленность связана с изво­ротливостью, находчивостью, догадливостью, понятливостью.

Электронные вычислительные машины предназначены для рабо­ты со знаковыми системами. Поэтому одной из задач является обра­ботка смысла, особенно актуальная при создании систем человеко-машинного общения. При общении на естественном для человека языке от машины требуется понимание смысла высказывания человека — оператора или пользователя. Без этого невозможна адекватная реак­ция машины на даваемые ей запросы.

Поскольку в общем виде проблема машинной обработки смысла не решена, приходится применять упрощенные средства человеко-машинного общения, далекие от привычного для человека естествен­ного языка.

• Эмоции — это особая разновидность информации, характеризую­щая отношение субъекта (одушевленного лица) к наблюдаемым объектам, явлениям или процессам. У людей эмоции проявляются в интонациях, мимике, движениях, которые «накладываются» на язык общения и придают ему эмоциональную окраску. Эмоцио­нальная окраска сообщений может влиять на передаваемый ими смысл и в ряде случаев изменять его до противоположного. Эмо­ции запоминаются и могут возникать по ассоциации, вызывая при этом определенную настройку субъекта, формируя его отноше­ние к наблюдаемым объектам, явлениям, процессам. Эмоции мо­гут передаваться от одного субъекта к другому. Это особый вид знаний, который имеет огромное значение для живых существ.

 

Одна из попыток передавать эмоции нашла выражение в специ­альном языке «рожиц», применяемом при телекоммуникационном общении. В этом языке разработаны специальные символы, вставля­емые в текстовое сообщение. Например, символ «:)» обозначает улыб-ку; символ «:-)» — сарказм; символ «:(«— огорчение; символ «:-(«— не­довольство; символ «;)» — намек (подмигивание); символ «;-)» — шутку; символ «:О» — удивление, неожиданность; символ «:Q» — упрек и т.д.

 

Для обработки каждого вида информации существуют свои пра­вила, свои операции, своя технология и свои программно-аппаратные средства. А поскольку разные виды информации могут использоваться совместно, го возникает проблема их сопряжения и преобразования из одного вида в другой.

При работе с цифровой информацией применяются арифметические операции, операции пересылки, организации циклических вычислений.

При работе с логической информацией используются дизъюнкция, конъюнкция, отрицание равнозначности и др.

При работе с видеоинформацией необходимы такие операции, как захват изображения с экрана с загрузкой его в файл; сжатие изобра­жения и его восстановление; конструирование видеоэффектов; запись компьютерных изображений на видеомагнитофон и т.д.

При работе с семантической информацией используются такие операции, как узнавание, классификация, прогнозирование, выделе­ние существенных признаков и др.

Технология мультимедиа создает новый уровень интерактивного общения «человек — ЭВМ», когда в процессе диалога пользователь получает более обширную и разностороннюю информацию, что спо­собствует повышению эффективности профессиональной деятельно­сти, обучения и отдыха.

Применение мультимедиа привело к появлению новых источни­ков информации — электронных книг, музейных и туристических путеводителей, обучающих, консультирующих, диагностических си­стем, рекламных роликов и др.

Электронные книги — это информационная интерактивная систе­ма, обеспечивающая пользователям доступ к постранично организо­ванной информации. Такие книги обычно заносятся на оптический компакт-диск. При емкости 650 Мбайт на него может быть записано около 200 000 страниц формата А4.

Электронные книги бывают следующих видов:

• мультимедиа-книги, использующие текст, аудио, статическое изоб­ражение и видео, записанные на одном носителе и организованные линейно (т.е. для последовательного воспроизведения);

• полимедиа-книги отличаются от мультимедиа-книг тем, что исполь­зуют комбинацию нескольких различных носителей (CD - ROM, MD, бумага) для представления информации пользователю;

• гипермедиа-книги отличаются от мультимедиа-книг нелинейной организацией содержащейся информации, т.е. когда читателю пре­доставляется возможность, оставив основной материал, обратить­ся к уточнениям, пояснениям, комментариям и т.д.;

• телемедиа-книги, использующие возможности телекоммуникаций для поддержки распределенной интерактивной системы дистанци­онного обучения.

Специальным построением программного обеспечения в системах мультимедиа достигается эффект, который получил название вирту­альная реальность. Этот эффект воздействует на психику человека, он направлен на замену имеющейся у человека модели мира несуществующей, виртуальной моделью, в которой живут и действуют не­существующие или невоспринимаемые в реальном мире персонажи (космические монстры, привидения и др.).

Системы мультимедиа работают в реальном режиме времени, что связано с использованием в них аудио- и видеоинформации. Посколь­ку аудио- и видеоинформация имеют аналоговую природу, ввод этих видов информации в ЭВМ и их вывод требуют применения специаль­ных устройств, типы которых приведены на рис. 9.1. Как видно из рисунка, состав устройств весьма разнообразен.

К устройствам ввода относятся клавиатура, различные устрой­ства управления курсором (мышь, джойстик, трекбол и др.), системы ввода с машиночитаемых документов, системы ввода штриховых кодов, сканеры, цифровые фото- и видеокамеры, TV-устройства вво­да, устройства ввода акустических сигналов.

К устройствам вывода относятся принтеры, плоттеры, электронные экраны и панели, системы аудиовывода, устройства видеовывода.

К устройствам ввода-вывода относятся абонентские пункты, мо­демы, сенсорные дисплеи, пишущие CD (CD-R и CD-RW).

Кроме того, в состав специальных устройств систем мультиме­диа входят преобразователи информации: аналого-цифровые и циф-роаналоговые, системы распознавания, преобразователи форматов (конвертеры), системы сжатия и восстановления аудио- и видеосиг­налов, преобразователи TV-сигналов в компьютерные и обратно.

Рис. 9.1. Устройства ввода-вывода систем мультимедиа