Лабораторная работа №5 «Кодирование дискретных источников информации по методики Д.Хаффмана»

Цель работы

Освоить метод построения кодов дискретного источника информации используя методику Д.Хаффмана. На примере показать однозначность раскодирования имеющегося сообщения.

Порядок выполнения лабораторной работы

Исходными данными для данной лабораторной работы являются результаты статистической обработки текста, выполненной в лабораторной работе «Кодирование дискретных источников информации методом Шеннона-Фано». Из лабораторной работы «Определение количества информации, содержащегося в сообщении» для данной работы необходимо взять:

1) список символов данного текста;

2) оценку вероятностей появления символов в тексте;

3) значение энтропии источника.

Из лабораторной работы «Кодирование дискретных источников информации методом Шеннона-Фано» для данной работы необходимо взять вычисленное значение средней информации.

Расчеты рекомендуется выполнять в табличной форме, используя MS Excel.

1. Отсортировать символы в порядке убывания их вероятности появления в тексте.

2. Построить таблицу по правилу Д. Хаффмана для посимвольного кодирования заданного текста (См. Табл.1).

3. Определить энтропию и среднее количество двоичных разрядов, необходимых для передачи текста при использовании эффективных кодов.

4. Построить кодовое дерево (См.рис.1).

5. Создать таблицу кодов.

6. Проверить возможность однозначного декодирования полученных кодов, рассмотрев пример передачи слова, состоящего из не менее 10 символов.

Содержание отчёта

1. Название и цель работы.

2. Таблица, содержащая

Ø список символов;

Ø значения вероятностей;

Ø 49 шагов суммирования вероятностей.

3. Значение средней информации в битах, вычисленное по составленной таблице кодов.

4. Описание применяемых формул.

5. Рисунок кодового дерева, с полученными значениями и подписанными символами.

6. Таблица полученных кодов.

7. Составленное сообщение, содержащее не менее 10 символов и кодовая строка.

8. Описание декодирования данного сообщения. (Пример оформления декодирования дан в предыдущей лабораторной работе, описанной выше).

9. Выводы по работе соответственно цели лабораторной работы.

Приложение к лабораторной работе «Кодирование дискретных источников информации по методики Д.Хаффмана»

Основные положения

От недостатка неоднозначного кодирования, рассмотренного в предыдущей лабораторной работе алгоритма свободна методика Д.Хаффмана. Она гарантирует однозначное построение кода с наименьшим для данного распределения вероятностей средним числом двоичных разрядов на символ.

Для двоичного кода алгоритм Хаффмана сводится к следующему:

Шаг 1. Символы алфавита, составляющего сообщение, выписываются в основной столбец в порядке убывания вероятностей. Два последних символа объединяются в один вспомогательный, которому приписывается суммарная вероятность.

Таблица 1

 

Сим волы	Вероятности р(а1)	Вспомогательные вычисления
	Шаг1		Шаг2		Шаг		Шаг		Шаг		Шаг		Шаг7
а1	0,22		0,22		0,22		0,26		0,32		0,42		0,58		1,0
а2	0,20		0,20		0,20		0,22		0,26		0,32		0,42
а3	0,16		0,16		0,16		0,20		0,22		0,26
а4	0,16		0,16		0,16		0,16		0,20
а5	0,10		0,10		0,16		0,16
а6	0,10		0,10		0,10
а7	0,04		0,06
а8	0.02

 

Шаг 2. Вероятности символов, не участвовавших в объединении, и полученная суммарная вероятность снова располагаются в порядке убывания вероятностей в дополнительном столбце, а две последних объединяются. Процесс продолжается до тех пор, пока не получим единственный вспомогательный символ с вероятностью, равной единице.

Эти два шага алгоритма иллюстрирует Табл.1 для уже рассмотренного случая кодирования восьми символов.

Шаг 3. Строится кодовое дерево и, в соответствии с ним, формируются кодовые слова, соответствующие кодируемым символам.

Поясним принципы выполнения последнего шага алгоритма. Для составления кодовой комбинации, соответствующей данному сообщению, необходимо проследить путь перехода сообщений по строкам и столбцам таблицы. Для наглядности строится кодовое дерево (рис.1). Из точки, соответствующей вероятности 1, направляются две ветви. Ветви с большей вероятностью присваивается символ 1, а с меньшей — символ 0. Такое последовательное ветвление продолжаем до тех пор, пока не дойдем до каждого символа.

 

Рис.1 Кодовое дерево

Таким образом, символам источника сопоставляются концевые вершины дерева. Кодовые слова, соответствующие символам, определяются путями из начального узла дерева к концевым. Каждому ответвлению влево соответствует символ 1 в результирующем коде, а вправо — символ 0.

Поскольку только концевым вершинам кодового дерева сопоставляются кодовые слова, то ни одно кодовое слово не будет началом другого. Тем самым гарантируется возможность разбиения последовательности кодовых слов на отдельные кодовые слова.

Теперь, двигаясь по кодовому дереву сверху вниз, можно записать для каждой буквы соответствующую ей кодовую комбинацию (см.табл.2):

Таблица 2

a1	a2	a3	a4	a5	a6	a7	a8

 

Литература

1. Ануфриев И. MatLab 5.3/6.х — самоучитель, С-Пб.: Изд. «ВВХВ-Петербург», 2003г. 722стр.;

2. Богумирский Б.С. Руководство пользователя ПЭВМ: — С-Пб.: Изд. «Питер», 2000г.

3. Всемирнова Е. Информатика. Учебное пособие — СПб.: Изд. СПГУАП

4. Дьяконов В.П. Справочник по применению системы MatLab — М., 1993г.. 112стр.

5. Острейковский В.А. Информатика — М. Изд. Высшая школа, 2000г.

6. Савельев А.Я. Основы информатики. Учеб. Для вузов. — М.: Изд-во МГТУ им. Н.Э.Баумана, 2001г. 328с.

7. Симонович С.В. и др. — Информатика. Базовый курс — СПб.: Изд. «Питер», 1999г. 640с.

8. Темников Ф.Е. и др. Теоретические основы информационной техники. —М.: Изд. «Энергия», 1979г. 512с.