Сообщение, несущее 1 бит информации

Вернемся теперь к примеру с монетой. После того как вы бросили монету, она упала, и вы посмотрели на нее, вы получили зрительное сообщение, что выпал, например, орел. Произошло одно из двух возможных событий. В этом случае считают, что неопределенность знания уменьшилась в два раза: было два варианта, остался один. Значит, узнав результат бросания монеты, вы получили 1 бит информации.

 

 

Количество информации в сообщении об одном из N равновероятных событий

 

А теперь такая задача: студент на экзамене может получить одну из четырех оценок: 5 — «отлично», 4 — «хорошо», 3 — «удовлетворительно», 2 — «неудовлетворительно». Представьте себе, что ваш товарищ пошел сдавать экзамен. Причем учится он очень неровно и может с одинаковой вероятностью получить любую оценку от 2 до 5. Вы волнуетесь за него, ждете результата экзамена. Наконец, он пришел и на ваш вопрос: «Ну, что получил?» ответил: «Четверку!».

Вопрос: сколько битов информации содержится в его ответе?

Если сразу сложно ответить на этот вопрос, то давайте подойдем к ответу постепенно. Будем отгадывать оценку, задавая вопросы, на которые можно ответить только «да» или «нет».

Вопросы будем ставить так, чтобы каждый ответ уменьшал количество вариантов в два раза и, следовательно, приносил 1 бит информации.

Первый вопрос:

— Оценка выше тройки?

— Да.

После этого ответа число вариантов уменьшилось в два раза. Остались только 4 и 5. Получен 1 бит информации.

Второй вопрос:

— Ты получил пятерку?

— Нет.

Выбран один вариант из двух оставшихся: оценка — четверка. Получен еще 1 бит информации. В сумме имеем 2 бита.

Сообщение о том, что произошло одно из четырех равновероятных событий, несет 2 бита информации.

Разберем еще одну частную задачу, а потом получим общее правило.

На книжном стеллаже восемь полок. Книга может стоять на любой из них. Сколько информации содержит сообщение о том, где находится книга?

Будем действовать таким же способом, как в предыдущей задаче. Метод поиска, на каждом шаге которого отбрасывается половина вариантов, называется методом половинного деления. Применим метод половинного деления к задаче со стеллажом.

Задаем вопросы:

— Книга лежит выше четвертой полки?

— Нет.

— Книга лежит ниже третьей полки?

-Да.

— Книга на второй полке?

— Нет.

— Ну теперь все ясно! Книга лежит на первой полке!

Каждый ответ уменьшал неопределенность знания в два раза. Всего было задано три вопроса. Значит, набрано 3 бита информации. И если бы сразу было сказано, что книга лежит на первой полке, то этим сообщением были бы переданы те же 3 бита информации.

А сейчас попробуем получить формулу, по которой вычисляется количество информации, содержащейся в сообщении о том, что произошло одно из множества равновероятных событий.

Обозначим буквой N количество возможных событий. Буквой i будем обозначать количество информации в сообщении о том, что произошло одно из N событий.

В примере с монетой: N = 2, i = 1.

В примере с оценками: N = 4, i = 2.

В примере со стеллажом: N = 8, i = 3.

Нетрудно заметить, что связь между этими величинами выражается такой формулой

2 ⁱ = N.

Действительно: 2¹ = 2; 2² = 4; 2³ = 8.

Если величина N известна, a i неизвестно, то данная формула становится уравнением для определения i. В математике оно называется показательным уравнением.

Например, пусть на стеллаже не 8, а 16 полок. Чтобы ответить на вопрос, сколько информации содержится в сообщении о том, где лежит книга, нужно решить уравнение

2 ⁱ = 16.

Поскольку 16 = 2⁴, то i = 4.

 

 

Если значение N равно целой степени двойки (4, 8, 16, 32, 64 и т. д.), то такое уравнение решается просто: i будет целым числом. А чему, например, равно количество информации в сообщении о результате бросания игральной кости, у которой имеется шесть граней и, следовательно, N = 6? Решение уравнения

2 ⁱ = 6

будет дробным числом, лежащим между 2 и 3, поскольку 2² = 4 < 6, а 2³ = 8 > 6. С точностью до пяти знаков после запятой решение такое: 2,58496. Ниже приведена таблица, из которой можно определить i для различных значений N в диапазоне от 1 до 64.

 

Таблица. Количество информации в сообщении об одном из N равновероятных событий

N	i	N	i	N	i	N	i
	0,00000		4,08746		5,04439		5,61471
	1,00000		4,16993		5,08746		5,64386
	1,58496		4,24793		5,12928		5,67243
	2,00000		4,32193		5,16993		5,70044
	2,32193		4,39232		5,20945		5,72792
	2,58496		4,45943		5,24793		5,75489
7	2,80735		4,52356		5,28540		5,78136
	3,00000		4,58496		5,32193		5,80735
	3,16993		4,64386		5,35755		5,83289
	3,32193		4,70044		5,39232		5,85798
	3,45943		4,75489		5,42626		5,88264
	3,58496		4,80735		5,45943		5,90689
	3,70044		4,85798		5,49185		5,93074
	3,80735		4,90689		5,52356		5,95420
	3,90689		4,95420		5,55459		5,97728
	4,00000		5,00000		5,58496		6,00000

 

Коротко о главном

 

Неопределенность знания о некотором событии — это количество возможных результатов события.

Сообщение, уменьшающее неопределенность знания в два раза, несет 1 бит информации.

Для определения количества информации i, содержащейся в сообщении о том, что произошло одно из N равновероятных событий, нужно решить показательное уравнение 2 ⁱ = N.

Вопросы и задания

 

1. Что такое неопределенность знания о результате какого-либо события? Приведите примеры.

2. Как с точки зрения содержательного подхода к измерению информации определяется единица измерения количества информации?

3. По какой формуле можно вычислить количество информации, содержащейся в сообщении?

4. Сколько битов информации несет сообщение о том, что из колоды в 32 карты достали «даму пик»?

5. Проводятся две лотереи: «4из32» и «5из64». Сообщение о результатах какой из лотерей несет больше информации?

 

ЕК ЦОР: Часть 1, дополнение к главе 1. ЦОР № 1-5.

 

 

 

 

 

§ 5