Поперечные профили набережных и береговой полосы: На городских территориях берегоукрепление проектируют с учетом технических и экономических требований, но особое значение придают эстетическим...
История создания датчика движения: Первый прибор для обнаружения движения был изобретен немецким физиком Генрихом Герцем...
Топ:
Основы обеспечения единства измерений: Обеспечение единства измерений - деятельность метрологических служб, направленная на достижение...
Техника безопасности при работе на пароконвектомате: К обслуживанию пароконвектомата допускаются лица, прошедшие технический минимум по эксплуатации оборудования...
Интересное:
Финансовый рынок и его значение в управлении денежными потоками на современном этапе: любому предприятию для расширения производства и увеличения прибыли нужны...
Инженерная защита территорий, зданий и сооружений от опасных геологических процессов: Изучение оползневых явлений, оценка устойчивости склонов и проектирование противооползневых сооружений — актуальнейшие задачи, стоящие перед отечественными...
Что нужно делать при лейкемии: Прежде всего, необходимо выяснить, не страдаете ли вы каким-либо душевным недугом...
Дисциплины:
2017-09-30 | 1543 |
5.00
из
|
Заказать работу |
|
|
Вернемся теперь к примеру с монетой. После того как вы бросили монету, она упала, и вы посмотрели на нее, вы получили зрительное сообщение, что выпал, например, орел. Произошло одно из двух возможных событий. В этом случае считают, что неопределенность знания уменьшилась в два раза: было два варианта, остался один. Значит, узнав результат бросания монеты, вы получили 1 бит информации.
Количество информации в сообщении об одном из N равновероятных событий
А теперь такая задача: студент на экзамене может получить одну из четырех оценок: 5 — «отлично», 4 — «хорошо», 3 — «удовлетворительно», 2 — «неудовлетворительно». Представьте себе, что ваш товарищ пошел сдавать экзамен. Причем учится он очень неровно и может с одинаковой вероятностью получить любую оценку от 2 до 5. Вы волнуетесь за него, ждете результата экзамена. Наконец, он пришел и на ваш вопрос: «Ну, что получил?» ответил: «Четверку!».
Вопрос: сколько битов информации содержится в его ответе?
Если сразу сложно ответить на этот вопрос, то давайте подойдем к ответу постепенно. Будем отгадывать оценку, задавая вопросы, на которые можно ответить только «да» или «нет».
Вопросы будем ставить так, чтобы каждый ответ уменьшал количество вариантов в два раза и, следовательно, приносил 1 бит информации.
Первый вопрос:
— Оценка выше тройки?
— Да.
После этого ответа число вариантов уменьшилось в два раза. Остались только 4 и 5. Получен 1 бит информации.
Второй вопрос:
— Ты получил пятерку?
— Нет.
Выбран один вариант из двух оставшихся: оценка — четверка. Получен еще 1 бит информации. В сумме имеем 2 бита.
Сообщение о том, что произошло одно из четырех равновероятных событий, несет 2 бита информации.
|
Разберем еще одну частную задачу, а потом получим общее правило.
На книжном стеллаже восемь полок. Книга может стоять на любой из них. Сколько информации содержит сообщение о том, где находится книга?
Будем действовать таким же способом, как в предыдущей задаче. Метод поиска, на каждом шаге которого отбрасывается половина вариантов, называется методом половинного деления. Применим метод половинного деления к задаче со стеллажом.
Задаем вопросы:
— Книга лежит выше четвертой полки?
— Нет.
— Книга лежит ниже третьей полки?
-Да.
— Книга на второй полке?
— Нет.
— Ну теперь все ясно! Книга лежит на первой полке!
Каждый ответ уменьшал неопределенность знания в два раза. Всего было задано три вопроса. Значит, набрано 3 бита информации. И если бы сразу было сказано, что книга лежит на первой полке, то этим сообщением были бы переданы те же 3 бита информации.
А сейчас попробуем получить формулу, по которой вычисляется количество информации, содержащейся в сообщении о том, что произошло одно из множества равновероятных событий.
Обозначим буквой N количество возможных событий. Буквой i будем обозначать количество информации в сообщении о том, что произошло одно из N событий.
В примере с монетой: N = 2, i = 1.
В примере с оценками: N = 4, i = 2.
В примере со стеллажом: N = 8, i = 3.
Нетрудно заметить, что связь между этими величинами выражается такой формулой
2 i = N.
Действительно: 21 = 2; 22 = 4; 23 = 8.
Если величина N известна, a i неизвестно, то данная формула становится уравнением для определения i. В математике оно называется показательным уравнением.
Например, пусть на стеллаже не 8, а 16 полок. Чтобы ответить на вопрос, сколько информации содержится в сообщении о том, где лежит книга, нужно решить уравнение
2 i = 16.
Поскольку 16 = 24, то i = 4.
Если значение N равно целой степени двойки (4, 8, 16, 32, 64 и т. д.), то такое уравнение решается просто: i будет целым числом. А чему, например, равно количество информации в сообщении о результате бросания игральной кости, у которой имеется шесть граней и, следовательно, N = 6? Решение уравнения
|
2 i = 6
будет дробным числом, лежащим между 2 и 3, поскольку 22 = 4 < 6, а 23 = 8 > 6. С точностью до пяти знаков после запятой решение такое: 2,58496. Ниже приведена таблица, из которой можно определить i для различных значений N в диапазоне от 1 до 64.
Таблица. Количество информации в сообщении об одном из N равновероятных событий
N | i | N | i | N | i | N | i |
0,00000 | 4,08746 | 5,04439 | 5,61471 | ||||
1,00000 | 4,16993 | 5,08746 | 5,64386 | ||||
1,58496 | 4,24793 | 5,12928 | 5,67243 | ||||
2,00000 | 4,32193 | 5,16993 | 5,70044 | ||||
2,32193 | 4,39232 | 5,20945 | 5,72792 | ||||
2,58496 | 4,45943 | 5,24793 | 5,75489 | ||||
7 | 2,80735 | 4,52356 | 5,28540 | 5,78136 | |||
3,00000 | 4,58496 | 5,32193 | 5,80735 | ||||
3,16993 | 4,64386 | 5,35755 | 5,83289 | ||||
3,32193 | 4,70044 | 5,39232 | 5,85798 | ||||
3,45943 | 4,75489 | 5,42626 | 5,88264 | ||||
3,58496 | 4,80735 | 5,45943 | 5,90689 | ||||
3,70044 | 4,85798 | 5,49185 | 5,93074 | ||||
3,80735 | 4,90689 | 5,52356 | 5,95420 | ||||
3,90689 | 4,95420 | 5,55459 | 5,97728 | ||||
4,00000 | 5,00000 | 5,58496 | 6,00000 |
Коротко о главном
Неопределенность знания о некотором событии — это количество возможных результатов события.
Сообщение, уменьшающее неопределенность знания в два раза, несет 1 бит информации.
Для определения количества информации i, содержащейся в сообщении о том, что произошло одно из N равновероятных событий, нужно решить показательное уравнение 2 i = N.
Вопросы и задания
1. Что такое неопределенность знания о результате какого-либо события? Приведите примеры.
2. Как с точки зрения содержательного подхода к измерению информации определяется единица измерения количества информации?
3. По какой формуле можно вычислить количество информации, содержащейся в сообщении?
4. Сколько битов информации несет сообщение о том, что из колоды в 32 карты достали «даму пик»?
5. Проводятся две лотереи: «4из32» и «5из64». Сообщение о результатах какой из лотерей несет больше информации?
ЕК ЦОР: Часть 1, дополнение к главе 1. ЦОР № 1-5.
§ 5
|
|
Состав сооружений: решетки и песколовки: Решетки – это первое устройство в схеме очистных сооружений. Они представляют...
Адаптации растений и животных к жизни в горах: Большое значение для жизни организмов в горах имеют степень расчленения, крутизна и экспозиционные различия склонов...
Организация стока поверхностных вод: Наибольшее количество влаги на земном шаре испаряется с поверхности морей и океанов (88‰)...
Механическое удерживание земляных масс: Механическое удерживание земляных масс на склоне обеспечивают контрфорсными сооружениями различных конструкций...
© cyberpedia.su 2017-2024 - Не является автором материалов. Исключительное право сохранено за автором текста.
Если вы не хотите, чтобы данный материал был у нас на сайте, перейдите по ссылке: Нарушение авторских прав. Мы поможем в написании вашей работы!