Энтропийный способ измерения информации

Наука, изучающая количественные закономерности, связанные с получением, передачей, обработкой и хранением информации называется теорией информации.

Любое сообщение, с которыми мы имеем дело в теории информации, представляет собой совокупность сведений о некоторой физической системе. Очевидно, если бы состояние физической системы было известно заранее, не было бы смысла передавать сообщение, т.е. сообщение приобретает смысл тогда, когда состояние системы заранее неизвестно, случайно.

Поэтому в качестве объекта, о котором передается информация, мы будем рассматривать некоторую физическую систему, которая случайным образом может оказаться в том или ином состоянии, т.е. систему, которой заведомо присуща какая-то степень неопределенности.

Возникает вопрос: что значит «большая» или «меньшая» степень неопределенности и чем можно ее измерить?

Сравним между собой две системы, каждой из которых присуща некоторая неопределенность:

1) Монета, которая в результате бросания может оказаться в одном из двух состояний

2) Игральная кость, у которой 6 возможных состояний: 1, 2, 3, 4, 5, 6.

Неопределенность какой-то системы больше? Очевидно, второй, т.к. у нее больше возможных состояний, в каждом из которых система может оказаться с одинаковой вероятностью.

Может показаться, что степень неопределенности системы определяется числом возможных состояний системы. Но в общем случае это не так.

Рассмотрим, например, техническое устройство, которое может быть в двух состояниях: 1) исправно; 2) отказало.

Пусть до получения сведений (априори) вероятность исправной работы устройства 0,99, а вероятность отказа – 0,01.

Такая система обладает очень малой степенью неопределенности: почти наверняка можно сказать, что устройство будет работать исправно.

При бросании монеты тоже имеется 2 возможных состояния, но степень неопределенности гораздо больше.

Таким образом, степень неопределенности физической системы определяется не только числом ее возможных состояний, но и вероятностями состояний.

Перейдем к общему случаю.

Рассмотрим некоторую систему X, которая может принимать конечное множество состояний x₁, x₂, … x_n с вероятностями p₁, p₂, … p_n, где

p_i = P(X ~ x_i) – вероятность того, что система X примет состояние x_i. Очевидно, .

Запишем эти данные в виде таблицы

xi	x1	x2		…	xn
pi	p1	p2			pn

В качестве меры априорной неопределенности системы в теории информации применяется специальная характеристика, называемая энтропией.

Энтропией системы называется сумма произведений вероятностей различных состояний системы на логарифмы этих вероятностей, взятая с обратным знаком.

H(x)= – (1.1)

(знак «–» поставлен для того, чтобы энтропия была положительной; числа 0<p_i<1 и их логарифмы отрицательны).

Логарифм может быть взят при любом основании a>1. Перемена основания равносильна умножению энтропии на постоянное число, а выбор основания равносилен выбору определенной единицы измерения энтропии. Если за основание выбрано число 10, то говорят о «десятичных единицах» энтропии, если 2 – о «двоичных единицах».

На практике удобнее всего пользоваться логарифмами при основании 2 и измерять энтропию в двоичных единицах. Это хорошо согласуется с применяемой в компьютерах двоичной системой счисления.

Энтропия системы, которая имеет два равновозможных состояния (в качестве основания логарифма выберем 2) равна единице:

H(X)=

Определенная таким образом единица энтропии называется двоичной единицей и обозначается bit (от английского binary digit – двоичный знак)

Это энтропия одного разряда двоичного числа, если он с одинаковой вероятностью может быть нулем или единицей.

Энтропия системы X, которая имеет n равновероятных состояний, измеренная в двоичных единицах, определяется по формуле (1.2)

H(X)= (1.2)

Таким образом

H(X)= (1.3)

Т.е. энтропия системы с равновозможными состояниями равна логарифму числа состояний.

Например, для системы с восемью состояниями

H(X) =

Свойства энтропии [1]:

1) Энтропия обращается в ноль, когда одно из состояний системы достоверно, а другие невозможны (действительно, в этом случае все вероятности p₁, p₂, …, p_n обращаются в нуль, кроме одной, например, p_k, которая равна единице. p_k logp_k = 1×log1 = 0)

2) При заданном числе состояний энтропия обращается в максимум, когда эти состояния равновероятны. При увеличении числа состояний энтропия увеличивается.

3) Свойство аддитивности. Когда несколько независимых систем объединяются в одну, их энтропии складываются.

Энтропия и информация

Итак, мы определили энтропию как меру неопределенности состояния некоторой физической системы. Очевидно, что в результате получения сведений неопределенность системы может быть уменьшена. Чем больше объем полученных сведений, чем более содержательны сведения, тем больше информации о системе, тем менее неопределенным будет состояние системы.

Естественно поэтому количество информации измерять уменьшением энтропии той системы, для уточнения состояния которой предназначены сведения.

Рассмотрим некоторую системы Х, над которой производится наблюдение, и оценим информацию, получаемую в результате того, что состояние системы Х становится полностью известным. До получения информации энтропия системы была H(X). После получения сведений состояние системы полностью определилось, т.е. энтропия стала равной нулю.

Обозначим I_x информацию, получаемую в результате выяснения состояния системы Х. Она равна уменьшению энтропии:

I_x=H(x) – 0

или

I_x = H(X), (1.4)