Условная энтропия и информация

Пусть осуществляется два опыта a и β, характеризующиеся следующими вероятностями исходов (табл. 2 и 3).

 

Таблица 2

Вероятности исходов опытаa

 

Исходы опыта	А1	А2	…	Ai	…	An
Вероятности исходов	PA1	PA2	…	PAi	…	PAn

 

Таблица 3

Вероятности исходов опытаβ

 

Исходы опыта	В1	В2	…	Вi	…	Вn
Вероятности исходов	PВ1	PВ2	…	PВi	…	PВn

 

Сложный опыт γ заключается в одновременной реализации опытов a и β. Если опыты независимы, можно использовать правила сложения энтропий:

 

Н(γ) = Н(a) + Н(β).

 

Сложнее определить энтропию, когда события зависимы:

 

Н(γ)=Н(a)+Н(β /a)=Н(β)+Н(a/β),

 

где Н(β /a) – так называемая средняя условная энтропия опыта β при условии выполнения опыта a.

В любом случае имеет место соблюдение следующих неравенств:

 

0 £ Н(β /a) £ Н(β);

0 £ Н(a/β) £ Н(a),

 

т.е. условная энтропия заключается между 0 и безусловной энтропией.

Предварительное выполнение одного из опытов может уменьшить неопределенность другого опыта или свести ее совсем к нулю.

Вывод:

 

Н(γ) ³ Н(a); Н(γ) ³ Н(β);

Н(γ) £ Н(a) + Н(β).

 

Перейдем к понятию количества информации.

Как было показано выше, для двух зависимых опытов a и β средняя энтропия опыта β при условии осуществления опыта a, как правило, меньше безусловной энтропии опыта β, т.е. Н(β) ³ Н(β /a).

Причем разность Н(β) - Н(β /a) убывает по мере ослабления связи между этими опытами и в пределе становится равной нулю (т.е. Н(β) = Н(β /a)), когда опыты становятся независимыми.

Таким образом, разность Н(β) - Н(β /a) количественно выражает уменьшение энтропии, или неопределенности, опыта β после осуществления опыта a, или, можно сказать, увеличивает наши представления, знания о возможном исходе опыта β. Это дало логическое основание для того, чтобы назвать эту разность информацией (или количеством информации I_a,β) об опыте β, содержащемся в опыте a, т.е.

 

I_a,β = Н(β) - Н(β /a).

 

Изложенные соображения закладывают основы количественного статистического подхода к измерению количества информации в соответствии с концепцией, предложенной К.Шенноном.

 

Иллюстрация этой концепции приведена на рис. 2, где наглядно показано, что энтропия Н(β) опыта β после осуществления опыта a уменьшается на величину I_a,β .

 

I_a,β = Н(β) - Н(β /a)

 

Н(β)

 

Н(β /a)

 

 

 

Рис. 2. Изменение энтропии опыта и количества информации

 

Если бы опыты β и a были независимы, то Н(β) = Н(β /a) и I_a,β= 0, а если результат опыта a полностью снимает неопределенность опыта β, т.е. если Н(β /a) = 0, то I_a,β= Н(β).

Энтропия Н(β) опыта β представляет информацию об этом опыте, которая содержится в самом опыте, так как осуществление опыта полностью определяет его исход и следовательно Н(β / β) = 0, т.е. неопределенность опыта после его исхода равна 0.

 

Рассматривая сообщение как информацию об исходе некоторого опыта, можно утверждать, что чем более неопределенным было это сообщение до его получения, тем большее количество информации оно содержит.

Количество информации I можно определить и через отношение вероятностей:

 

I = log P₁/P,

 

где P₁ — вероятность события после поступления сообщения о нем;

P — вероятность данного события до поступления сообщения о нем.

 

Так как числитель этой дроби (вероятность события после поступления сообщения о том, что оно произошло) равен единице, то:

 

I = - log P.

 

Таким образом, мы определили логическую сущность понятия количество информации.

Однако и статистический метод далеко не исчерпывает всех вопросов измерения количества информации. Являясь мощным средством для формального решения ряда задач прикладного характера, этот метод в то же время обладает существенным недостатком, а именно: он не учитывает ни внутреннего смысла (содержания) сообщений, ни их ценности для получателя.

Общая черта, свойственная структурному и статистическому методам количественного измерения информации, заключается в необходимости отвлечься от ее содержания, смысла, полезности. Эти меры оперирует с обезличенной информацией, не выражающей смыслового отношения к объекту.

Их ограниченный характер прекрасно понимал и сам К.Шеннон. Уже в 1956 г. в одной из статей он писал: «Ученые различных специальностей, привлеченные поднятым шумом и перспективами новых направлений исследований, используют идеи теории информации при решении своих частных задач. Так, теория информации нашла применение в биологии, психологии, лингвистике, теоретической физике, экономике, теории организации производства и во многих других областях науки и техники. Короче говоря, сейчас теория информации, как модный опьяняющий напиток, кружит голову всем вокруг.

Для всех, кто работает в области теории информации, такая широкая популярность, несомненно приятна и стимулирует их работу, но такая популярность в то же время и настораживает. Сознавая, что теория информации является сильным средством решения проблем теории связи (и в этом отношении ее значение будет возрастать), нельзя забывать, что она не является панацеей для инженера-связиста и тем более для представителей всех других специальностей. Очень редко удается открыть одновременно несколько тайн природы одним и тем же ключом.

Здание нашего несколько искусственно созданного благополучия слишком легко может рухнуть, как только в один прекрасный день окажется, что при помощи нескольких магических слов, таких, как информация, энтропия, избыточность, нельзя решить всех нерешенных проблем» [12].

Следует признать, что К. Шеннон точно оценил возникшую в науке ситуацию и последствия. В результате того, что от теории информации ожидалось больше, чем она могла дать, наступило разочарование.