Передача информации по каналам связи

Рассмотрим информационные характеристики источников сообщений, каналов связи и приемников информации, позволяющие установить пути повышения эффективности систем передачи информации, и, в частности, определить условия, при которых можно достигнуть максимальной скорости передачи сообщений по каналу связи, как в отсутствие помех, так и при наличии помех.

Источники сообщений

Источник сообщений - это то, что вырабатывает сообщения. Это устная речь, письмо, газеты, книги, сообщения по радио, телевидению, результаты измерений, представленные в виде последовательности цифр и т. д. Сообщение может поступать в форме последовательности каких-либо кодовых знаков.

Нас интересует источник с математической точки зрения, так чтобы можно было отличать источники друг от друга с каких то обобщенных позиций.

С математической точки зрения, под источником информации понимают множество возможных сообщений с заданной на этом множестве вероятностной мерой.

Различают дискретные источники и непрерывные. Различие между ними в том, что элементы в дискретном случае образуют счетное множество, а в непрерывном - несчетное множество (континуум).

Дискретный источник определен, если перечислены все его возможные сообщения и указаны их вероятности.

x₁, x₂, x₃,..., x_m

p(x₁), p(x₂), p(x₃),...,p(x_m), ,

Тогда энтропия источника, или количество информации, приходящееся в среднем на одно сообщение, будет составлять:

(1)

Это простейшая модель источника сообщений. Реальные источники характеризуются тем, что между элементарными сообщениями существуют статистические связи.

Источник (1) является моделью первого, самого грубого приближения. Модель второго приближения учитывает статистику взаимосвязей между соседними буквами p(x_j/x_i). Модель третьего приближения учитывает связи между тремя соседними буквами p(x_k/x_ix_j) и т.д.

Известно, что H(X₂/X₁)≤H(X), H(X₃/X₁X₂)≤H(X₂/X₁) и т. д., поэтому энтропии разных степеней приближения составляют монотонно убывающий ряд: H₀ ³ H₁ ³ H₂ ³ H₃ ³... H_n-1³ H_n,

где H₀ - модель источника без учета статистических характеристик H₀=log n.

По мере возрастания номера убывание замедляется, и вся цепочка стремится к некоторому пределу

Например, если возьмем 32 буквы русского алфавита, то значение энтропии будет убывать в зависимости от номера модели приближения

H₀=log 32=5 бит H₁ =4,42бит

Учитывая, что между буквами алфавита существуют взаимосвязи, например в русском языке довольно часто встречаются сочетания: тся, ает, щий и т.д. Но, с другой стороны, невозможно встретить сочетание аь, иы и т.д.То модели более высоких номеров будут иметь все меньшее значение энтропии и в пределе стремиться к минимально возможному значению.

Энтропия характеризует среднее количество информации, приходящееся на один символ сообщения. Если источник выдает n символов в секунду, то скорость выдачи информации будет составлять R_и=nH.

Избыточность информации

Если бы сообщения передавались бы с помощью равновероятных букв алфавита и между собой статистически независимых, то энтропия таких сообщений была бы максимальной. На самом деле реальные сообщения строятся из не равновероятных букв алфавита с наличием статистических связей между буквами. Поэтому энтропия реальных сообщений - H_р, оказывается много меньше энтропии оптимальных сообщений - H_{о .} Допустим, нужно передать сообщение, содержащее количество информации, равное I. Источнику, обладающему энтропией на букву, равной H_р, придется затратить некоторое число букв n_р, то есть . Если энтропия источника была бы Н₀, то пришлось бы затратить меньше букв на передачу этого же количества информации I= n₀H₀ .

Таким образом, часть букв n_р-n_о являются как бы лишними, избыточными. Таким образом, мера удлинения реальных сообщений по сравнению с оптимально закодированными и представляет собой избыточность D.

(2)

Но наличие избыточности нельзя рассматривать как признак несовершенства источника сообщений. Наличие избыточности способствует повышению помехоустойчивости сообщений. Высокая избыточность естественных языков обеспечивает надежное общение между людьми.