Количественная мера информации.

Центральная проблема теории информации - это выбор меры информации. Будем рассматривать дискретный источник с четным множеством своих сочетаний.

Такой источник считается заданным, если задан ансамбль состоянии:

и обязательно должны быть заданы априорные вероятности этих состояний, каким способом мы их задаем не имеет значения ):       

, где  - число возможных состоянии,  - длина).      

При  - никакого выбора нет, источник находится в состоянии 1 (ничего нового не несет).                                 
 - предложенная мера не обладает свойством аддитивности, т.е. не обладает свойствами линейно возрастать. Было замечено, что количество информации в сообщении вырабатывающего источника зависит от вероятности этого сообщения. Из соображения здравого смысла, менее вероятное событие несет больше количества информации.

события.

 - заданные вероятности.

Клод Шеннон вывел эту зависимость. 

Если задан источник , то  - Хартли. Основание логарифма принципиальной меры не имеет:

, десятичная единица, (дит);

, натуральная единица, (нат);

, двоичная единица, (бит) - количество информации которое вырабатывает источник с двумя возможными состояниями.

К. Шеннон предложил оценивать количество информации содержащееся в сведе­нии о состоянии двоичного источника с равновероятными состояниями:

Было замечено, что количество информации в сообщении, вырабатываемом ис­точником, зависит от вероятности этого сообщения. Менее вероятное событие несет большее количество информации. Если имеется  тогда

- эту зависимость вывел Клод Шеннон.  

 

Условная энтропия

 Энтропия, учитывающая статистическую зависимость между символами, называется условной и находится по формуле

[бит/сообщ]                        

где

                        

- условная частная энтропия, вычисляемая для каждого символа . Для расчета условной энтропии по формулам необходимо использовать переходные вероятности . Как следует из вышесказанного, между условной энтропией и безусловной энтропией должно соблюдаться неравенство

).                                     

    По сравнению с безусловной энтропией, условная энтропия учитывает более тонкую структуру вероятностных свойств источника, поэтому, является более точной характеристикой источника.

 

Скорость передачи

 – среднее количество информации передаваемое в единицу времени.

где - энтропия – среднее количество информации, вырабатываемое источником (т.к. источник передает информацию не с постоянной скоростью).

- среднее время передачи элементарного сообщения .

где     - длительность  сообщения,                            

         - вероятность  сообщения.                                     

Скорость передачи измеряется в Бодах: 1 Бод = 1/1сек

Для обеспечения заданной скорости передачи необходимо соблюсти условие:

,

 где  – пропускная способность канала – максимальное среднее количество информации, предаваемое в единицу времени.