Вероятностное определение количества информации по Шеннону.

Определение Хартли не учитывало фактор неожиданности появления конкретного состояния источника.

- I(x_i) = f(p(x_i))-ф-ия вероятности появления события

- если неопределенность открывается по этапам, то она должна быть равна взвешенной сумме неопределенностей, устраняемых на каждом этапе.

 

I(x_i) = - log₁p(x_i) количество собственной информации x_i

Свойства:

1. I(x_i) ≥0

2. I(x_i) = - log_a(1\m_x) = log_a m_x – когда не учитывается степень возможности.

3. Свойство аддитивности

p(x_i) * p(y_i) = p(x_i*y_i)

- log p(x_i*y_i) = -log p(x_i) – log p(y_i)

I(x_i*y_i) = I(x_i)+I(y_i)

p(a₂) = (1-p₁)*p₂   ;p₂ – условная вероятность.

p(a₂) = p(b)*p(a₂/b)

- количество информации содержащейся в сообщении не должно зависеть от смыслового содержания сообщения.

3. Алгоритмическое определение количества информации по Колмогорову: В качестве количества информации используется минимальная длина программы, которая позволяет описать свойства источника информации.

Случайный процесс, как модель источника сообщений.

При изучении источников, как правило, отвлекаются от их природы, заменяя их моделями. Модель – способ описания объекта, отражающий существенный с точки зрения решаемой задачи факторы. Случайная величина – величина, которая в результате опытов принимает одно из возможных значений, причем заранее неизвестно, какое.

На практике интересуются не отдельными состояниями, а непрерывными либо дискретными последовательностями этих состояний, реализуемых источниками за определенный промежуток времени.

Случайный процесс – случ. Функция времени, которая в результате опыта может принять тот или иной вид, причем заранее неизвестно, какой.

Конкретный вид Случ функции наз реализацией случ процесса.

X(t)-случайный процесс

x­₁(t), x₂(t)…-ансамбль реализаций

 

Классификация (критерии):

1) Пространство состояний – определяет диапазон возможных значений случ. проц.

2) Временные параметры –как измененяется сл. вел. во времени.

3) Статистические зависимости между сл. вел. в различные моменты времени.

Классификация по 1, 2 критериям: дискретная, непрерывная, комбинированная.

	-Непрерывная случ. последовательность – непрерывна по значениям, дискретна по времени.
	-Дискретный случайный процесс.
	-Дискретная случ. последовательность – дискретны время и значения.

 

Виды дискретных источников.

Дискретные источники вырабатывают дискретные случайные последовательности.

Дискретный процесс Х – совокупность случ. величин Х₁, Х₂,…, Х_n, где Х_t – срез случ. процесса в момент времени t. 

X ={X₁, X₂…X_n}

X_t={x₁, x₂…x_mx}, где x₁, x₂…x_m-алфавит источника, mx-объем алфавита.

x – реализация случ. проц. Х

x ={x_i1, x_i2… x_in}={X₁=x_i1, X₂=x_i2… X_n=x_in}

Количество сообщений=m­ⁿ=m _x (объем алф. случ. проц.)

Если появление отдельных символов последовательности зависит от времени наблюдения то такой процесс нестационарный

Процесс называется стационарным,если сдвиг во времени интервала наблюдений не приводит к изменению оцениваемых параметров. p(x_i1, x_i2…x_in)=p(x_i(t+1), x_i(t+2)…x_i(t+n))

Случайный процесс называется оргодичным, если все его информационные параметры можно точно определить по одной достаточно длинной реализации. Такие реализации наз типичными последовательностями для данного источника.

На практике символы сообщений статистически взаимосвязаны, т.е. выработка очередного символа зависит от переданных ранее.

p(x_i1…x_in)=p(x_i1)p(x_i2/x_i1)p(x_i3/x_i1x_i2)…p(x_in/x_i1…x_in-1) – источник с памятью.

Получаем упрощение, когда считаем, что каждый следующий символ не связан с предыдущим: p(x_i1…x_in)=p(x_i1)p(x_i2)…p(x_in).

Если будем учитывать зависимости только между близкорасположенными символами, то получим марковский случ. проц. Случ. проц. называется марковским порядка L, если каждая его случайная величина зависит лишь от L предшествующих. Сообщение называют марковской цепью L-ного порядка.

p(НГТУ)=p(Н)p(Г/Н)p(Т/Г)p(У/Т)