Индивидуальные и групповые автопоилки: для животных. Схемы и конструкции...
Биохимия спиртового брожения: Основу технологии получения пива составляет спиртовое брожение, - при котором сахар превращается...
Топ:
Техника безопасности при работе на пароконвектомате: К обслуживанию пароконвектомата допускаются лица, прошедшие технический минимум по эксплуатации оборудования...
Выпускная квалификационная работа: Основная часть ВКР, как правило, состоит из двух-трех глав, каждая из которых, в свою очередь...
Отражение на счетах бухгалтерского учета процесса приобретения: Процесс заготовления представляет систему экономических событий, включающих приобретение организацией у поставщиков сырья...
Интересное:
Наиболее распространенные виды рака: Раковая опухоль — это самостоятельное новообразование, которое может возникнуть и от повышенного давления...
Распространение рака на другие отдаленные от желудка органы: Характерных симптомов рака желудка не существует. Выраженные симптомы появляются, когда опухоль...
Как мы говорим и как мы слушаем: общение можно сравнить с огромным зонтиком, под которым скрыто все...
Дисциплины:
2024-02-15 | 16 |
5.00
из
|
Заказать работу |
|
|
Центральная проблема теории информации - это выбор меры информации. Будем рассматривать дискретный источник с четным множеством своих сочетаний.
Такой источник считается заданным, если задан ансамбль состоянии:
и обязательно должны быть заданы априорные вероятности этих состояний, каким способом мы их задаем не имеет значения ):
, где - число возможных состоянии, - длина).
При - никакого выбора нет, источник находится в состоянии 1 (ничего нового не несет).
- предложенная мера не обладает свойством аддитивности, т.е. не обладает свойствами линейно возрастать. Было замечено, что количество информации в сообщении вырабатывающего источника зависит от вероятности этого сообщения. Из соображения здравого смысла, менее вероятное событие несет больше количества информации.
события.
- заданные вероятности.
Клод Шеннон вывел эту зависимость.
Если задан источник , то - Хартли. Основание логарифма принципиальной меры не имеет:
, десятичная единица, (дит);
, натуральная единица, (нат);
, двоичная единица, (бит) - количество информации которое вырабатывает источник с двумя возможными состояниями.
К. Шеннон предложил оценивать количество информации содержащееся в сведении о состоянии двоичного источника с равновероятными состояниями:
Было замечено, что количество информации в сообщении, вырабатываемом источником, зависит от вероятности этого сообщения. Менее вероятное событие несет большее количество информации. Если имеется тогда
- эту зависимость вывел Клод Шеннон.
Условная энтропия
Энтропия, учитывающая статистическую зависимость между символами, называется условной и находится по формуле
|
[бит/сообщ]
где
- условная частная энтропия, вычисляемая для каждого символа . Для расчета условной энтропии по формулам необходимо использовать переходные вероятности . Как следует из вышесказанного, между условной энтропией и безусловной энтропией должно соблюдаться неравенство
).
По сравнению с безусловной энтропией, условная энтропия учитывает более тонкую структуру вероятностных свойств источника, поэтому, является более точной характеристикой источника.
Скорость передачи
– среднее количество информации передаваемое в единицу времени.
где - энтропия – среднее количество информации, вырабатываемое источником (т.к. источник передает информацию не с постоянной скоростью).
где - длительность сообщения,
- вероятность сообщения.
Скорость передачи измеряется в Бодах: 1 Бод = 1/1сек
Для обеспечения заданной скорости передачи необходимо соблюсти условие:
,
где – пропускная способность канала – максимальное среднее количество информации, предаваемое в единицу времени.
|
|
Своеобразие русской архитектуры: Основной материал – дерево – быстрота постройки, но недолговечность и необходимость деления...
История развития хранилищ для нефти: Первые склады нефти появились в XVII веке. Они представляли собой землянные ямы-амбара глубиной 4…5 м...
Архитектура электронного правительства: Единая архитектура – это методологический подход при создании системы управления государства, который строится...
Таксономические единицы (категории) растений: Каждая система классификации состоит из определённых соподчиненных друг другу...
© cyberpedia.su 2017-2024 - Не является автором материалов. Исключительное право сохранено за автором текста.
Если вы не хотите, чтобы данный материал был у нас на сайте, перейдите по ссылке: Нарушение авторских прав. Мы поможем в написании вашей работы!