Понятие количества информации. Формулы Хартли и Шеннона.

Количество информации по Хартли

Хартли был пионером в области Информационной Теории. Он ввёл понятие "информации" как случайная переменная и был первый, кто попытался определить "меру информации". Хартли развивал понятие информации, основанной на "физическом как противопоставлено с психологическими рассмотрениями" для использования в изучении электронных коммуникаций. Фактически, Хартли соответственно определяет это основное понятие. Вместо этого он обращается к "точности... информации" и "количества информации".

Информация существует в передаче символов, с символами, имеющими "определённые значения к партийному сообщению". Когда кто - то получает информацию, каждый полученный символ позволяет получателю "устранять возможности", исключая другие возможные символы и их связанные значения.

Точность информации зависит от того, что другие последовательности символа, возможно, были выбраны; мера этих других последовательностей обеспечивает признак количества переданной информации. Таким образом, если бы мы получили 4 различных символа, происходящие с равной частотой, то это представило бы 2 бита.

В 1928 г. американский инженер Р. Хартли предложил научный подход к оценке сообщений. Предложенная им формула имела следующий вид:

I = log₂ K,

Где К - количество равновероятных событий; I - количество бит в сообщении, такое, что любое из К событий произошло. Тогда K=2I.

Иногда формулу Хартли записывают так:

I = log₂ K = log₂ (1 / р) = - log₂ р,

т. к. каждое из К событий имеет равновероятный исход р = 1 / К, то К = 1 / р.

Количество информации по Шеннону

Для определения количества информации не всегда возможно использовать формулу Хартли. Её применяют, когда выбор любого элемента из множества, содержащего N элементов, равнозначен. Или, при алфавитном подходе, все символы алфавита встречаются в сообщениях, записанных с помощью этого алфавита, одинаково часто. Однако, в действительности символы алфавитов естественных языков в сообщениях появляются с разной частотой.

Пусть мы имеем алфавит, состоящий из N символов, с частотной характеристикой P1, P2,... PN, где Pi - вероятность появления i – го символа. Все вероятности неотрицательны и их сумма равна 1. Тогда средний информационный вес символа (количество информации, содержащееся в символе) такого алфавита выражается формулой Шеннона:

где Н – количество информации, N – количество возможных событий, Pi – вероятность отдельных событий

 

Информационные процессы. Основные понятия процессов сбора, обмена, хранения, накопления, обработки и передачи информации.

Можно выделить четыре основных вида информационных процессов: сбор, передача, обработка и накопление.

С накоплением информации связаны следующие понятия:

Носитель информации – это физическая среда, которое непосредственно хранит информацию.
Память человека можно условно назвать оперативной (понятие «оперативный» является синонимом понятию «быстрый»). Человек быстро воспроизводит сохраненные в памяти знания. Внутренней можно назвать память человека, а носителем информации – мозг. Внешними носителями (по отношению к человеку) являются все остальные носители: папирус, дерево, бумага, магнитный диск, флэш-накопитель и т.д.

Хранилище информации – это специальным образом организованная информация на внешних носителях, которая предназначена для длительного хранения и постоянного использования (к примеру, архивы документов, библиотеки, картотеки, базы данных). Единицей хранилища информации является физический документ: анкета, журнал, книга, диск и др. Под организацией хранилища понимается упорядочивание, структурирование, классификация хранимых документов для удобства работы с ними.

Основными свойствами хранилища информации является объем информации, надежность ее хранения, время доступа к ней (т.е. скорость поиска необходимых сведений), защита информации.

Техническими средствами реализации накопления информации являются носители информации: оперативная память компьютера (ОЗУ), гибкие, оптические и жесткие диски, переносные запоминающие устройства – флэш-накопители и т.п

Передача информации.

Обмен информацией между людьми происходит в процессе ее передачи, которая может происходить при разговоре, с помощью переписки, используя технические средства связи: телефон, радио, телевидение, компьютерная сеть.

При передаче информации всегда существует источник и приемник информации. Источник передает информацию, а приемник ее получает. Смотря телевизор или слушая товарища, вы являетесь приемником информации, рассказывая выученный стих, при написании сочинения – источником информации. Каждый человек неоднократно из источника становится приемником информации и наоборот.

Информация хранится и передается в виде последовательности сигналов, символов. От источника к приёмнику сообщение передается с помощью некоторой материальной среды: при разговоре – с помощью звуковых волн, при переписке – почтовой связи, при телефонном разговоре – системы телефонной связи. В случае передачи сообщения с помощью технических средств связи их называют информационными каналами (каналами передачи информации). Органы чувств человека являются биологическими информационными каналами.

Таким образом, передача информации происходит по следующей схеме:
Исходная информация Исполнитель обработки Итоговая информация

При обработке информации решается информационная задача, которая изначально может быть представлена в традиционной форме: из некоторого набора исходных данных необходимо получить определенные результаты. Переход от исходных данных к результату является процессом обработки. Объект или субъект, осуществляющий обработку, является исполнителем обработки.

Результатом процесса обработки информации не всегда является получение каких-либо новых сведений. Например, при переводе текста с английского языка на русский происходит обработка информации, которая изменяет ее форму, но не содержание.

Для успешной обработки информации исполнитель должен использовать алгоритм обработки, т.е. последовательность действий, которую нужно выполнить для достижения нужного результата.

Существует два вида обработки информации:

- обработка, которая приводит к получению новой информации, нового содержания знаний (решение математических задач, анализ ситуации и др.);

- обработка, которая приводит к изменению формы, но не содержания (кодирование, структурирование).

Получение информации – сбор сведений из различных источников (из хранилища данных, наблюдение за событиями и явлениями, общение, телевидение, компьютерная сеть и т.д.). Получение информации основано на отражении различных свойств процессов, объектов и явлений окружающей среды. Этот процесс выражается в восприятии с помощью органов чувств. Для улучшения восприятия информации существуют разнообразные индивидуальные устройства и приспособления – очки, бинокль, микроскоп, стетоскоп, различные датчики и т. д.