Вопрос 14. Измерение количества информации. Содержательный, алфавитный и вероятностный подход

Содержательный подход к измерению количества информации

В зависимости от того каким образом определяется понятие информация может использоваться один из двух подходов к определению его количества.

Если информацию рассматривать с точки зрения человека, как снятую неопределенность, т.е. с учетом содержательной стороны, то применяют содержательныйподход к измерению информации.

В данном случае под информацией понимают сведения или сообщения уменьшающие, или снимающие существовавшую до их получения неопределенность. Считается, что сообщение содержит один бит информации в том случае, если это сообщение уменьшает неопределенность, существовавшую до его появления ровно в два раза.

1 бит информации – это количество информации, которая содержится в сообщении, уменьшающем неопределенность в два раза.

Измерение информации с точки зрения содержательного подхода возможно для информативных сообщений. Количество информации в неинформативных сообщениях равен нулю.

– формула Хартли, где n – количество равновероятных событий, i – количество информации в сообщении в битах

Если количество информации измеряется не целым числом, то зависимость выражается через логарифмическую функцию.

В случаях, когда события имеют разную вероятность используют формулу Шеннона:

, где i – количество информации в битах, p– вероятность наступления события, n – число благоприятных событий, N– общее число событий.

Формула Хартли – это частный случай формулы Шеннона, т.е. если все события равновероятны, то n = 1 =˃

Алфавитный подход

Алфавитныйподход основан на том, что информация с точки зрения работы техники – это любая последовательность в виде символов, т.е. любое сообщение можно закодировать конечной последовательностью символов. Посчитав, количество символов в сообщении можно вычислить его объем. Информативность одного символа зависит от мощности алфавита.

Для алфавита, в котором символы встречаются равновероятно, мощность алфавита равна , *I – где i–информационный объем одного символа, K–количество символов в сообщении, I – количество информации

Количество информации с учетом вероятностного появления символов: , где , где ичество символов в сообщении.

– количество информации в сообщении. Средний информационный вес символа . Количество информации в сообщении I=K*H

Вопрос 15. Основы логики. Этапы становления логики. Основные определения. Логические операции. Построение таблиц истинности логической функции

Основные понятия логики

Термин логика происходит от древнего слова «logos» (слово, разум, рассуждение). Логика обозначает науку о законах и формах рационального мышления.

Мыслить логично значит мыслить точно и последовательно не допускать противоречий в своих рассуждениях, не допускать ошибок.

Основателем логики считается древнегреческий философ Аристотель (384-322 г. до н. э.). логику Аристотеля принято называть формальной логикой. В основе формальной логики лежит принцип, что правильность рассуждения определяется только его логической формой и не зависит от конкретного содержания входящих в него суждений.

Формальнаялогика – наука о законах и формах суждения изучает совокупность правил, которым подчиняется суждение человека.

Лейбниц (1646 – 1716 гг.). благодаря Лейбницу появляется математическая логика. Лейбниц предложил представить логические доказательства, как вычисления в математике и обосновал необходимость создания математического языка. Высказал идею заменить простые рассуждения действиями со знаками по соответствующим правилам и построил первые логические счисления.

Джордж Буль (1815 – 1854 гг.). ввел алфавит, орфографию, грамматику математической логики. С его именем связана булева алгебра или алгебра логики, которая позволяет описать функционирование аппаратных и программных средств компьютера.

Математическая логика, как самостоятельная дисциплина

Наука логика изучает высказывания. Высказывания – это утвердительное предложение, прок которое можно сказать истинно оно или ложно. Высказывания обозначаются логическими величинами:

9 Переменные – символическое обозначение: A, B, C, D

9 Константы – фиксированные значения: 1 – истина, 0 – ложь

В математической логике из простых высказываний с помощью логических операций получаются сложные.

Логическаяоперация – это способ построения сложных и простых высказываний при которых значение истинности сложного высказывания полностью определяется значениями истинности исходных высказываний.

Приоритет выполнения логических операций:

1. Инверсия – логическое отрицание

2. Конъюнкция – логическое умножение

3. Дизъюнкция – логическое сложение

4. Импликация – логическое следование, эквивалентность – логическое равенство

Логическое отрицание – инверсия. Образуется с помощью добавления частицы НЕ к сказуемому или обороту «неверно что» в начале простого высказывания. Инверсия высказываний истина, когда высказывание ложно, и ложна в противном случае. НЕ (А), A,

Логическое умножение – конъюнкция. Образуется соединением двух простых высказываний в одно с помощью союза «И». Это логическая операция, которая принимает значение истина, если оба высказывания истины и ложна во всех остальных случаях.A И В, А˄В, А*В, А&В

Логическое сложение – дизъюнкция. Образуется соединением двух простых высказываний в одно с помощью союза «ИЛИ». Это логическая операция, которая принимает значение истина, если хотя бы одно из высказываний истинно и ложно, если оба высказывания ложно.A ИЛИ В, АorВ, А+В, А˅В

Логическое следование – импликация. Образуется соединением двух простых высказываний в одно с помощью оборота речи «если то». Это логическая операция, которая принимает значение ложь, если первое высказывание истинно, а второе ложно, и истинно во всех остальных случаях. А=˃В, А"В

Логическое равенство – эквиваленция. Образуется соединением двух простых высказываний в одно с помощью оборота речи «тогда и только тогда». Это логическая операция, которая принимает значение истина, когда оба выражения имеют одинаковые значения и принимает значение ложь в противном случае. А⇔В, А≡В.

Составление таблицы истинности для логических функций

Логическаяфункция – это функция в которой аргументы принимают только два значения. Обозначение: f (A,B).