Понятие энтропии в теории информации.

В результате развития теории информации и ее приложений идеи Шеннона быст­ро распространяли свое влияние на самые различные области знаний. Было замечено,

что формула Шеннона очень похожа на используемую в фи­зике формулу энтропии, выведенную Больцманом.

Энтропия (информационная) – мера хаотичности информации, неопределённость появления какого-либо симовала первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на симовл передаваемого сообщения. Энтропия обозначает степень не­упорядоченности статистических форм движения молекул. Энтропия максимальна при равновероятном распределении параметров движения молекул (направлении, ско­рости и пространственном положении). Значение энтропии уменьшается, если дви­жение молекул упорядочить. По мере увеличения упорядоченности движения энтро­пия стремится к нулю (например, когда возможно только одно значение и направление скорости). При составлении какого-либо сообщения (текста) с помощью энтропии можно характеризовать степень неупорядоченности движения (чередования) симво­лов. Текст с максимальной энтропией — например: ИХЗЦЗЦЩУЩУШКШГЕНЕ-ЭФЖ.

Используя различие формул количества информации Шеннона и энтропии Больцмана (разные знаки), Л. Бриллюэн охарактеризовал информацию как отрица­тельную энтропию, или негэнтропию. Так как энтропия является мерой неупорядо­ченности, то информация может быть определена как мера упорядоченности матери­альных систем.

3. СЕМАНТИЧЕСКАЯ КОНЦЕПЦИЯ ИНФОРМАЦИИ. ПОНЯТИЕ ТЕЗАУРУСА. ЗАКОНОМЕРНОСТИ ВОСПРИЯТИЯ ИНФОРМАЦИИ РЕЦИПИЕНТОМ В РАМКАХ ТЕЗАУРУСНОЙ МОДЕЛИ КОММУНИКАЦИИ.

СЕМАНТИЧЕСКАЯ КОНЦЕПЦИЯ ИНФОРМАЦИИ.

Семантика изучает знаковые системы как средства выражения смысла, опреде­ленного содержания, т. е. правила интерпретации знаков и их сочетаний, смысловую сторону языка.

Основная идея семантической концепции информации заключается в возмож­ности измерения содержания (предметного значения) суждений. Но содержание все­гда связано с формой, поэтому синтаксические и семантические свойства информа­ции взаимосвязаны, хотя и различны. Получается, что содержание все-таки можно из­мерить через форму, т. е. семантические свойства информации выразить через синтак­сические. Поэтому и исследования семантики базировались на понятии информации как уменьшении или устранении неопределенности, с которым мы уже знакомы.

Сразу же заметим, что методы точного количественного определения смыслового содержания информации в настоящее время еще не разработаны, поэтому мы ограни­чимся только кратким описанием подходов к решению этой проблемы.

Первую попытку построения теории семантической информации предприняли Р. Карнап и И. Бар-Хиллел. Они предложили определять величину семантической ин­формации посредством так называемой логической вероятности, которая представ­ляет собой степень подтверждения той или иной гипотезы. Таким образом, семантико-информационное содержание высказывания определяется не тем, что содержит данное высказывание, а тем, что оно исключает.

Однако, несмотря на определенные достижения, концепция Карнапа — Бар-Хиллела оказалась малопригодной для анализа содержания естественного языка. Эта теория, основанная на вероятностной логике, неприменима к анализу основного мас­сива научного знания — достоверного знания. С точки зрения указанной теории, на­пример, высказывание «На Луне есть нефть» содержит информацию, а высказывание «На Земле есть нефть» лишено информации, поскольку это достоверное знание. Та­кая ситуация представлялась довольно парадоксальной!

ПОНЯТИЕ ТЕЗАУРУСА.

Все здание человеческого знания, согласно этой модели, можно рассматривать в виде совокупности смысловыражающих элементов и смысловых отношений между ними. Множество смысловыражающих элементов и смысловых отношений на нем на­зывается тезаурусом. Слово «тезаурус» происходит от греческого — сокровище, со­кровищница, все огромное множество понятий и отношений между ними, иными сло­вами, тезаурус составляет главное сокровище человека — его знания. Таким обра­зом, ТЕЗАУРУС — это знание, представленное в виде понятий и отношений меж­ду ними, т. е. определенным образом структурированное знание.

В широком смысле Тезаурус интерпретируют как описание системы знаний о действительности, которыми располагает индивидуальный носитель информации или группа носителей. Этот носитель может выполнять функции приёмника дополнительной информации, вследствие чего изменяется и его Тезаурус. Исходный тезаурус определяет при этом возможность приёмника при получении им семантической информации. Тезаурус фактически содержит не только информацию о действительности, но и метаинформацию (сведения об информации), обеспечивающую возможность приёма новых сообщений.