Количество и качество информации

Тезаурус каждого человека характеризует способность этого человека воспринимать те или иные сообщения. Ценность получаемой приемником (человеком) информации можно характеризовать степенью изменения индивидуального тезауруса под воздействием воспринимаемого сообщения.

Необходимость определения количества информации в сообщении с помощью численных единиц была связана с попыткой ученых разработать принципы передачи информации по каналам связи, дать оценку пропускной способности канала связи, разработать способы наилучшего кодирования информации, найти предельные соотношения для количества информации, которое может быть передано по каналу связи в единицу времени. Эти принципиальные вопросы составили начало нового научного направления - теории информации, возникшего в середине прошлого столетия благодаря в основном работам американского инженера и математика Клода Шеннона и советских ученых А.Н. Колмогорова, А.А. Харкевича, В.А. Котельникова.

Теория информации - это наука о методах наиболее рациональной (оптимальной) передачи информации по каналам связи в условиях помех. Она имеет самое тесное отношение к информатике.

Итак, попытаемся понять суть подхода к оценке количества информации некоторого источника сообщений (объект, событие, процесс). Прежде всего, необходимо отвлечься от конкретного содержания того события, о котором сообщается, т.е. от семантики сообщения. (Действительно, для канала связи совершенно неважно, какой смысл несет сообщение, важно, сколько символов нужно передать) Любое событие или объект в каждый момент времени может находиться в одном из большого числа возможных состояний, и описание события есть не что иное, как указание на то, в каком из возможных состояний он находится. Протекание события во времени есть смена этих состояний, выбранных из числа возможных.

Число возможных состояний создает неопределенность, и чем больше неопределенность выбора, тем больше информации можно получить, как результат выбора имеет большую степень неожиданности. Таким образом, информация в отвлеченном виде, без конкретного смысла сообщения, есть просто выбор некоторого определенного элемента из множества возможных.

Если множество вариантов выбора или неопределенность сделать минимальной, то это будет выбор альтернативы из двух возможных событий. Его вполне естественно принять за единицу количества информации. Эта единица называется "двоичной единицей", или "битом". Один бит - это количество информации, содержащееся в источнике с неопределенностью в два равновероятных события. Если выбор производится из числа событии щих два, всякое сужение неопределенности вдвое дает одну единицу информации.

Интересно, что это выражение для количества информации источника совпадает по форме и содержанию с выражением для энтропии в статистической физике.

Понятие энтропии было введено Клаузиусом в 1850 г. в связи со вторым законом термодинамики и означало меру беспорядка. Неупорядоченность можно интерпретировать как неизвестность системы для наблюдателя, т.е. насколько мало известно наблюдателю о данной системе. Как только наблюдатель выявил что-нибудь в физической системе, так энтропия системы снизилась, ибо для наблюдателя система стала более упорядоченной. Энтропия является количественной мерой неопределенности или же представляет количество информации, необходимое для устранения имеющейся неопределенности. Энтропию можно назвать мерой "априорного незнания".

Иными словами, энтропия есть количественная мера недостатка информации о системе. Энтропия и информация имеют противоположные знаки, т.е. энтропия системы выражает степень ее неупорядоченности, а информация о ней дает человеку меру организации системы.

Проблема закрытия малокомплектных школ Тверской области
Несколько лет в Тверской области под видом "оптимизации" происходил самый настоящий разгром системы образования на селе. Поданными Росстата Тверская область к началу 2011 года оказалась на втором месте в ЦФО, после Тамбовской области по количеству закрытых малокомплектных сельских школ. С ...

Анализ литературы содержания дидактических игр по формированию словаря детей раннего возраста
В книге Бондаренко А.К., рассказаны основные функции, основные виды и структура дидактических игр; показана возможность использования дидактической игры в различных её функциях. В книгу включены разные виды дидактических игр. Они сгруппированы с учётом возрастных особенностей и закономерностей разв ...

Социальная поддержка семьи
Прежде всего, семьи алкоголиков – это, как правило, малообеспеченные семьи. Они нуждаются в различных социальных пособиях и субсидиях, предусмотренных Федеральным законом от 17 июля 1999 года № 178-ФЗ "О государственной социальной помощи", Федеральным законом «О государственных пособиях г ...