Содержательный подход к измерению информации

Содержательный подход к измерению информации

Содержательный подход связывает количество информации с уменьшением неопределённости знания. Пока мы не знаем, какой из возможных исходов наступит, существует неопределённость. Когда мы получаем сообщение о том, что именно произошло, неопределённость уменьшается, и именно это уменьшение неопределённости измеряют в информации. Чем больше было возможных исходов, тем больше информации несёт сообщение об одном из них.

Этот подход применяют, когда все исходы события равновероятны, то есть ни один из них не имеет преимущества перед другими. Например, при бросании правильной монеты или вытаскивании одного из одинаковых на ощупь шаров.

Единица измерения

За единицу количества информации принят бит. Один бит — это количество информации в таком сообщении, которое уменьшает неопределённость ровно в два раза. Например, сообщение о результате одного бросания монеты несёт ровно один бит информации: до броска было два равновероятных исхода, а после сообщения остался известен только один.

Формула Хартли

Связь между числом равновероятных исходов N и количеством информации i в битах задаётся формулой Хартли:

N = 2^i

Здесь N — число равновозможных событий, а i — количество информации в сообщении о том, какое именно событие произошло. Чтобы найти i, нужно подобрать такой показатель степени, в которую возводят двойку, чтобы получить N. Если N является степенью двойки, ответ получается целым числом.

Разобранный пример

В мешке лежат восемь одинаковых на ощупь шаров разного цвета. Сколько информации несёт сообщение о том, какой по цвету шар вытащили?

N = 8
8 = 2^3, значит i = 3
Ответ: 3 бита.

Рассуждать можно и иначе: первое сообщение делит восемь вариантов на две половины по четыре, второе — четыре на две половины по два, третье — окончательно выбирает один из двух. Получается три последовательных уменьшения вдвое, то есть три бита, что совпадает с расчётом по формуле.

Связь с другими единицами

Биты объединяют в более крупные единицы. Восемь битов составляют один байт, тысяча двадцать четыре байта — один килобайт. Эти единицы используют, чтобы измерять объём целых сообщений и файлов, а не отдельных событий.

Частая ошибка: применять формулу Хартли там, где исходы не равновероятны. Формула N = 2^i справедлива только для равновозможных событий; если вероятности разные, нужен другой, более сложный способ расчёта.

Кратко о главном

• Информация уменьшает неопределённость знания.
• Единица измерения информации — бит.
• Один бит уменьшает неопределённость в два раза.
• Число исходов и информацию связывает формула N равно два в степени i.
• Формула применима только для равновероятных событий.