Количество информации и формула Шеннона

Два подхода к измерению информации

В информатике количество информации измеряют в битах. Существуют два подхода. Алфавитный (объёмный) подход считает информацию по длине сообщения и мощности алфавита, не учитывая смысл. Содержательный (вероятностный) подход связывает количество информации с уменьшением неопределённости знаний после получения сообщения.

Чем менее ожидаемым было событие, тем больше информации несёт сообщение о нём. Сообщение об очень вероятном событии почти не уменьшает неопределённость, а сообщение о редком событии — уменьшает сильно.

Формула Хартли для равновероятных событий

Если есть N равновероятных исходов, то количество информации о том, какой из них произошёл, вычисляют по формуле Хартли:

i = log_2(N)

Например, при бросании монеты N = 2, поэтому i = log_2(2) = 1 бит. При бросании игральной кости N = 6, и сообщение о результате несёт log_2(6) ≈ 2,585 бита.

Формула Шеннона для разновероятных событий

Когда исходы имеют разные вероятности p_1, p_2, ..., p_N, среднее количество информации на одно сообщение даёт формула Шеннона:

i = - (p_1·log_2(p_1) + p_2·log_2(p_2) + ... + p_N·log_2(p_N))

Знак минус нужен потому, что логарифм числа меньше единицы отрицателен, а количество информации не может быть отрицательным. Если все вероятности равны 1/N, формула Шеннона превращается в формулу Хартли.

Ситуация	Формула	Условие
Равновероятные исходы	i = log_2(N)	все p одинаковы
Разновероятные исходы	формула Шеннона	p различаются

Разбор примера

В мешке 4 белых и 12 чёрных шаров, всего 16. Вероятность вытащить белый p_б = 4/16 = 0,25, чёрный p_ч = 12/16 = 0,75. Среднее количество информации:

i = -(0,25·log_2(0,25) + 0,75·log_2(0,75)) i = -(0,25·(-2) + 0,75·(-0,415)) i ≈ 0,5 + 0,311 = 0,811 бита

Значение меньше одного бита, потому что исходы неравновероятны и неопределённость заранее частично снята.

Связь с алфавитным подходом

Алфавитный подход — частный случай вероятностного. Если в алфавите N символов и все они появляются одинаково часто, то вероятность каждого равна 1/N, а информационный вес одного символа равен log_2(N). Тогда объём всего сообщения из K символов равен K · log_2(N) бит. Так оба подхода дают одинаковый ответ для равновероятного случая, а формула Шеннона нужна тогда, когда символы встречаются с разной частотой — именно на этом основано сжатие текста.

Частые ошибки. Теряют знак минус и получают отрицательный ответ. Применяют формулу Хартли к разновероятным событиям. Складывают вероятности, забывая, что их сумма всегда равна единице.

Кратко о главном

• Информация уменьшает неопределённость знаний и измеряется в битах.
• Формула Хартли i = log_2(N) работает для равновероятных исходов.
• Формула Шеннона учитывает разные вероятности событий.
• При равных вероятностях формула Шеннона совпадает с формулой Хартли.
• Чем менее вероятно событие, тем больше информации несёт сообщение о нём.