Формула связи вероятности и количества информации

Связь информации и неопределённости

В содержательном подходе информация — это то, что уменьшает неопределённость наших знаний. Пока мы не знаем, какой из исходов произошёл, есть неопределённость. Сообщение об исходе её снимает — значит, несёт информацию. Чем больше было возможных исходов события, тем больше информации мы получаем, когда узнаём, какой из них произошёл. Количество информации измеряют в битах.

Один бит — это количество информации в сообщении об одном из двух равновероятных исходов. Например, ответ «да» или «нет» на вопрос, где оба варианта равновозможны, несёт ровно один бит.

Равновероятные события

События называют равновероятными, если ни одно из них не имеет преимущества перед другими. Например, при броске монеты «орёл» и «решка» равновероятны, а при броске кубика равновероятны шесть граней.

Основная формула

Если есть N равновероятных событий, то количество информации i в сообщении об одном из них связано с N формулой:

N = 2^i

Здесь i — количество информации в битах, а N — число возможных исходов. Из формулы видно: чтобы найти i, нужно подобрать такую степень двойки, которая даёт N.

Разбор примера

Бросают игральный кубик и сообщают, какое число выпало. Сколько информации несёт это сообщение?

Граней шесть, значит N = 6. Ищем i:

2^2 = 4 — мало

2^3 = 8 — много

Значит i лежит между 2 и 3 битами (примерно 2,58). Когда N — точная степень двойки, ответ получается целым, и его легко найти по таблице. Когда нет — точное значение находят по более сложной формуле через логарифм, но в восьмом классе достаточно понимать связь между N и i.

Обратная задача

Формула работает в обе стороны. Пусть сообщение несёт 3 бита информации. Тогда число равновероятных исходов:

N = 2^3 = 8

Значит, сообщение из трёх битов позволяет различить восемь равновероятных вариантов — например, выбрать одну из восьми карточек.

Правило. Если N — степень двойки, количество информации равно показателю этой степени. Например, для N = 32 = 2^5 получаем ровно 5 битов.

Частая ошибка. Путают N и i местами. Запомните: N — это сколько вариантов было, а i — сколько битов несёт сообщение. Большое число исходов даёт сравнительно небольшое число битов: так, шестнадцати исходам соответствует всего четыре бита, а тридцати двум — пять.

Кратко о главном

• Информация уменьшает неопределённость знаний и измеряется в битах.
• События равновероятны, если ни одно не имеет преимущества.
• Основная формула связи: N = 2^i.
• N — число исходов, i — количество информации в битах.
• Если N — степень двойки, то i равно её показателю.