Количество информации в равновероятном опыте

Количество информации в равновероятном опыте

Иногда нужно измерить, сколько информации несёт сообщение о результате какого-то события. Если все исходы события равновероятны, то есть ни один не случается чаще другого, количество информации вычисляют по простой формуле. Такой способ называют содержательным подходом к измерению информации: чем больше неопределённость снимает сообщение, тем больше информации оно содержит.

Что такое неопределённость

До получения сообщения мы не знаем, какой исход случится — это и есть неопределённость знания. Сообщение о произошедшем событии уменьшает неопределённость, и именно это уменьшение мы измеряем в битах. Один бит — это количество информации, которое снимает неопределённость при выборе из двух равновероятных исходов.

Основная формула

Пусть событие имеет N равновероятных исходов, а сообщение указывает, какой именно исход случился. Тогда количество информации i связано с числом исходов равенством:

N = 2^i

Здесь i измеряется в битах. Эта формула называется формулой Хартли. Чтобы найти i, подбирают такую степень двойки, которая равна N.

Разбор примера

Бросают монету — два равновероятных исхода: «орёл» или «решка». Сколько информации в сообщении о результате?

N = 2, значит 2 = 2^i, отсюда i = 1 бит

Теперь бросают игральный кубик с восемью одинаковыми гранями. Исходов восемь, поэтому 8 = 2^3, и сообщение о выпавшей грани несёт уже 3 бита информации. Видно закономерность: чем больше неопределённость до сообщения, тем больше информации оно содержит. Сообщение об исходе из шестнадцати вариантов несёт 4 бита, из тридцати двух — 5 бит.

Связь с алфавитом

Тот же принцип лежит в основе алфавитного подхода к измерению информации. Выбор одного символа из алфавита, в котором N разных знаков, несёт i бит, где снова N = 2^i. Поэтому формула Хартли связывает между собой задачи о случайных событиях и задачи о кодировании текста.

Когда исходов не степень двойки

Если число исходов не является точной степенью двойки, количество информации получается дробным. Например, для шести граней обычного кубика N = 6, и значение i лежит между 2 и 3 битами, ведь 2^2 = 4, а 2^3 = 8. В таких случаях точный ответ находят с помощью логарифма, а в седьмом классе обычно ограничиваются оценкой «больше двух, но меньше трёх бит».

Правило: формула N = 2^i работает только тогда, когда все исходы равновероятны. Если один исход случается чаще другого, для точного измерения нужен более сложный подход, который изучают в старших классах.

Кратко о главном

• Информацию измеряют по тому, насколько уменьшается неопределённость.
• Для N равновероятных исходов верно равенство N = 2^i.
• Количество информации i измеряется в битах.
• Формула справедлива только при равновероятных исходах.