Содержательный подход к измерению информации

Содержательный подход к измерению информации

Информацию можно измерять разными способами. Содержательный подход связывает количество информации с уменьшением неопределённости знания. Чем больше неясности снимает сообщение, тем больше информации оно несёт. Если сообщение не сообщает ничего нового, оно несёт нуль информации.

Неопределённость и события

Неопределённость знания — это число равновероятных вариантов, которые могут произойти. Например, при броске монеты есть два исхода, при броске игрального кубика — шесть, при выборе одной карты из колоды — много десятков. Сообщение, которое называет один конкретный исход, уменьшает неопределённость и потому содержит информацию.

За единицу информации принимают 1 бит — это количество информации в сообщении, которое уменьшает неопределённость ровно в два раза.

Главная формула

Если событие имеет N равновероятных исходов, а сообщение указывает на один из них, то количество информации i находят из уравнения:

N = 2^i

Отсюда видно: сообщение об одном из двух исходов несёт 1 бит, об одном из четырёх — 2 бита, об одном из восьми — 3 бита. Каждый новый бит удваивает число различимых вариантов.

Разобранный пример

Ученик загадал число от 1 до 32. Сколько информации содержит сообщение о том, какое именно число загадано?

N = 32 = 2^5
значит i = 5 битов

Чтобы угадать число, достаточно задать 5 вопросов «да или нет», каждый из которых даёт 1 бит и уменьшает неопределённость вдвое. Например, первый вопрос «число больше 16?» сразу отсекает половину вариантов. Такой способ угадывания называют делением пополам, и он наглядно показывает смысл бита.

Когда исходы не равновероятны

Содержательный подход в простом виде применяют, когда все исходы одинаково возможны. Если же одни события случаются чаще других, формула N = 2^i даёт лишь приближённую оценку, и точный расчёт выходит за рамки школьного курса 7 класса. Например, сообщение «завтра в Сахаре будет солнечно» несёт мало информации, ведь там почти всегда ясно, а вот сообщение о редком дожде сообщило бы гораздо больше.

Связь с битами и байтами

Единица информации в содержательном подходе — тот же бит, что и в измерении объёма файлов. Это удобно: и неопределённость знания, и размер данных мы выражаем в одних единицах. Восемь битов составляют байт, поэтому сообщение об одном из 256 равновероятных исходов несёт ровно 8 битов, то есть 1 байт информации.

Сравнение подходов. Содержательный подход измеряет информацию по уменьшению неопределённости, а алфавитный — по числу символов и мощности алфавита. Оба используют одну и ту же единицу — бит.

Кратко о главном

• Информация связана с уменьшением неопределённости знания.
• 1 бит уменьшает неопределённость ровно в два раза.
• Количество информации находят из формулы N = 2^i.
• Сообщение об одном из N равновероятных исходов несёт i битов.
• Простая формула верна для равновероятных исходов.