Измерение количества информации

Как измеряют информацию

Информацию, как и длину или массу, можно измерять. В школьном курсе информатики используют два подхода: содержательный (через уменьшение неопределённости знаний) и алфавитный (через количество символов в сообщении). Оба подхода приводят к одной и той же единице измерения — биту.

Содержательный подход

Сообщение несёт информацию, если оно уменьшает неопределённость — то есть число возможных вариантов. Если некоторое событие имеет N равновероятных исходов, а сообщение указывает, какой именно из них произошёл, то количество информации i находят по формуле Хартли:

N = 2^i

Отсюда: если число исходов N = 8, то количество информации i = 3 бита, потому что 2^3 = 8. За единицу — 1 бит — принимают информацию, которая уменьшает неопределённость ровно вдвое. Важное условие применения формулы: исходы должны быть равновероятными.

Алфавитный подход

Здесь информацию считают независимо от смысла текста. Мощность алфавита N — это число различных символов в нём. Информационный вес одного символа i связан с мощностью той же формулой N = 2^i. Объём всего сообщения вычисляют так:

I = K * i

где K — число символов в сообщении, а i — вес одного символа.

Единицы измерения

Разбор задачи

Алфавит содержит 32 символа, а сообщение состоит из 50 символов. Найдём информационный объём сообщения.

N = 32 = 2^5, значит i = 5 бит I = 50 * 5 = 250 бит

Если бы мощность алфавита была 64, вес символа стал бы равен 6 битам, и объём того же сообщения вырос бы до 300 бит. Так видно, что чем богаче алфавит, тем больше информации несёт каждый символ.

Связь двух подходов

Оба подхода опираются на одну и ту же формулу и приводят к одной единице — биту, поэтому их результаты согласуются между собой. Содержательный подход удобен в задачах про выбор одного варианта из нескольких равновероятных: бросок монеты несёт 1 бит, выбор одной буквы из 32 — 5 бит. Алфавитный подход применяют, когда нужно оценить объём текста или файла, не задумываясь о смысле. Часто задачи комбинируют оба взгляда: сначала по мощности алфавита находят вес одного символа, а затем по числу символов — полный объём сообщения. Умение переходить от числа вариантов к битам и обратно — ключевой навык при решении задач этого раздела, в том числе на экзамене.

Частые ошибки. Используют множитель 1000 вместо 1024 при переводе единиц; путают мощность алфавита N и вес символа i; забывают, что в формуле Хартли исходы должны быть равновероятными; не переводят результат в требуемые единицы.

Кратко о главном

• Содержательный подход измеряет уменьшение неопределённости.
• Формула Хартли: N = 2^i.
• Алфавитный подход: вес символа из мощности алфавита, объём I = K * i.
• В компьютерных единицах множитель равен 1024.
• Оба подхода используют одну единицу — бит.