Алфавитный подход к измерению информации

Алфавитный подход к измерению информации

Алфавитный подход — это способ измерить информационный объём текста, который не зависит от его смысла и содержания. Объём определяется только двумя величинами: тем, из скольких символов состоит текст, и тем, какова мощность алфавита, которым он записан. При этом важно, что бессмысленный набор букв и осмысленное предложение одинаковой длины имеют одинаковый объём.

Мощность алфавита — это количество различных символов, которые в нём используются. Её обозначают буквой N. К символам алфавита относят не только буквы, но и цифры, знаки препинания и обязательно пробел. Каждый символ несёт некоторое количество информации, которое обозначают i и измеряют в битах.

Основная формула

Связь между мощностью алфавита N и информационным весом одного символа i задаётся той же формулой, что связывает число вариантов и количество битов:

N = 2^i

Если известна мощность алфавита, то вес символа находят как такую степень двойки, которая даёт N. Например, для алфавита из 32 символов: 32 = 2^5, значит i = 5 битов на символ. Эта формула работает только тогда, когда все символы алфавита считаются равновероятными.

Объём всего текста

Чтобы найти информационный объём всего сообщения, вес одного символа умножают на число символов в тексте. Число символов обозначим K, а объём — I:

I = K · i

Полученный объём измеряют в битах, а при необходимости переводят в байты делением на 8.

Разобранный пример

Сообщение записано алфавитом мощностью 64 символа и содержит 20 символов. Найдём его объём по шагам.

Шаг 1: 64 = 2^6, значит i = 6 битов

Шаг 2: I = K · i = 20 · 6 = 120 битов

Шаг 3: 120 : 8 = 15 байтов

Обратная задача

Алфавитный подход позволяет решать и обратные задачи. Пусть текст из 100 символов занял 75 байтов. Найдём мощность алфавита. Сначала переведём объём в биты: 75 · 8 = 600 битов. Затем найдём вес символа: i = 600 : 100 = 6 битов. И наконец мощность: N = 2^6 = 64 символа.

Связь с другими подходами

Существует и другой способ измерения — содержательный, где количество информации зависит от того, насколько сообщение уменьшает неопределённость для получателя. Алфавитный подход устроен проще: он совсем не интересуется смыслом и считает объём чисто механически, по длине и алфавиту. Поэтому именно его используют, когда нужно узнать, сколько места займёт текст в памяти компьютера. Для одного и того же текста, записанного разными алфавитами, объём будет различаться: чем богаче алфавит, тем больше битов приходится на каждый символ.

Частая ошибка: при подсчёте символов забывают про пробелы и знаки препинания. В алфавитном подходе пробел — это полноценный символ, и его обязательно учитывают в значении K. Пропуск пробелов занижает ответ.

Кратко о главном

• Алфавитный подход измеряет объём текста независимо от его смысла.
• Мощность алфавита N — число различных символов в нём, включая пробел.
• Вес символа находят из формулы N = 2^i.
• Объём текста: I = K · i, где K — число символов с учётом пробелов.
• Объём в битах переводят в байты делением на 8.