Алфавитный подход к измерению информации

Алфавитный подход к измерению информации

Алфавитный подход позволяет измерить количество информации в сообщении, не учитывая его смысл. Информация при этом зависит только от мощности алфавита и длины сообщения. Этот подход называют ещё объёмным, потому что он определяет информационный объём текста. В отличие от содержательного подхода, здесь не важно, насколько новым или полезным является сообщение для получателя.

Мощность алфавита и вес символа

Алфавит — это весь набор символов, которыми может быть записано сообщение. Число символов в алфавите называют его мощностью и обозначают буквой N. Каждый символ несёт информационный вес в i битов, который связан с мощностью алфавита формулой Хартли:

N = 2 в степени i

Если мощность алфавита является степенью двойки, вес символа находят как показатель этой степени. Например, для алфавита из шестнадцати символов вес одного символа равен четырём битам, потому что шестнадцать — это два в четвёртой степени.

Объём сообщения

Если сообщение состоит из K символов, его информационный объём I равен произведению количества символов на вес одного символа:

I = K * i

Результат получается в битах. Чтобы перевести его в байты, делят на восемь, потому что один байт равен восьми битам. Для перевода в килобайты результат в байтах делят ещё на 1024.

Стоит отдельно подчеркнуть разницу между алфавитным и содержательным подходами. При содержательном подходе количество информации зависит от того, насколько сообщение уменьшает неопределённость знаний получателя. При алфавитном же подходе важна только форма записи — мощность алфавита и длина сообщения. Поэтому одно и то же по объёму сообщение для одного человека может нести много нового, а для другого — ничего, но его алфавитный информационный объём от этого не меняется.

Разбор примера

Алфавит племени содержит 32 символа. Сообщение состоит из 60 символов. Найдём его объём.

N = 32 = 2 в степени 5, значит i = 5 битов K = 60 символов I = 60 * 5 = 300 битов 300 / 8 = 37,5 байта

Заметим: чтобы решить задачу, нам совсем не понадобилось знать, какие именно символы стоят в сообщении и о чём оно. Достаточно мощности алфавита и количества символов — в этом и состоит суть алфавитного подхода.

Частая ошибка. При алфавитном подходе важна только мощность алфавита, а не то, какие именно символы встретились в тексте. Также не путай вес символа в битах и объём всего сообщения: вес умножают на число символов. И не забывай при необходимости переводить биты в байты делением на восемь.

Кратко о главном

• Алфавитный подход измеряет информацию без учёта смысла сообщения.
• Мощность алфавита N связана с весом символа формулой N = 2 в степени i.
• Объём сообщения вычисляют как I = K * i.
• Результат можно перевести из битов в байты делением на восемь, а в килобайты — ещё на 1024.