Что значит измерить информацию
Измерение информации — это определение количества информации в сообщении в принятых единицах. За единицу принят бит — количество информации, которое уменьшает неопределённость знания ровно в два раза. Восемь битов составляют один байт. В школьном курсе для класса рассматривают два основных подхода к измерению: содержательный (вероятностный) и алфавитный.
Содержательный подход
В содержательном подходе количество информации связывают с уменьшением неопределённости. Если возможны N равновероятных исходов, а сообщение указывает на один из них, то количество информации i находят по формуле Хартли:
N = 2i, откуда i = log2N
Например, при бросании монеты возможны два исхода, поэтому сообщение о выпавшей стороне несёт log22 = 1 бит. При бросании игрального кубика исходов шесть, и сообщение несёт log26 = 2,585 бита.
Вероятностный подход
Если исходы не равновероятны, применяют формулу Шеннона. Количество информации о событии с вероятностью p равно i = log2(1/p). Чем реже событие, тем больше информации несёт сообщение о нём.
Алфавитный подход
Алфавитный подход не зависит от смысла текста. Если алфавит содержит N символов, то информационный вес одного символа равен i = log2N бит. Этот N называют мощностью алфавита. Информационный объём всего сообщения из K символов равен V = K * i.
Разобранный пример
Сообщение записано алфавитом из 16 символов и содержит 200 символов. Найдём объём.
| Дано: | Решение: |
| N = 16
K = 200 V = ? |
V = K * i
i = log2N Тогда V = K * log2N V = 200 * log216 = 200 * 4 = 800 бит |
Ответ: 800 бит
Единицы измерения
|
log22 = 1, так как 21 = 2
log24 = 2, так как 22 = 4 log28 = 3, так как 23 = 8 log216 = 4, так как 24 = 16 |
