Энтропия
(теория информации)
Э
Определение
Энтропией в теории информации (информационной энтропией) называют меру неопределенности, внутренне присущую некоторой системе. Под «системой» может пониматься источник сообщений, игральная кость и вообще любое устройство, способное находиться в различных состояниях с различными вероятностями.
Ранее (см. статью про бит) мы уже говорили, что 1 бит информации как раз-таки и снимает некоторую «атомарную», или бинарную неопределенность, которая, как мы совсем скоро увидим, также равна 1 биту.
То есть можно сказать, что это разные аспекты одного и того же алеаторного явления: симметричная монета до того, как ее подбросили, содержит в себе неопределенность в 1 бит, и будучи подброшенной, требуется 1 бит информации, чтобы снять неопределенность того, как именно монета выпала.
Другими словами, энтропией измеряется неопределенность, которая имеет место до броска монеты, тогда как информацией измеряется знание, которое необходимо получить после броска монеты.
Давайте посмотрим, как работает формула для информационной энтропии, на нескольких конкретных примерах.
система «Честная монета» Х исчерпывается двумя равновероятными состояниями:
1.
2.
3.
система «Очень нечестная монета» Z по-прежнему имеет всего два исхода Z = орел и Z = решка, но орел на ней выпадает на ней с вероятностью p₁ = 0,9.
Вероятность выпадения решки, соответственно – всего 0,1
Как видно из эти трех элементарных примеров, неопределенность падает по мере того, как «падает честность» монеты – ситуация из чисто случайной становится все более и более предсказуемой, а значит – и более определенной.
4.
Последний случай особенно хорошо иллюстрирует еще одну интерпретацию энтропии, выраженной в битах – количество бит часто удобно понимать как число двоичных символов, необходимых для исчерпывающего кодирования отдельного исхода, значения или символа/текстового блока некоторого алфавита.
Предположим опять таки, что источник передает только нули и единицы, и мы рассматриваем сообщения длиной в 1000 символов.
