Энтропия и короткие сообщения

Предположим, у нас есть система Х, которая с одинаковой вероятностью может находиться в любом из 8 возможных состояний:

$$ {X_1, X_2, X_3, X_4, X_5, X_6, X_7, X_8} $$

Есть такая экстраординарно распространенная мера, — в физике, математике и даже биологии — называется она «энтропия». И энтропия Х составляет 3 бита. Это значит, что для выяснения состояния Х нам в среднем понадобится 3 да/нет вопроса. Например, кто-то может нам рассказать о значении Х с помощью такого кода:

$$ (X_1:001) (X_2:010) (X_3:011) (X_4:100) $$

$$ (X_5:101) (X_6:110) (X_7:111) (X_8:000) $$

Так что если я спросил бы «Первый символ — 1?» и получил бы ответ «Да»; «Второй символ — 1?» и услышал бы «Нет»; «Третий символ — 1?» — «Нет»; то я бы знал, что Х находится в состоянии 4.

Теперь предположим, что у системы Y есть четыре возможных состояния с таким распределением вероятностей:

$$ Y_1: 1/2 \;(0,5) $$
$$ Y_2: 1/4 \;(0,25) $$
$$ Y_3: 1/8 \;(0,125) $$
$$ Y_4: 1/8 \;(0,125) $$

Тогда энтропия Y будет равна 1,75 бит, что значит нам понадобится 1,75 вопросов в среднем, чтобы узнать значение Y.

В каком смысле можно задать один и три-четвертых вопроса? Представьте, что мы используем следующий код для описания состояния Y:

$$ (Y_1:1) (Y_2:01) (Y_3:001) (Y_4:000) $$

Сначала вы спросите «Первый символ — 1?», и если ответ «Да», то задача решена: Y находится в состоянии 1. И такое происходит в половине случаев — состояние Y можно вычислить с помощью одного вопроса.

Предположим, что вы получили ответ «Нет». Тогда вы спрашиваете: «Второй символ — 1?». Если ответ «Да», то вы закончили: Y находится в состоянии 2. И это происходит с вероятностью в 1/4, и каждый раз, когда Y в состоянии 2, мы можем узнать это с помощью двух да/нет вопросов — в 25% случаев понадобится два вопроса для определения состояния Y.

Если же вы получили ответ «нет» два раза подряд, и, спросив «Третий символ — 1?», получили ответ «Да», то задача решена и Y в состоянии 3; если нет, то Y в состоянии 4. В 1/8 случаев Y в состоянии 3 и понадобится три вопроса. И в 1/8 случаев Y в состоянии 4 и понадобится три вопроса.

$$ (1/2 \cdot 1) + (1/4 \cdot 2) + (1/8 \cdot 3) + (1/8 \cdot 3) = 0,5 + 0,5 + 0,375 + 0,375 = 1,75. $$

Общая формула определения энтропии системы S это сумма по всем $ S_i $: $ - p(S_i) \cdot log_2 p(S_i) $.

Например, $ log_2 $ числа 1/8 — это −3. Получается $ -(1/8 \cdot -3) = 0,375 $ — часть энтропии состояния 4 от всей энтропии системы Y — три вопроса.

Закодировать любую систему идеальным кодом получится не всегда, но если вам потребуется передать кому-то сообщение о состоянии случайного количества копий S за один раз, вы можете приблизиться к идеальному коду на случайную величину. (Гуглите «арифметическое кодирование»).

Конечно, вы можете спросить: «Почему бы не закодировать Y4 с помощью 10 вместо 000? Так ведь будет быстрей?»

Но если вы используете 10 для Y4 и получите ответ «да» на вопрос «первый символ 1?», то у вас все еще останется неопределенность: Y1 (1) или Y4 (10). Даже больше, если вы измените код таким образом, вся система полетит к чертям — услышав «1001» вам останется только гадать — «Y4 и Y2» или «Y1 и Y3».

Мораль в том, что короткие слова — ограниченный ресурс.

Ключевой момент в создании хорошего кода, который позволит передавать сообщения максимально компактно, в использовании коротких слов для того, о чем вы будете говорить часто, а длинных — для того, о чем реже.

На своем пике это искусство позволяет добиться почти идеального соответствия между длиной сообщения и вероятностью. Это так называемое «Сообщение минимальной длины» или «Минимальная длина описания», формализация бритвы Оккама.

Так что даже используемые нами ярлыки для слов не совсем случайны. Звуки, которые мы привлекаем для ссылок на идеи могут быть лучше или хуже, мудрей или глупей. И это независимо от традиционного понимания!

Я говорю это все потому, что идея «Вы можете Х так как вам заблагорассудится» сильно мешает понять, как делать Х с умом. «Это свободная страна, и я имею право на свое мнение» стоит на пути у искусства поиска истины. «Я могу определить слово так, как захочу» — стоит на пути разделения реальности на естественные составные части. И даже кажущееся разумным «Прикрепленные к словам ярлыки случайны» стоит на пути осведомленности о компактности. Стихосложения тоже, если уж говорить об этом, — Толкиен однажды заметил, как красиво звучит фраза «cellar door»; таков уровень осведомленности нужен, чтобы использовать язык как Толкиен.

Длина слов так же играет нетривиальную роль к когнитивной науке языка:

Давайте рассмотрим слова «сиденье», «стул» и «обстановка»1. «Сиденье» — более специфическая категория, чем «стул»; «обстановка»— более общая. Но большая часть стульев объединена сходными способами их использования — похожие движения, чтобы сесть или встать, похожие причины для сидения — отдых, принятие пищи, чтение. «Сиденья» в этом отношении тоже не слишком отличаются. «Обстановка» же включает в себя вещи вроде кроватей, столов, по-разному использующихся и требующих разных телодвижений.

В терминологии когнитивной психологии «стул» относится к базовым категориям.

У людей есть привычка говорить и, предположительно, думать на базовом уровне категоризации. Проводить границы вокруг «стульев», чем вокруг более конкретной категории «сидений», или же вокруг более общей категории «обстановки». Человек скорее предложит присесть на стул, чем сесть на сидение или посидеть на обстановке.

Так что тут нет совпадения относительно длины этих слов. Базовые категории обычно имеют более короткие названия, и существительные с короткими названиями обычно относятся к базовым категориям. Это не универсальный лингвистический закон, но такая тенденция определенно присутствует. Частое употребление сопутствует коротким словам, а короткие слова — частому употреблению.

Или же как выразил это Дуглас Хофштадтер, есть причины на то, чтобы в английском языке «the» означало «the», а «antidisestablishmentarianism» использовалось для «antidisestablishmentarianism», а не наоборот.

• 1. В оригинале «”recliner”, ”chair”, and ”furniture”». — Прим.перев.