Охота на оленя

Охота на оленя - теоретико-игровая ситуация на несколько игроков, демонстрирующая, что в ситуации, когда сотрудничество между всеми участниками является максимально выгодным для всех, игроки могут отказываться от него в силу отсутствия общего знания о том, что никто не откажется от сотрудничества.

Классическая формулировка

Пусть есть некое племя, собравшееся на охоту. В лесу водятся олени и зайцы. Каждый охотник может независимо от других сделать выбор — присоединиться к общей охоте на оленя или в одиночку охотиться на кролика. Для того, чтобы поймать оленя, требуется участие абсолютно всех охотников, иначе при наличии бреши в окружении олень ускользнет в эту брешь. Охота же на кролика всегда успешна (и позволяет всегда поймать ровно одного кролика). При этом участие в охоте требует затрат некоторых ресурсов.

Пусть племя состоит из пяти охотников. Участие в охоте на оленя для каждого охотника стоит 5 утилонов, охота на кролика — 1 утилон. Успешно добытый олень приносит племени 50 утилонов. Каждый добытый кролик — 3 утилона. Если часть участников охотились на оленя (безуспешно), а часть на кроликов, то добыча с кроликов делится поровну между всеми членами племени (существуют разновидности игры, где добывшие кроликов ни с кем не делятся, но суть от этого почти не меняется).

Таким образом, если все будут охотиться на оленя, то охота завершится успешно, и каждый участник окажется в выигрыше на (50/5 - 5) = 5 утилонов. Если все будут охотиться на кролика, то каждый получит 3-1 = 2 утилона. Если, например, один участник пошел на оленя, а остальные на кролика (и наловят их на 4*3 = 12 утилонов), то первый окажется в минусе на (5 - 12/5) = 2.4 утилона; остальные - в плюсе только на 12/5 - 1 = 1.4 утилона. Если на оленя пошли трое или четверо, то в том или ином минусе окажутся уже все.

В итоге, самой выгодной будет ситуация, когда все пошли охотиться на оленя. Менее выгодной, но все-таки довольно неплохой будет ситуация, когда все охотятся на кролика. И совершенно невыгодной для всех является ситуация, когда часть членов племени пытаются охотиться на оленя, а часть — на кроликов.

Вариации игры

Существует несколько разновидностей этой игры с несколько измененными правилами (однако, суть происходящего в таких играх не меняется по сравнению с базовым вариантом):

• Те, кто выбрали охотиться на кролика, могут не делить свою добычу с теми, кто пытался охотиться на оленя, а оставить ее себе целиком;
• С некоторой вероятностью оленя в лесу может не оказаться - в этом случае даже если все игроки выбрали охотиться на оленя, они не получают за это никакого выигрыша, хотя ресурсы на саму охоту тратят;
• Для успешной охоты на оленя может потребоваться, чтобы к охоте на него присоединилось не все племя, а достаточное число его членов (в абсолютном или процентном соотношении - например, хотя бы 100 человек или хотя бы 80% племени).

Выбор Шеллинга — это кролик

У указанной игры существует два равновесия Нэша: «все охотятся на оленя» и «все охотятся на кролика»; причем первое является также оптимальным по Парето.

Однако, оказывается, что в силу отсутствия общего знания о том, что все участники твердо намерены идти охотиться на оленя, каждый из них будет склонен скорее выбирать охоту на кролика как более безопасный вариант. В результате, хотя для всех выгоднее было бы вместе охотиться на оленя, по факту обычно реализуется ситуация, когда все охотятся на кролика. Парето-оптимум же оказывается недостижим.

Причин тому может быть несколько:

• У некоторых участников просто нет достаточного бюджета для охоты на оленя (в описанном выше примере — их капитал будет меньше 5 утилонов).
• Если у кого-то из участников достаточно ресурсов для участия в охоте на оленя, но общий капитал лишь незначительно выше (например, от 5 до 10 утилонов), то в случае неудачи такой участник потеряет значительную часть своего капитала. Если в племени нет общего знания о том, что все идут охотиться на оленя, то такие риски могут стать для небогатого участника неприемлемыми.
• В разновидности игры, в которой оленя в лесу может не оказаться, даже при наличии общего знания, что все остальные идут охотиться на оленя, участник с малым бюджетом может счесть для себя это слишком рискованным.
• Если в племени является общим знанием, что в нем есть по крайней мере один игрок с малым капиталом, то многие могут прийти к заключению, что с большой долей вероятности такой игрок выберет охоту на кролика, и поэтому пытаться охотиться на оленя просто бессмысленно. В результате даже игроки с большим капиталом будут иметь соблазн охотиться на кролика, что еще сильнее размывает общее знание о том, что многие хотели бы охотиться на оленя, и усугубляет перечисленные выше тенденции.

Белый рыцарь и Черный рыцарь

Существует два базовых архетипа стратегий в охоте на оленя, называемые «Белый рыцарь» и «Черный рыцарь», каждый из которых имеет серьезные недостатки.

Белый рыцарь характеризуется тем, что всегда выбирает охотиться на оленя. Игроки подобного типа исходят из того, что выбор охоты именно на оленя является единственной возможностью максимизировать выигрыш (каковая возможность реализуется в случае подходящих ходов других игроков). Как правило, белым рыцарем могут позволить себе быть игроки, имеющие большой капитал: даже в случае неудачи в одном раунде игры они потеряют незначительную часть своего капитала. Проблемой данной стратегии является то, что в реальности охота на оленя часто не получается (так как выбором Шеллинга является охота на кролика), и поэтому в длинной серии игр Белые рыцари могут быстро спустить весь капитал и остаться ни с чем.

Черный рыцарь, напротив, всегда выбирает охоту на кролика. Такая стратегия основывается на понимании того, что часто хотя бы один из игроков выбирает охотиться на кролика, и поэтому успешная охота на оленя маловероятна; в силу этого Черный рыцарь стремится минимизировать свои риски и гарантированно остаться в небольшом, но выигрыше. Часто Черным рыцарем может быть игрок, имеющий не очень большой капитал, так как относительные риски охоты именно на оленя будут для него слишком велики. Хотя подобная стратегия имеет положительное математическое ожидание выигрыша (причем всегда одинаковое, независимо от действий других игроков), ее существенным недостатком является то, что «племя», в котором есть Черный рыцарь, никогда не сможет достичь наилучшего результата, даже если все остальные смогут договориться выбрать охоту на оленя.

В дилемме заключенного аналогами Белого и Черного рыцарей являются CooperateBot и DefectBot соответственно.

Статьи по теме

• Stag hunt - тег на LessWrong.com (описание и статьи на тему)
• Цепочка на русском:
  • Охота на оленя - парадоксальное избегание взаимовыгодного сотрудничества
  • Полезные привычки и проекты по спасению мира - это охота на оленя
  • Архетипы стратегий охоты на оленя
  • Стратегии охоты на оленя для Белого рыцаря, ч.1
  • Стратегии охоты на оленя для Белого рыцаря, ч.2
  • Стратегии охоты на оленя для Черного рыцаря, ч.1
  • Стратегии охоты на оленя для Черного рыцаря, ч.2
  • Проекты по AI Safety как охота на оленя

См. также

• Дилемма заключенного