Закономерная неуверенность

Элиезер Юдковский

В «Рациональном выборе в неопределенном мире» Робина Доуза (Robyn Dawes) описан эксперимент, проведенный Тверским (1,2)

Множество психологических экспериментов были проведены в конце 50-х начале 60-х, в которых испытуемых просили предсказать результат события, имевшего элемент случайности и, при этом, еще и предсказуемую базовую ставку. Например, испытуемых просили предсказать цвет следующей карты (синяя/красная) при условии, что 70% карты были синими, но последовательность красных и синих карт была совершенно случайной.

В такой ситуации, стратегия, обеспечивающая большее количество успеха - ставить на наиболее часто встречающиеся события. Например, если 70% карт были синими, то предсказывая появление синей карты дает 70% успеха в каждом случае.

Испытуемые же предпочитали сопоставлять вероятности - предсказывать наиболее вероятный вариант,

с учетом относительной частоты появления. Например, испытуемые предсказывали появление синей карты 70% раз и красной 30% раз. Такая стратегия давала 58% долю успеха, потому что испытуемые были правы 70% времени, когда выпадала синяя карта (что происходило с вероятностью .70) и 30% времени, когда выпадала красная карта (что происходило с вероятностью 0,3); (0,7 × 0,7) + (0,3 × 0,3) = 0,58.

Даже больше, испытуемые предсказывали наиболее часто повторяющееся событие с большей вероятностью, чем оно происходило, но и близко не подходили к частоте в 100%, даже если им платили за точность их предсказаний… Например, испытуемые, которым платили по пятаку за каждое сбывшееся предсказание из тысячи,.. предсказывали [наиболее часто встречающееся событие] 76%.

Не стоит думать, что этот эксперимент про небольшие изъяны в игорных стратегиях. Он кратко рассказывает о наиболее важной идее всей рациональности.

Испытуемые продолжали выбирать красный, как будто они полагали, что способны предугадать случайную последовательность. Доуз пишет про это: «Несмотря на получение фидбека от тысячи случаев, испытуемые не могли поверить, что в это ситуации они не в состоянии предугадать».

Но ошибка должна иметь более глубокие последствия. Даже если испытуемые сформулировали какую-то гипотезу, им совершенно необязательно делать ставки на ее основе. Они могут говорить: «Если гипотеза верна - следующая карта будет красной», и ставить на синюю. Они могут выбирать синюю каждый раз, собирая как можно больше пятаков, отмечая мысленно как можно больше паттернов, которые они замечают. Если их предсказания сбываются, они могут легко переключится на новую стратегию.

Я бы не стал упрекать испытуемых за постоянное изобретение новых гипотез - откуда им знать, что цепочка за границами их способностей предсказывать? Но я буду упрекать за ставки на догадки, когда в этом не было необходимости для сбора информации, и буквально сотни предыдущих догадок были опровергнуты.

Неужто люди настолько самонадеянны?

Я бы предположил, что дело обстоит проще - стратегия «всегда-на-синее» просто не приходила испытуемым в голову.

Люди видят кучу синих карт вперемешку с несколькими красными, и полагают, что выигрышная стратегия - больше на синий, но иногда на красный.

Идея оптимальной стратегии, с учетом неполной информации, не предполагающая ставку на типичную последовательность карт - контринтуитивна.

Идея оптимальной стратегии, предполагающая законное поведение, даже если среда содержит элементы случайности - контринтуитивна.

Кажется, что твое поведение, следом за окружающей средой, должно быть непредсказуемым, но нет! Случайный ключ не отпирает случайный замок просто потому что они «оба случайные».

Ты не гасишь огонь огнем, ты гасишь огонь водой. Но эта мысль подразумевает лишний шаг, новый концепт, не активируемый напрямую формулировкой задачи. Поэтому, не приходящий в голову первым.

В дилемме красных и синих карт наше неполное знание говорит нам ставить в каждом раунде на синюю. Совет, даваемый нам нашим неполным знанием, одинаков от раунда к раунду. Если 30% времени мы будем идти против нашего неполного знания и ставить на красную карту, мы будем проваливаться, ведь теперь, мы нарочно тупим, ставя на, как нам прекрасно известно, менее вероятный исход.

Если ты будешь ставить на красную карту в каждом раунде, то ты будешь проигрывать так, как это максимально возможно; ты будешь на 100% тупым. Если ты ставишь на красную карту 30% времени, то ты оказываешься на 30% тупым.

Если твое знание неполно, если реальность, как кажется, содержит элемент случайности - случайное поведение не решит проблему. Делая свое поведение случайным, напротив, ты уводишь себя от цели, а не приближаешь. Если реальность туманна, выбрасывание интеллекта лишь ухудшает ситуацию.

Это контринтуитивно - думать, что оптимальная стратегия предполагает законное поведение, даже в условиях неопределенности.

Поэтому не так уж много вокруг рационалистов; для большинства, восприятие хаотичного мира предполагает хаотичные стратегии борьбы с ним. Тебе надо сделать лишний шаг, подумать мысль, не приходящую в голову первой, для того, чтобы сообразить что-то иное для борьбы с огнем, чем огонь.

Ты слышал, как непросвещенные говорят: «Рациональность работает лишь при взаимодействии с рациональными людьми, но мир нерационален». Но выбрасывание собственной рациональности, при встрече с нерациональным оппонентом, не поможет. Есть законные формы мышления, которые все же генерируют наилучший ответ, даже при встрече с оппонентом, нарушающим законы. Теория принятия решений не сгорает синим пламенем при встрече с оппонентом, не подчиняющимся этой теории.

Это настолько же не очевидно, как и всегда ставить на синюю карту, при встрече с совокупностью синих и красных карт. Но каждая ставка на красную - ожидаемый проигрыш, как и каждое отступление от принципов Пути, когда рассуждаешь.

Как много эпизодов Звездного Пути опровергается? Как много теорий ИИ?

Перевод: 

Muyyd
  • Короткая ссылка сюда: lesswrong.ru/229