Вы здесь

Убеждения о вечном двигателе

Элиезер Юдковский

Предыдущее эссе закончилось выводом:

Чтобы сформировать точные убеждения о чём-то, вам совершенно необходимо за этим наблюдать. Это очень физический, очень реальный процесс: любой рациональный разум «работает» в термодинамическом смысле, а не только в смысле умственных усилий… Поэтому, если вы не можете сказать мне, какой именно шаг в вашем рассуждении нарушает законы физики, давая вам истинное знание незримого, то не ожидайте, что я поверю в то, что всё сложное умное рассуждение способно их нарушить.

Главное следствие математической аналогии между термодинамикой и познанием: нельзя избежать ограничений, проистекающих из теории вероятностей. Сама вероятность может быть «субъективным убеждением», но законы, которым она подчиняется, твёрже стали.

В традиционной школе, когда учитель вам что-то говорит, вы обязаны в это поверить и повторить то, что он сказал, в ответ. Однако, когда вы слышите предположение от обычного ученика, вы не обязаны его учитывать. В итоге у многих область убеждений проецируется на область авторитета. В итоге люди думают, что определённые убеждения — это что-то вроде законов, которым нельзя не подчиняться, но вероятностные убеждения — это всего лишь предположения.

И, глядя на лотерейный билет, люди говорят: «Но ведь невозможно доказать, что я не выиграю?» При этом они подразумевают: «Пускай ты вычислил, что вероятность выигрыша мала. Но это всего лишь вероятность, а значит — это лишь предположение, и я могу верить в то, во что хочу».

Предложу простой эксперимент. Бросьте с размаху яйцо на пол. Закон, согласно которому яйцо не впрыгнет вам обратно в руки — вероятностный. Предположение, если угодно. Законы термодинамики вероятностные. То есть, они не могут быть настоящими законами, в том же смысле, в каком законом является «не убий». Так?

Почему же просто не проигнорировать такое предположение? Яйцо же соберётся само собой. Верно?

Если какая-то часть вас до сих пор настаивает, что убеждения, в которых присутствует неопределённость, не могут вас к чему-то обязывать, полезно подумать о яйце, которое, возможно, соберётся само собой.

Существует крошечный шанс, что яйцо соберётся обратно в скорлупу. Но вы не можете этого ожидать. Вы обязаны ожидать, что оно разобьётся. Для вас обязательно убеждение, что вероятность самопроизвольного восстановления яйца примерно равна нулю. Вероятности описывают неопределённость, но законы теории вероятностей — это теоремы.

Если вы сомневаетесь, попробуйте проигнорировать предположения термодинамики и уроните яйцо на пол пару дециллионов раз, ожидая, что оно соберётся обратно. Расскажите о результатах. Пусть вероятности — это субъективные убеждения, но законы, которые ими управляют, гораздо твёрже стали.

Один мой знакомый был уверен, что придумал как создать инерциоид из множества колёс и шестерёнок. У него была табличка в Экселе с доказательством, которую он, разумеется, не мог показать, поскольку всё ещё дорабатывал свою систему. В классической механике можно доказать, что нарушить закон сохранения импульса невозможно. Поэтому любая табличка в Экселе с расчётами, согласующимися с правилами классической механики, неизбежно покажет, что создать инерциоид невозможно. Разве что машина окажется настолько сложной, что её автор ошибётся в вычислениях.

Аналогично, когда люди, овладевшие рациональностью наполовину (или на одну десятую), забывают об искусстве и пытаются поверить, не имея свидетельств, «всего лишь разочек», они часто нагромождают оправдания и тем самым запутывают себя так, что перестают видеть шаг, в котором происходит магия.

Определить, где именно в их рассуждениях происходит магия, обычно довольно сложно: когда их начинают расспрашивать, их аргументы нередко видоизменяются и ускользают. Однако всегда есть какой-то шаг, где крошечная вероятность превращается в значительную. Именно в этом месте они пытаются поверить, не имея свидетельств. Именно в этом месте они шагают в неведомое с мыслью «вы не можете доказать, что я не прав».

Их ноги проваливаются в пустоту, ведь в царстве Возможного гораздо больше пустого пространства, чем твёрдой почвы. Ах, но ведь в мире возможного эта почве всё же существует (и её бесконечно мало), так что действительно существует (бесконечно малая) вероятность наткнуться на неё случайно. Так что, возможно, именно в этот раз ваша нога попадёт куда надо. Это ведь всего лишь вероятность, так что это всего лишь предположение.

Пусть вам неизвестно точное состояние воды в стакане с кипятком. Да, именно ваше незнание этого точного состояния делает кинетическую энергию молекул «теплом», а не работой, которую можно использовать, как в случае вращающегося маховика. Поэтому с вероятностью, примерно равной нулю, вода может охладить вашу руку, а не нагреть.

Проигнорируйте термодинамику, суньте руку в кипяток и вы обожжётесь.

«Но ты не знаешь наверняка!»

Я не знаю наверняка, но я обязан ожидать, что это произойдёт. Законы теории вероятностей — это логические истины (пускай сами вероятности таковыми и не являются).

«Но что если я угадаю состояние кипящей воды и угадаю правильно?»

Вероятность угадать правильно даже меньше, чем вероятность охлаждения вашей руки кипятком.

«Но ты не можешь доказать, что я угадаю неправильно!»

Я могу (и вообще говоря, должен) назначить этому событию экстремально низкую вероятность.

«Это не то же самое, что и уверенность.»

Эй, может быть, если добавить достаточно колёс и шестерёнок в ваши рассуждения, то тёплая вода превратится в электричество и ледяные кубики! Но скорее всего вы просто перестанете понимать, почему этого не может быть.

«Действительно! Я не понимаю, почему этого не может быть! Так что, не исключено, так и будет!»

Ещё одна шестерёнка? Ваш механизм становится всё менее эффективным. Он и раньше не был вечным двигателем, а каждая дополнительная шестерёнка снижает его эффективность ещё сильнее.

Любая новая деталь в ваших рассуждениях неизбежно уменьшает общую вероятность. Вероятность того, что вы можете засунуть палец в кипяток и не обжечься, благодаря тому, что вы неизвестным образом нарушили второй закон термодинамики и, не имея свидетельств, угадали точное состояние кипящей воды, обязательно будет меньше, чем просто вероятность засунуть палец в кипяток и не обжечься.

Я проговариваю всё это, потому что люди, пытаясь поверить, не имея свидетельств, на самом деле сооружают огромные конструкции из аргументов. И нужно научиться видеть, что они в этом очень похожи на изобретателя, который добавлял к своему инерциоиду всё больше и больше шестерёнок, пока в его расчёты не закралась ошибка.


Перевод: 
sepremento, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
187
Оцените перевод: 
Средняя оценка: 5 (5 votes)
  • Короткая ссылка сюда: lesswrong.ru/600