Вы здесь

Бесконечная определенность

Элиезер Юдковский

В «Абсолютном авторитете» я говорил о том, что бесконечная определенность нам не требуется:

«Если перед вами стоит выбор между двумя альтернативами A и B, и каким-то образом вам удалось прийти к абсолютной, доведенной до 100% уверенности в том, что А является абсолютно правильным и хорошим выбором, а B - суммой всего ужасного и отвратительного, тогда это достаточное условие для того, чтобы выбрать А. Но это не обязательное условие… Можно иметь неполное знание, относительно плохие и относительно хорошие варианты выбора и при этом все равно иметь возможность выбирать. Вообще говоря, это должно быть чем-то естественным.»

Говоря 2 + 2 = 4, нужно делать различие между картой и территорией. Учитывая, что, по-видимому, физические законы абсолютно стабильны и универсальны, вполне возможно, что никогда за всю историю существования вселенной ни одна частица не преодолевала скорость света. Поэтому предел, устанавливаемый этой скоростью, вероятно, истинен не в 99% случаев, и не в 99.9999% случаев, и не в (1 - 1/гуголплекс) случаев, а абсолютно всегда.

Но можно ли иметь абсолютную уверенность в величине предела скорости света - это уже совсем другой вопрос. Карта - это не территория.

То, что ученик списал на контрольной, может быть совершенно и полностью истинным, но знаете ли об этом вы - не говоря уж об абсолютной уверенности - это совсем другое дело. Если вы подбросите монетку и закроете ее рукой, может быть совершенно истинным то, что она упала орлом вверх, при этом сами вы можете не иметь абсолютно никакой уверенности в том, упала она орлом или решкой. Степень неуверенности - это не то же самое, что и степень правды или частоты возникновения.

То же касается и математических истин. Спорный вопрос - можно ли считать высказывания «2 + 2 = 4» или «В арифметике Пеано SS0 + SS0 = SSSS0» истинными исключительно в абстрактном смысле, отдельно от физических систем, которые ведут себя похожим на аксиомы Пеано образом. Сказав это, я сразу забегу вперед и предположу, что, в каком бы смысле «2 + 2 = 4» не было истинно, оно истинно всегда и без исключений, а не просто примерно истинно («2 + 2 на самом деле равно 4.0000004») или истинно в 999,999,999,999 из 1,000,000,000,000 случаев.

Я не до конца уверен, что в этом случае должно значить «истинно», но я останусь при своем предположении. Убедительность утверждения «2 + 2 = 4 является истинным всегда» далеко превосходит убедительность любого философского утверждения о том, что значит «истинно», «всегда» или «является» в предложении выше.

Однако это не значит, что я имею абсолютную уверенность в том, что 2 + 2 = 4. Прочитайте предыдущую дискуссию - как убедить меня в том, что 2 + 2 = 3 - это можно сделать с помощью тех же свидетельств, которые изначально убедили меня в том, что 2 + 2 = 4. Мне могли привидеться все предыдущие свидетельства, или я их неправильно вспомнил. В истории неврологии были и более странные нарушения мозга.

Поэтому, если мы присваиваем какую-либо вероятность утверждению «2 + 2 = 4», каково должно быть ее значение? Здесь мы пытаемся достигнуть правильной калибровки - то есть, утверждения, которым вы присваиваете «вероятность 99%», должны быть истинными в 99 из 100 случаев. Вообще говоря, это намного труднее, чем может казаться. Найдите сто людей и попросите их сделать заявления, в которых они «уверены на 99%». Как вы думаете, будут ли из 1000 сделанных заявлений неверными лишь 10?

Сейчас я не буду обсуждать настоящие эксперименты о калибровке, которые проводились учеными - вы можете найти их в моей работе «Потенциальное влияние когнитивных искажений на оценку глобальных рисков» - потому что, сходу рассказывая слушателям об этих экспериментах без должной у них подготовки, я нередко был свидетелем того, как они затем использовали их в качестве Универсального Контраргумента, который почему-то всегда приходит в голову в тех случаях, когда нужно проигнорировать уверенность оппонента по поводу не понравившегося мнения, и никогда - при анализе своего собственного. Поэтому я стараюсь избегать упоминания экспериментов о калибровке за исключением тех случаев, когда я рассказываю о понятиях рациональности по определенному плану, который включает в себя предупреждения против мотивированного скептицизма.

Как бы то ни было, наблюдаемая калибровка у людей такова: вещи, в которых они «уверены на 99%», происходят не в 99% случаев.

Например, вы заявляете, что на 99.99% уверены в истинности выражения 2 + 2 = 4. Значит, вы только что сказали, что смогли бы сделать 10,000 независимых утверждений с одинаковой в них уверенностью и ошибиться в среднем всего один раз. Может быть, для 2 + 2 = 4 такой невероятный уровень уверенности и возможен: «2 + 2 = 4» является крайне простым выражением как в математическом, так и в эмпирическом смысле, и убеждение в его истинности широко распространено в обществе (не с выражением страстной поддержки, а со спокойным принятием как чего-то само собой разумеещегося). Поэтому, возможно, по поводу истинности этого убеждения все же можно иметь уверенность, равную 99.99%.

Однако я не думаю, что можно иметь уверенность в 99.99% для таких утверждений, как «53 является простым числом». Да, оно кажется верным, но если вы сделаете 10,000 независимых утверждений такого рода - именно так: не просто некий набор утверждений о простых числах, а новое утверждение каждый раз - вы ошибетесь больше, чем однажды. Питер де Бланк рассказывал на эту тему очень забавную историю. (Я просил его больше так не делать.)

Тем не менее, карта - это не территория: если я говорю, что на 99% уверен в истинности 2 + 2 = 4, это не значит, что я думаю, будто «2 + 2 = 4» истинно с 99% точностью, или что «2 + 2 = 4» верно в 99% случаев. Утверждение, относительно которого я высказываю свою уверенность - «2 + 2 = 4 является истинным абсолютно всегда и без исключений», а не «2 + 2 = 4 обычно является истинным».

А что до убеждения в том, что можно иметь уверенность в 100% относительно математических утверждений - перестаньте! Если вы высказываете уверенность величиной в 99.9999%, это значит, что вы можете сделать миллион отдельных утверждений, одно за другим, и ошибиться в среднем лишь один раз. Это заняло бы у вас примерно год времени, если бы вы произносили одно утверждение каждые 20 секунд по 16 часов в день.

Высказывая уверенность величиной в 99.9999999999%, вам придется сделать это триллион раз. Теперь вам предстоит говорить в течение ста человеческих жизней и ни разу при этом не ошибиться.

Выскажите уверенность величиной в (1 - 1/гуголплекс) и ваше эго далеко превзойдет эго любого пациента психиатрической клиники, верящего, что он является Богом.

А гуголплекс гораздо меньше, чем даже относительно небольшие среди непостижимых по своему размеру чисел вроде 3^3^3. Но даже уверенность величиной в (1 - 1/3^3^3) ненамного ближе к ВЕРОЯТНОСТИ 1, чем, например, к 90%.

Если даже и этого мало, то гипотетические Темные Повелители Матрицы, которые прямо сейчас играются с оцениванием вашим мозгом убедительности этого самого утверждения, преградят дорогу и спасут нас от падения в бездну бесконечной определенности.

Абсолютно ли я уверен в этом?

Разумеется, нет.

Как сказал Рафаль Смигродски:

«Я предполагаю, что можно присваивать уверенность меньше 1 к математическим понятиям, которые сами необходимы для определения теоремы Байеса, и при этом все равно иметь возможность ее использовать. Я не полностью уверен в том, что я всегда должен быть уверен не до конца. Возможно, я спокойно могу быть уверенным в чем-то. Но как только я присваиваю утверждению вероятность величиной в 1, пути назад нет. Независимо от того, что я увижу или узнаю, мне придется отвергнуть все, что противоречит моей аксиоме. Мне не нравится идея о том, что у меня больше никогда в жизни не будет возможности изменить свое мнение по поводу определенного вопроса.»

Перевод: 
stas
  • Короткая ссылка сюда: lesswrong.ru/349