Вы здесь

Абсолютный авторитет

Элиезер Юдковский

К вам приходит человек и высокомерным тоном заявляет: «Наука не знает ничего по-настоящему. Все, что у вас есть, - это теории; вы не знаете наверняка, что вы правы. Вы, ученые, меняли свое мнение о том, как работает гравитация - откуда нам знать, что завтра вы не поменяете свое мнение об эволюции?»

Посмотрите на эту глубокую культурную пропасть между вами. Если вы думаете, что сможете преодолеть ее с помощью нескольких предложений, вы сильно разочаруетесь.

Мир Непросвещенных делится на авторитеты и не-авторитеты. Тому, во что верить можно, следует верить; то, чему доверять нельзя, следует просто игнорировать. Есть хорошие источники информации и плохие источники информации. Если ученые меняли свое мнение хоть раз за все время существования науки, она не может быть истинным Авторитетом и ей никогда больше нельзя будет доверять - как свидетелю, пойманному на лжи, или продавцу, крадущему деньги из кассы.

Кроме того, таким людям кажется естественным то, что сторонник какой-либо идеи будет защищать ее против любого возможного контраргумента и ни в чем не сознается. Все контраргументы должны сразу игнорироваться. Если даже сторонник науки признает, что наука неидеальна - что ж, тогда она точно бесполезна.

Когда человек живет всю свою жизнь, привыкнув к определенности, нельзя просто сказать ему: «Наука основана на вероятностях, как и все остальные знания». Он поймет первую половину высказывания как признание вины и проигнорирует вторую половину, посчитав ее отчаянной попыткой обвинить всех остальных, чтобы избежать обвинения самому.

Вы сами признали, что вам нельзя доверять - так убирайся прочь, Наука, и не тревожь нас более!

Одним из очевидных источников такого типа мышления является религия, где писания якобы исходят от самого Бога; таким образом, любое признание хоть малейшего изъяна уничтожит его авторитет полностью; и любой признак сомнения является грехом, и заявлять об определенности обязательно, есть она там или нет.

Но я подозреваю, что в деле также замешаны традиционные способы обучения в школе. Учитель говорит определенные вещи, а ученики обязаны ему верить и повторять все, что он сказал, на контрольной. А когда другой ученик высказывает вслух свои мысли, иметь свое мнение разрешается - с ним можно свободно соглашаться или не соглашаться (судя по всему), и никакого наказания за это не последует.

Боюсь, «убеждения» из-за этого попадают в социальную сферу авторитета, приказов и закона. В этой социальной сфере есть качественное различие между абсолютными законами и не-абсолютными законами, между приказами и предложениями, между авторитетами и не-авторитетами. Возникает ощущение, что, подобно точным и неточным правилам, существуют точные и неточные знания. Строгим авторитетам необходимо подчиняться, тогда как неточные предположения можно принять или проигнорировать в зависимости от личного предпочтения. И Наука, признаваясь в возможности своей ошибки, должна принадлежать ко второй категории.

(Замечу мимоходом, что нечто подобное я наблюдаю у тех, кто думает, что если нет оценки вероятности, данной Авторитетным лицом - написанной, например, на клочке бумаги учителем в классе, или спущенной свыше неким другим Неоспоримым Источником - эта неопределенность не может учитываться Байесианской теорией вероятности. Кто-то может - внимание! - оспорить такую оценку априорной вероятности. Таким образом, Не-до-конца-просвещенным кажется, что Байесианские вероятности принадлежат к классу убеждений, произносимых учениками, а не к классу убеждений, диктуемых учителями - и поэтому не являются настоящими знаниями.)

Глубокая культурная пропасть между Авторитетным Путем и Количественным Путем довольно сильно раздражает тех, кто смотрит на нее со стороны рационалистов. По другую сторону находятся те, кто верит, что обладает знанием более надежным, чем основанные всего лишь на вероятностях догадки ученых - догадки о том, например, что завтра Луна взойдет в определенном месте и определенной фазе, точно так же, как это было при каждом ночном наблюдении со времен изобретения астрономических инструментов, и точно так же, как предсказывают физические теории, чьи предыдущие предсказания были успешно подтверждены до четырнадцати цифр после запятой. А какое знание противопоставляют этому Непросвещенные и почему? Скорее всего, это какой-нибудь старый пыльный свиток, который был опровергнут одиннадцатью разными способами с прошлого воскресенья, и с прошлого понедельника, и с любого другого дня недели. Однако (как говорят они), это более надежный источник, чем Наука, потому что он никогда не признает ошибок, никогда не меняет свои убеждения, независимо от того, сколько раз будет опровергнут. Они кидаются словом «определенность» как теннисным мячом, используя его с легкостью перышка, пока ученые сгибаются под весом необходимых сомнений, изо всех сил пытаясь получить еще хоть одну крошечную долю вероятности. «Я идеален», - говорят они без всякой задней мысли, - «и, должно быть, нахожусь гораздо выше вас, ведь вам до сих пор приходится прикладывать усилия, чтобы стать лучше».

Не существует простого способа, чтобы все это объяснить - ни одного мгновенного сокрушительного аргумента. Рассуждая аккуратно, можно, вероятно, завоевать аудиторию, если это публичные дебаты. К сожалению, нельзя просто пробормотать: «Глупый смертный, Количественный Путь за гранью твоего понимания, и убеждения, которые ты так легко называешь „определенными“, подкреплены слабее, чем наши самые слабые гипотезы.» Это - разница в восприятии жизни, которую не так легко преодолеть при помощи слов вообще, не говоря уж о том, чтобы сделать это быстро.

Что можно попытаться сделать, в плане риторики, выступая перед публикой? Трудно сказать… возможно:

  • «Сила науки исходит из нашей способности изменять свое мнение и признавать свою неправоту. Если вы никогда не признаете свою неправоту, это не значит, что вы совершаете меньше ошибок.»

  • «Каждый может сказать, что он абсолютно уверен. Намного труднее никогда в жизни не совершить ни одной ошибки. Ученые понимают эту разницу, поэтому и не говорят, что они абсолютно уверены. Вот и все. Это не значит, что у них есть какая-то особая причина сомневаться в той или иной теории - абсолютно каждое новое свидетельство может быть в ее пользу, все планеты и звезды выстроятся в линию, как костяшки домино, в поддержку единственной гипотезы, и ученые все равно не скажут, что они абсолютно уверены, просто потому что они задают более высокие стандарты. Однако это не значит, что ученые имеют меньше права на определенность, чем, скажем, политики, которые кажутся абсолютно уверенными всегда и во всем.»

  • «Ученые не используют фразу „не абсолютно уверен“ в том же смысле, в котором она используется в обычном разговоре. Представим, например, что вы идете ко врачу на анализ крови, после которого врач приходит к вам и говорит: «Мы провели несколько тестов и обнаружили: не абсолютно точно то, что вы не сделаны из сыра, и существует ненулевая вероятность того, что двадцать фей, сделанных из разумного шоколада, прямо сейчас поют песню „I love you“ из шоу „Барни и его друзья“ внутри вашего кишечника.» Бегите, вашему доктору нужен доктор. Когда ученый говорит эту фразу, он имеет ввиду то, что считает вероятность настолько маленькой, что ее невозможно увидеть даже в электронный микроскоп, и ему необходимо получить свидетельство в виде крайне маловероятного события, чтобы опровергнуть свою теорию.»

  • «Согласились бы вы поменять свои убеждения, в которых „абсолютно уверены“, если бы получили достаточно свидетельств? Предположим, например, что сам Бог спустится с небес и скажет вам, что верна вся ваша религия за исключением Непорочного Зачатия. Если это изменит ваше мнение, вы не можете заявлять, что обладаете абсолютной уверенностью в истинности Непорочного Зачатия. В силу технических особенностей теории вероятности существование теоретической возможности того, что вы измените свое мнение по определенному вопросу, не позволяет этому убеждению иметь вероятность, точно равную единице. Неопределенность может быть меньше пылинки, но она все равно будет. А если вы не готовы поменять свое мнение даже под влиянием слов самого Бога - тогда, полагаю, у вас такая проблема с невозможностью признания своих ошибок, что ее вряд ли может решить простой смертный вроде меня.»

Но, вообще говоря, более интересный вопрос в том, как можно убедить кого-либо наедине, а не перед аудиторией. Как начать долгий процесс обучения жизни во вселенной без абсолютной определенности?

Думаю, первоначальным шагом должно стать понимание того, что без абсолютной определенности жить можно - что гипотетическое отсутствие абсолютной уверенности не означает, что принимать решения по моральным и фактическим вопросам нельзя. Перефразируя Лоис Буджолд: «Не давите сильнее, ослабьте сопротивление».

Один из самых распространенных методов защиты Абсолютного Авторитета - это то, что я называю «Аргументом против Аргумента в пользу Софизма Серого», который звучит примерно так:

  • Моральные релятивисты говорят:

    • Мир не делится на черное и белое; следовательно:
    • Все серое; следовательно:
    • Ни один человек не лучше другого; следовательно:
    • Я могу делать все, что захочу, и вы меня не остановите ухахахаха.
  • Но мы должны иметь возможность предотвращать убийства.

  • Следовательно, должен быть какой-то способ иметь абсолютную определенность, иначе моральные релятивисты выиграют.

Перевернутая глупость не есть ум. Нельзя получить верный ответ, просто перевернув каждый аргумент, из которого следует неправильный вывод - это даст глупцам слишком много контроля. И каждой без исключения части рассуждения пришлось бы быть верной с математической точки зрения. Подобно тому, как из убеждения Сталина в том, что 2 + 2 = 4, не следует, что «2 + 2 = 4» - неверно, из убеждения релятивистов в том, что «Мир не делится на черное и белое», не следует, что на самом деле мир делится лишь на черное и белое. Ошибка здесь (и достаточно ее одной) в переходе от двухцветного взгляда на мир к одноцветному, подразумевающему, что все оттенки серого одинаковы.

Принятие предпосылки, согласно которой для вынесения решений по моральным вопросам необходимо иметь абсолютное знание об абсолютном добре и абсолютном зле, сделало бы весь дальнейший спор бессмысленным. Можно иметь неполное знание, относительно плохие и относительно хорошие варианты выбора и при этом все равно иметь возможность выбирать. Вообще говоря, это должно быть чем-то естественным, а не тем, о чем стоит так драматизировать.

То есть, да, если перед вами стоит выбор между двумя альтернативами A и B, и каким-то образом вам удалось прийти к абсолютной, доведенной до 100% уверенности в том, что А является абсолютно правильным и хорошим выбором, а B - суммой всего ужасного и отвратительного, тогда это достаточное условие для того, чтобы выбрать А. Но это не обязательное условие.

А, вот еще что: «Логическая ошибка: Ссылаясь на последствия убеждения».

Итак, что еще нужно знать вашему собеседнику? Например, то, что существует целая культура рационализма, в которой сомнения, вопросы и признание своих ошибок не являются чем-то ужасным и постыдным.

В этой культуре принято собирать информацию посредством изучения явлений, а не чтения проповедей. При изучении явлений более пристальным взглядом иногда можно обнаружить, что они отличаются от того, чем казались на первый взгляд; но это не значит, что Природа лгала или что ее изучение нужно прекратить.

Кроме того, существует понятие откалиброванного свидетельства, заключающееся в том, что «вероятность» не является маленькой шкалой прогресса в голове, которая измеряет эмоциональную привязанность к определенной идее. Скорее, она измеряет то, как часто на практике, в реальной жизни, люди с определенными убеждениями говорят то, что соответствует истине. Если взять сто людей и каждого попросить сказать что-то, в чем он «абсолютно уверен», сколько всего высказываний будут соответствовать истине? Меньше ста.

Если уж на то пошло, утверждения, относительно которых люди имеют фанатичную уверенность, с намного меньшей вероятностью будут истинными, чем утверждения вроде «Солнце больше Луны», которые кажутся слишком очевидными, чтобы испытывать относительно них какие-либо эмоции. Каждому утверждению, в котором кто-то «абсолютно уверен», можно найти кого-то, кто будет «абсолютно уверен» в чем-то прямо противоположном, потому что такие эмоциональные провозглашения своих убеждений не могут существовать без наличия противоборствующих сторон. Поэтому маленькая шкала прогресса в головах людей, измеряющая их эмоциональную привязанность к определенной идее, не слишком хорошо отражает откалиброванную уверенность в ней - они между собой даже не связаны.

А что до «абсолютной уверенности» - ну, утверждая, что вероятность некоего события равна 99,9999%, вы, по сути, заявляете, что сможете сделать один миллион независимых и одинаковых по силе высказываний, одно за другим без перерыва, в течение года или около того, и ошибетесь в среднем лишь один раз. Это довольно невероятно. (Удивительно то, что можно получить примерно такую же степень уверенности для утверждения «Ты-не-выиграешь лотерею».) Поэтому давайте не будем говорить о вероятностях, равных 1.0. Как только вы увидите, что в реальной жизни такие вероятности не нужны, вы поймете, насколько нелепо верить в то, что можно приблизиться к 1.0 с помощью человеческого мозга. Вероятность, равная 1.0 - это не просто определенность; это бесконечная определенность.

На самом деле, мне кажется, что во избежание непонимания публики ученым стоит говорить не «Мы не до конца уверены», а «Мы не БЕСКОНЕЧНО уверены». В первом случае во время обычного разговора может показаться, что существуют определенные причины для сомнений.

Перевод: 
stas
  • Короткая ссылка сюда: lesswrong.ru/348