Ученые уже всё это знают?

Элиезер Юдковский

poke утверждает:

«Умение выдвигать относящиеся к делу гипотезы – важный навык, развивая который, ученый проводит значительную часть своего времени. Это может не входить в традиционное описание науки – что не означает его отсутствия в институте современной науки, который добывает подлинное, актуальное знание здесь, в реальном мире: несовершенно ваше описание, а не наука».

Знаю, что я называл себя в молодости «глупым», но это лишь словесный оборот; «неумелое владение высоким интеллектом» было бы точнее. Элиезер18 обычно не делал очевидных ошибок – только его «очевидное» не было моим «очевидным».

Нет, я не проходил традиционное обучение. Но когда я оглядываюсь и вижу, что Элиезер18 делал неверно – я вижу множество современных ученых, делающих те же ошибки. Я не вижу ни одного признака, что они были предупреждены лучше, чем я.

Сэр Роджер Пенроуз – физик мирового уровня – все еще полагает, что сознание имеет причиной квантовую гравитацию. Предполагаю, что никто никогда не предупреждал его о таинственных ответах на таинственные вопросы – ему говорили лишь, что его гипотезы должны быть фальсифицируемы и иметь наблюдаемые следствия. Как и Элиезеру18.

«Cознание имеет причиной квантовую гравитацию» имеет проверяемые следствия. Сказанное подразумевает, что можно взглянуть на нейроны и обнаружить когерентную квантовую суперпозицию1, (которая, коллапсируя2?) способствует обработке информации, и что вы никогда не сможете воспроизвести поведение на входе-выходе нейрона, используя расчетную микроанатомическую симуляцию…

… но даже после того, как вы сказали: «Сознание имеет причиной квантовую гравитацию», вы не сможете на этой основе предсказать, как именно ваш мозг помыслит «Я мыслю, следовательно, я существую!» или таинственную красноту красного – даже если вы думаете, что тем самым прояснили вопрос.

Это громадный знак опасности – теперь я понимаю, но это не знак опасности, о которой я был предупрежден, и я сомневаюсь, что Пенроузу когда-либо говорил о ней его научный руководитель. Сомневаюсь, что и Нильс Бор был когда-либо предупрежден о ней, когда пришло время формулировать Копенгагенскую интерпретацию.

Насколько я могу сказать, причина, по которой Элиезер18, и сэр Роджер Пенроуз, и Нильс Бор не были предупреждены, в том, что не существует общепринятого предупреждения.

Я не обобщал понятие «таинственных ответов на таинственные вопросы» в столь многих словах, пока не начал писать байесианский анализ того, что отличает технические, нетехнические и полутехнические научные объяснения.

Сейчас, конечный результат того анализа может быть сформулирован не-технически в терминах четырех знаков опасности:

  1. объяснение действует скорее как затычка для любопытства, чем как управление ожиданием.
  2. у гипотезы нет подвижных частей – секрет не в особом составном механизме, а в явно неделимом веществе или силе.
  3. те, кто предлагает объяснение, лелеют свое невежество; они с гордостью говорят, как явление одерживает победу над обычной наукой или как оно непохоже на обычные природные явления.
  4. даже после того, как ответ дан, явление остается тайной и наделено теми же качествами удивительной необъяснимости, которые у него были изначально.

В принципе, все это могло быть заявлено как прямое следствие витализма. Так же, как простейшая теория вероятности могла быть придумана Архимедом, или древние греки могли разработать теорию естественного отбора. Но фактически никто никогда не предупреждал меня о какой-либо из этих четырех опасностей, в таких выражениях – в лучшем случае предупреждали, что у гипотез должны быть проверяемые следствия. И я не формулировал знаки опасности явным образом, пока не попытался помыслить вопрос в целом в терминах распределения вероятностей – требовалась некоторая избыточность подхода.

У меня просто нет причин верить, что эти предупреждения передаются при научном обучении – это определенно не так для большинства ученых. Среди прочего, это советы по управлению ситуациями смятения и отчаяния, научного хаоса. Как обычному ученому или научному руководителю мог бы представиться случай использовать подобную технику?

Мы только что провели дискуссию о провале одномирности в физике. Ясно, что никто не говорил им о формальном определении Бритвы Оккама, в виде тайного знания или как-то иначе.

Есть известный эффект, состоящий в том, что у великих ученых есть множество великих учеников. Может быть, это связано с тем, что наставники передают навыки, которые они не могут описать. Но я не думаю, что это засчитывается как часть стандартной науки. И если великие наставники не смогли облечь свое руководство в слова и огласить его во всеуслышание, это означает, что такие вещи вряд ли хорошо воспринимаются.

Мыслить в отсутствие явных свидетельств и не ошибиться мгновенно и бесповоротно – очень, очень трудно. Когда ты учишься в школе, ты можешь упустить один момент, а затем научишься пятидесяти другим моментам, которые окажутся верными. Когда ты обдумываешь новое знание в отсутствие сокрушительно подавляющего руководства, ты можешь упустить один момент и через 50 шагов очнуться во Внешней Монголии.

Я вполне уверен, что ученые, которые выключают свой мозг и погружаются в какую-нибудь уютную чепуху, как только покидают пределы своей специальности, не осознают, что разум есть двигатель, и за каждым надежным убеждением есть история причинности. Также, подозреваю, им никогда не говорили, что существует строгая рациональная вероятность, наделенная статусом свидетельства, в котором нет места произволу; даже если вы не можете рассчитать ответ, и даже если вы не получаете надежного указания, чем верить.

Сомневаюсь, что ученые, которых СМИ, рисующие изумительно детальные картины Жизни в 2050 году, попросили погадать о будущем, знали об ошибке конъюнкции. Или знали о том, как представительная эвристика может добиться того, что более детальные истории могут казаться более правдоподобными, притом что каждая лишняя деталь «разбавляет» вероятность. Представление о том, что каждая дополнительная деталь нуждается в собственном обосновании – о том, что невозможно выдумать длинную подробную историю, в точности как те, которым вас учили на уроках биологии или истории – жизненно необходимо для точного мышления в отсутствие определенных свидетельств. Но как подобное представление попадет в курс стандартного научного обучения? Когнитивные искажения были открыты лишь несколько десятилетий назад, и знание о них не распространялось до весьма недавних пор.

Далее, «эмоциональные пике» вокруг понятий вроде «эмерджентность» или «сложность», которые определены достаточно смутно, чтобы вы могли наговорить о них кучу умных слов. Вокруг того рода ошибок, что обычно делал Элиезер18, строятся целые научные направления! (Хотя я никогда не западал на эту вашу «эмерджентность»)

Иногда я говорю, что цель науки – накопить такую гору свидетельств, что даже ученые не смогут ее игнорировать; и что это отличительная черта ученого – не-ученый даже тогда оставит их все без внимания.

Если числом свидетельств – пусть огромным – можно добиться того, что вы в итоге отчаетесь, прекратите искать отговорки и просто сдадитесь – отбросите старую теорию и никогда больше ее не упомянете – тогда это все, что требуется, чтобы распахнуть двери Науки в будущее и воздвигнуть технологическую – а не религиозную – цивилизацию.

Книги Карла Сагана, Мартина Гарднера и другие артерии Традиционной Рациональности задуманы, чтобы преодолеть это различие – преобразовать кого-то из не-ученого в потенциального ученого и защитить его от экспериментально опровергнутого бреда.

Какое еще обучение получают профессиональные ученые? Частотная статистика учит вычислять статистическую значимость. Обучение по стандартной методике позволит им мусолить бумаги в рамках крепко устоявшейся парадигмы. Если б Наука требовала от среднего ученого больше – не думаю, что она смогла бы двигаться дальше. У нас хватает проблем от людей, проникших в науку до жути неподготовленными.

Ник Тарлтон отлично сформулировал итоговую проблему – на самом деле лучше, чем я. Если вы выдвигаете странно звучащую гипотезу, еще не подкрепленную свидетельствами, и пытаетесь проверить ее экспериментально, Наука не говорит, что вы дурак. Наука не доверяет своим старейшинам решать, какие гипотезы «не заслуживают проверки». Но это выверенно неточный общественный стандарт, и если вы попытаетесь сделать его стандартом индивидуальной эпистемологической рациональности, он позволит вам слишком многое принимать на веру.

Обращаясь к аналогии с либертарианством, основанном на прагматическом недоверии, это различие между «Сигареты не должны быть вне закона» и «Кури Мальборо!». Вы помните, чтобы вас хоть раз предупреждали об этой ошибке так подробно? Тогда почему бы людям не делать точно такую же ошибку? Сколько людей добровольно пройдут лишний километр – будут строже к себе, чем требуется? Некоторые, но не многие.

Многие ученые поверят любым глупостям вне лаборатории, пока они могут убедить себя, что эти глупости не были однозначно опровергнуты, или пока им удается не задавать вопросов. Где тот стандартный вузовский курс, после которого люди видят делающего глупость и спрашивают «Он что, отсутствовал, когда объясняли, почему нельзя?» Насколько я знаю, его нет.

Может, если вам очень повезло с преподавателем, он передал вам редкостные умения вроде «Спроси себя, какие задачи в твоей области наиболее важны, и работай над одной из таких вместо того, чтобы купиться на что-то простое и банальное» или «Будь точнее в выражениях, чем требует редактор, ищи новые способы избежать влияния твоих ожиданий на эксперимент, даже если это не общепринято».

Но я действительно не думаю, что существует тайная общепринятая научная традиция выверенного рационального мышления при ограниченных свидетельствах. Половина ученых все еще верят, что они верят в Бога! Сложные навыки не общеприняты.

  • 1. Ква́нтовая (когерентная) суперпози́ция— это суперпозиция состояний, которые не могут быть реализованы одновременно с классической точки зрения, это суперпозиция альтернативных (взаимоисключающих) состояний.
  • 2. Редукция или коллапс волновой функции — мгновенное изменение описания квантового состояния (волновой функции) объекта, происходящее при измерении.

Перевод: 

Son_goku
  • Короткая ссылка сюда: lesswrong.ru/250