Вы здесь

Вне лаборатории

Элиезер Юдковский

«Вне лаборатории учёные не мудрее, чем кто-либо ещё». Иногда эту пословицу используют учёные, чтобы с сожалением напомнить себе о том, что они тоже могут ошибаться. Иногда её применяют в менее похвальных целях — чтобы обесценивать нежелательные экспертные рекомендации. Правдива ли пословица? Наверное, нет, в абсолютном смысле. Это кажется слишком пессимистичным — говорить, что учёные буквально не выше среднего уровня.

Но поговорка кажется в какой-то степени верной, и мы должны быть обеспокоены этим фактом. Мы не должны грустно вздыхать и мотать головой. Скорее, мы должны встревоженно подобраться. Почему? Предположим, пастушонок обучен считать овец, каждый раз, как овца проходит. Он знает, когда все овцы ушли и когда вернулись. Тогда ты даёшь пастуху яблоки и спрашиваешь: «Сколько яблок?» Но он тупо на тебя смотрит. Он не обучен считать яблоки. Только овец. Вы, вероятно, заподозрите, что пастух плохо понимает счёт. Теперь предположим, что мы видим, что кандидат экономических наук покупает каждую неделю лотерейный билет. Мы должны спросить себя — этот человек действительно понимает ожидаемую полезность на инстинктивном уровне? Или просто обучен выполнению различных алгебраических трюков?

Один пример мыслей Ричарда Фейнмана об ошибках в системе обучения физике:

«После длительного расследования я, наконец, понял, что студенты все запоминали, но ничего не понимали. Когда они слышали: «свет, отражённый от преломляющей среды», они не понимали, что под средой имеется в виду, например, вода. Они не понимали, что «направление распространения света» — это направление, в котором видишь что-то, когда смотришь на него, и т.д. Все только запоминалось, и ничего не переводилось в осмысленные понятия. Так что, если я спрашивал: «Что такое угол Брюстера?», я обращался к компьютеру с правильными ключевыми словами. Hо, если я говорил: «Посмотрите на воду», — ничего не срабатывало. У них ничего не было закодировано под этими словами».

Предположим, у нас есть компетентный учёный, который знает, как поставить эксперимент на N испытуемых. N испытуемых получат одинаковый препарат. Судьи слепым методом будут классифицировать результаты. И тогда мы обработаем результаты на компьютере и увидим, будут ли они значимы на 0.05 доверительной вероятности.

И это не просто ритуал. Как, например, «салат следует есть вилкой». Это ритуал для проверки гипотез экспериментально. Почему вы должны экспериментально проверить гипотезу? Потому что знаете, что это требование журнала для публикации? Потому что так вас научили в колледже? Потому что все вокруг будут в унисон говорить, что эксперимент важен, и будут смеяться над вами, если вы говорите иначе?

Нет. Потому что для построения карты территории вы должны пойти и посмотреть на территорию. Невозможно сидеть с закрытыми глазами и строить точную карту города, просто размышляя над тем, каким вы хотите видеть город. Вы должны пойти, погулять и нарисовать на бумаге линии, которые вы увидите. Это происходит каждый раз, когда вы смотрите на развязанные шнурки. Фотоны летят от солнца, отскакивают от шнурков, попадают в сетчатку, активируют нейроны и активируют в зрительной коре шаблон, сильно коррелирующий с формой ваших шнурков. Чтобы нарисовать карту — пройдись по территории. Взаимодействие мозга с окружением — реальный физический процесс. Процессы мышления — не магия. Вы можете описать, как это работает. Чтобы найти эти вещи вы должны пойти и посмотреть.

Так что нам теперь думать про учёного, компетентного в лаборатории, но за её пределами верящего в духовный мир? Мы спросим: «Почему?», и учёный ответит что-то вроде: «Ну, никто ведь на самом деле не знает. Это религия, и она не может быть опровергнута тем или иным наблюдением». Я не могу не прийти к выводу, что человек буквально не знает, почему мы должны смотреть на вещи.

Вероятно, они выучили определённый ритуал проведения эксперимента, но они не понимают причин необходимости этого — чтобы нарисовать карту территории, вы должны её увидеть — чтобы получить информацию об окружающей среде, вы должны создать процесс причинно-следственной связи, в котором вы взаимодействуете с окружающей средой и корректируете карту. Это верно как в отношении двойного слепого метода сбора информации о лекарствах, так и в отношении сбора информации вашим глазом о шнурках.

Может быть, наш верящий в духов учёный скажет «Но это не задача для эксперимента. Духи говорят со мной в моём сердце». Что ж. Если мы предположим, что духи действительно могут говорить каким-либо образом с нами, то тут может быть причинно-следственное взаимодействие и необходимы наблюдения. Теория вероятностей всё ещё работает. Если у вас есть предположение, что некий «голос духов» может быть свидетельством реальных духов, то вы должны предположить, что есть рациональная вероятность для того, чтобы «голос духов» вызывался духами, относительно других объяснений «голоса духов», являющаяся достаточно сильной для преодоления предварительной невероятности факта сложного убеждения со многими частями. В противном случае объяснение «духи говорят со мной в моём сердце» является примером «причинного взаимодействия», по аналогии с которым студент не видит за определением «преломляющая среда» воду.

Легко быть одураченным, возможно, потому, что люди в лабораторных халатах используют фразы вроде «причинного взаимодействия», а люди в бусах — фразы вроде «духи говорят». Участники дискуссии в разных одеждах, как мы все знаем, разграничены разными сферами существования — «непересекающимися магистериями», согласно известной чуши от Стивена Гулда. 1 На самом деле «причинно-следственная связь» — просто ещё один способ сказать: «Что-то происходит по причине того, что что-то сделано». И теорию вероятностей не волнует, что на вас надето.

В современном обществе имеется распространённое убеждение о том, что духовные вопросы не могут быть решены с помощью логики и наблюдений, поэтому вы можете иметь любые религиозные убеждения, какие вам нравится. Если учёный попадается на это и решает жить своей «внелабораторной» жизнью таким образом, то это говорит мне, что он понимает экспериментальный принцип как «общественный договор». Они знают, когда должны проводить эксперименты и проверять результаты ради статистической значимости. Но переведём это в контекст, где социальный обычай — следовать дурацким верованиям без проверки, и они будут счастливы так это и делать.

Ученик-пастушок скажет, что если вышли семь овец и потом вышли восемь овец, то лучше бы вернулись пятнадцать овец. Почему пятнадцать, а не «четырнадцать» или «три»? Потому что в противном случае останешься без ужина, вот почему! И это своего рода то, как работает профессиональная подготовка, но если социальный договор — единственная причина, по которой восемь овец и семь овец составляют пятнадцать овец, — то может семь яблок и восемь яблок будет три яблока? Кто сказал, что правила для яблок не должны быть другими?

Но если вы понимаете, почему работают правила — вы знаете, что сложение одинаково и для овец, и для яблок. Исаак Ньютон справедливо почитается — не только за его устаревшую теорию гравитации, но за обнаружение — удивительное и неожиданное — того, что небесные тела следуют тем же правилам, что и падающие яблоки. В макромире — в окружающей нас повседневной среде — на разных деревьях растут разные фрукты, разные люди в разное время следуют разным обычаям. Действительно, единая вселенная со стационарными универсальными законами — весьма нелогичное понятие для человека. Только учёные действительно в это верят, хотя некоторые религии хорошо играют словами относительно «единства всех вещей».

Как сказал Ричард Фейнман:

Если мы смотрим на стакан достаточно близко — мы видим всю вселенную. Это означает «думать, как физик»: скрученная жидкость, которая испаряется в зависимости от ветра и непогоды, отражение в стекле, а наша фантазия добавляет атомы. Стекло — продукт дистилляции земных пород, и в его составе мы видим тайны возраста вселенной и эволюции звёзд. Что за странный массив химических элементов есть в вине? Как они получились? Это ферменты, энзимы, субстраты и продукты. В вине находится большое обобщение — вся жизнь, ферментация (брожение). Никто не смог бы обнаружить химию вина без обнаружения, как это сделал Луи Пастер, причины множества болезней. Яркость красного вина определяется в сознании того, кто на него смотрит. Если наш маленький ум, для некоторого комфорта, делит эту вселенную на части — физика, биология, геология, астрономия, психология, и так далее — помните, что природа этого не знает! Итак, давайте сложим всё это вместе, не забывая в итоге для чего это. Пусть это даст нам ещё одно заключительное удовольствие — пить и забыть всё это.

Некоторые религии, особенно созданные или подправленные после Исаака Ньютона, могут исповедовать, что «всё связано со всем остальным». (Поскольку существует тривиальный изоморфизм между графами и их дополнениями, эта Глубокая Мудрость передаёт такую же полезную информацию, как граф без ребёр.)

Но когда дело доходит до фактической сути религии, пророки и священники следуют древней человеческой традиции принятия всего вместе. И они создают одно правило для девушек до двенадцати, ещё одно для мужчин за тридцать, одно правило для шаббата и другие для будней, одни правила для науки и другие — для колдовства. Реальность, как мы выучили к нашему шоку — не набор отдельных магистериев, но единый процесс, регулируемый математически простыми правилами низкого уровня. Различные здания на территории института не принадлежат к разным вселенным, хотя иногда так и может показаться. Вселенная не делится на разум и материю, на живое и неживое, атомы в наших головах легко взаимодействуют с атомами окружающего воздуха. Теорема Байеса не меняется от места к месту.

Если за пределами своей сферы деятельности учёный восприимчив к дурацким идеям так же, как кто-либо ещё, он, вероятно, так и не понял, почему научные правила работают. Может, они могут, как попугаи, повторять положения критического рационализма. Но они не понимают, на глубинном уровне, на алгебраическом уровне теории вероятностей, причинно-следственный уровень «мышления-как-машины». Они были обучены вести себя определённым образом в лаборатории, но они не любят быть ограничены данными. Когда они приходят домой и снимают халат — они расслабляются в некоторой комфортной глупости. И да, вот что мне интересно — могу ли я доверять учёным, даже в их области, особенно когда дело доходит до любого спорного вопроса, любого открытого вопроса, того, что ещё не прибито гвоздями массовых доказательств и социальных конвенций. Может, мы можем победить поговорку — быть рациональными в нашей личной жизни, не только в профессиональной жизни. Мы не должны позволить поговорке остановить нас. «Остроумная поговорка ничего не доказывает» — как сказал Вольтер. Может быть, мы сможем делать лучше, если достаточно изучим теорию вероятностей, чтобы понять, почему правила работают, и экспериментальную психологию, чтобы увидеть, как они применяются в реальных случаях, если мы сможем научиться «смотреть на воду». Амбиции не должны мешать возможности признать, что за пределами своей специализации ты не лучше кого-либо другого. Но если наши теории рациональности не применимы в обычной жизни — мы делаем что-то неправильно. Нет разницы между вселенной внутри и снаружи лаборатории.

  • 1. От себя позволю скопировать фрагмент текста из статьи о Гулде, чтобы внести немного ясности в термин «магистерий»: «Двойственность, если не двусмысленность эволюционной позиции Гулда, привела к такой же двойственности его точки зрения на соотношение науки и религии. Кратко эта точка зрения может быть выражена в принципе равноценности и непересекаемости науки и религии, означающем по Гулду, что наука и религия принадлежат к „непересекающимся магистериям“ (сокращенно — NOMA), то есть к разным областям, и имеют дело с разными вопросами человеческого бытия. Таким образом, между ними не может быть никакого конфликта: наука имеет дело с фактами, а религия касается вопросов этики, ценностей и целей. Свой тезис „непересекающихся магистерий“ Гулд обстоятельно развил в двух книгах, получивших многочисленные отклики. В первой он поставил перед собой честолюбивую цель — „определить идеальные отношения между наукой и религией таким способом, чтобы максимизировать выгоду от каждой для общества“, выявить „принципиальное средство ухода от ненужного конфликта между теологами и учёными“. Он выступал против представления, что наука и религия несовместимы и противоречат друг другу. Таковыми они становятся в том случае, если религия трактуется в узком смысле вероучения, которое требует удивительных вмешательств Бога в историю и природу и которое отказывается признавать доказательства эволюции. Если же религия понимается в более широком смысле — как философский теизм, свободный от суеверия или как светский гуманизм, основанный на этических нормах, то Гулд не видит никакого конфликта между двумя магистериями. Тогда наука и религии как две самостоятельные области не только могут быть объединены в единой концептуальной схеме, но и „процветать рядом подобно двум независимым нациям в мире друг с другом“». (Михаил Конашев, «Стивен Дж. Гулд и религия») — Прим.перев.

Перевод: 
Илья Кот
Номер в книге "Рациональность: от ИИ до зомби": 
185
Оцените качество перевода: 
Средняя оценка: 4.2 (12 votes)
  • Короткая ссылка сюда: lesswrong.ru/204