Просто реальность

Автор: 
Элиезер Юдковский

Мир: введение

Роб Бенсинджер

В предыдущих эссе обсуждались человеческое мышление, язык, цели и социальная динамика. Для объяснения человеческого поведения использовались математика, физика и биология. Однако в них почти ничего не говорилось об окружающем мире и о месте в нём человечества.

Значительная часть третьего тома была посвящена противопоставлению человека как целеориентированной системы нечеловеческим процессам из областей эволюционной биологии и искусственного интеллекта. Не менее полезно противопоставить человека уже как физическую систему нечеловеческим процессам без признаков разума. Об этом пойдёт речь в ближайших цепочках.

В конце концов, мы, люди, состоим из частей и эти части сами по себе неразумны. Мир атомов не похож на наше обычное представление о мире. Уж тем более он не похож на представляемый обычно нами мир одушевлённых сознаний. В своё время Джулио Джорелло озаглавил интервью с Дэниэлом Деннетом так: «Да, у нас есть душа. Но она состоит из множества маленьких роботов»1.

В том «Просто реальность» входят семь цепочек на эту тему. Первые три знакомят читателя с вопросом, как мир человека соотносится с миром, открытым физиками. «Правда закономерна» описывает базовые взаимосвязи между физикой и человеческим познанием. «Основы редукционизма» посвящены научному объяснению разнообразных явлений. «Наслаждение обыденностью» — это рассуждения о личной и эмоциональной значимости научного мировоззрения.

За ними следуют две цепочки, которые углубляются в более специфические научные вопросы: «Физикализм для продвинутых» (о сложной проблеме сознания) и «Квантовая механика и множественные миры» (о проблеме измерений в физике). И, наконец, заключительная цепочка «Наука и рациональность» и эссе «Техническое объяснение технического объяснения» собирают идеи из предшествующих цепочек воедино и связывают их с научной практикой.

Обсуждения сознания и квантовой физики показывают важность редукционизма для современных противоречий в науке и философии. Для тех, кому интересно чуть больше узнать о контексте этих тем, я скажу пару слов. Если вам хочется поскорее перейти к самим цепочкам, переходите.

Разум в мире

Можем ли мы хоть как-то узнать, каково это — быть летучей мышью?

Разумеется, мы можем улучшать модели, предсказывающие поведение летучей мыши. Мы можем строить более точные модели её нервной системы. Однако совершенно не очевидно, что это поможет нам понять, как с точки зрения летучей мыши ощущается эхолокация или полёт.

Действительно, кажется, будто невозможно с уверенностью отнести какое-либо переживание к похожим на переживания летучей мыши. Разве не имеющий сознания автомат не может воспроизвести любое поведение имеющего сознание агента с любой заданной точностью? (Философы называют такие автоматы «зомби», хотя они мало чем похожи на зомби в привычном понимании: обычно считается, что зомби сильно отличаются от разумных агентов.)

Если инопланетяне-психологи попытаются смоделировать человеческое сознание, они столкнутся с той же проблемой. Возможно, у них получится построить идеальную модель, предсказывающую, что мы скажем или сделаем при виде красной розы. Но это не означает, что инопланетяне поймут, как красный цвет «ощущается изнутри».

Философы Томас Нагель, Дэвид Чалмерс и другие подобными примерами доказывали, что нейронные и когнитивные модели, составленные от третьего лица никогда не смогут полностью описать ощущение сознания от первого лица23. Неважно, сколько мы знаем о некоторой физической системе. С точки зрения этих философов всегда остается возможность, что система не обладает переживаниями «от первого лица». Возможно, традиционный дуализм с его бестелесными душами, что свободно парят и нарушают законы физики, всё же ложен, но Чалмерс настаивает на более слабом тезисе: сознание есть «факт следующего уровня», и его нельзя объяснить с помощью фактов физики.

Некоторые учёные и философы сочли эти доводы убедительными.4 Если нам интуитивно кажется, что этот аргумент соответствует действительности, должны ли мы его принять и отбросить физикализм?

Определённо не стоит отвергать эти доводы лишь потому, что они выглядят странно или воспринимаются как несколько ненаучные. Однако как они сочетаются с нашим представлением о том, какими должны быть объяснения и убеждения? Можем ли мы получить подсказки из истории науки или из нашего понимания физических принципов формирования свидетельств? Эти вопросы рассматриваются в цепочке «Физикализм для продвинутых».

Миры в мире

На данный момент лучшей математической моделью Вселенной является квантовая механика, подтверждённая уже столетием экспериментов. В этой теории вводится комплексное число — «амплитуда вероятности», которое так называется, потому что некоторая операция над ним (а именно возведение в квадрат модуля этого числа — правило Борна) позволяет узнать вероятность явления при малых размерах системы и экстремальных уровнях энергии. Эта амплитуда детерминистически изменяется согласно уравнению Шрёдингера. В процессе она часто оказывается в необычных состояниях, которые называются «суперпозициями».

Тем не менее во время экспериментов кажется, будто суперпозиции исчезают бесследно. В отсутствие наблюдателя уравнение Шрёдингера, судя по всему, описывает всё, что можно узнать о динамике физических систем. Когда же наблюдатель появляется, этот понятный детерминизм заменяется вероятностным правилом Борна. Обычные законы физики будто перестают работать, когда мы начинаем смотреть, что происходит. Джон Стюарт Белл на эту тему выразился так:

Кажется, будто вся теория сосредоточилась исключительно вокруг «результатов измерений» и ни о чём другом она ничего сказать не может. Что именно определяет, окажется ли некоторая физическая система «измерителем»? Ждала ли волновая функция мира миллиарды лет появления одноклеточных живых существ? Или ей пришлось подождать чуть дольше, пока не появились более подходящие системы… с научной степенью?

Все согласны, что странная смесь законов Шрёдингера и Борна соответствует опыту. Однако, вопрос о том, как именно правило Борна связано со всем остальным и что именно всё это значит, породил хаос из различных взглядов на природу квантовой механики.

Довольно рано копенгагенская школа — Нильс Бор и другие создатели квантовой теории — раскололась на несколько подходов к обсуждению результатов эксперимента и странного формализма, который их предсказывал. Некоторые восприняли понятия «измерения» и «наблюдения» практически буквально и предполагали, что сознание играет фундаментальную роль в законах физики и заставляет комплексные амплитуды «коллапсировать» в наблюдаемые результаты. Другие — ведомые Вернером Гейзенбергом — защищали нереалистичную идею о том, что физика говорит о состоянии наших знаний, а не об объективной реальности. А ещё одна копенгагенская традиция воплотилась в девиз «заткнись и вычисляй», в смысле, не стоит заниматься спекуляциями на метафизические темы.

На примере этих научных споров Юдковский ещё раз показывает ключевые идеи из предыдущих цепочек: различие между картой и территорией, загадочные ответы, байесианство и бритва Оккама. Поскольку он не физик (и я тоже), для желающих внимательнее изучить его аргументы или узнать больше о его примерах, я приведу дополнительные источники.

В книге «Наша математическая Вселенная» Макса Тегмарка обсуждаются некоторые важные идеи философии и физики.5 В частности там затрагивается оригинальная идея Тегмарка о том, что существуют все непротиворечивые математические структуры, включая миры с законами физики и граничными условиями, полностью отличными от наших. При этом такие миры Тегмарка отличаются от мультивселенных более популярных физических гипотез, таких как, например, миры в стохастических вечно растущих моделях Большого Взрыва или многомировой интерпретации квантовой физики Хью Эверетта.

Юдковский подробно обсуждает многомировые интерпретации в ответ на копенгагенскую интерпретацию квантовой механики. В последние десятилетия многомировая интерпретация набрала большую популярность среди физиков, особенно космологов. Однако многие физики по-прежнему отвергают её или сохраняют агностический нейтралитет. В книге Альберта «Квантовая механика и опыт»6 можно ознакомиться с (большей частью) философским введением в этот спор. Также в «Стэнфордской философской энциклопедии» вы можете познакомиться с «Измерениями в квантовой теории»7, а также разными вопросами, связанными с «множественными мирами», например, «Формулировкой относительных состояний Эверетта»8 и «Многомировой интерпретацией»9.

Для развития интуитивного понимания физики прекрасно подходит книга Эпштейна «Думай как физик»10. Не стоит забывать, что как большую часть когнитивных наук можно понять без понимания природы субъективной осознанности, так и большую часть физики можно понять, даже не представляя точной природы (и размеров!) физического мира.

  • 1. Daniel C. Dennett, «Freedom Evolves» (Viking Books, 2003).
  • 2. David J. Chalmers, «The Conscious Mind: In Search of a Fundamental Theory» (New York: Oxford University Press, 1996).
  • 3. Thomas Nagel, «What Is It Like to Be a Bat?», Philosophical Review 83, no. 4 (1974): 435–450, http://www.jstor.org/stable/2183914 .
  • 4. Из участвующих в опросе англоговорящих профессиональных философов 56,5% придерживались идей физикализма, 27,1% – антифизикализма, а 16,4% придерживались иных взглядов (сюда же входит вариант «я не знаю»). [David Bourget and David J. Chalmers, «What Do Philosophers Believe?», Philosophical Studies (2013): 1–36.] Большинство философов отвергает метафизическую возможность существования «зомби» по Чалмерсу, но до сих пор нет единого мнения, где именно ошибка в его аргументации. Кирк обобщает современные точки зрения по поводу вопроса сознания, предлагая аргументы напоминающие позиции Юдковского против возможности знать или ссылаться на нередуцируемые квалиа.[Robert Kirk, «Mind and Body» (McGill-Queen’s University Press, 2003).]
  • 5. Автор ссылается на издание: Max Tegmark, «Our Mathematical Universe: My Quest for the Ultimate Nature of Reality» (Random House LLC, 2014). Книга переводилась на русский язык под названием «Наша математическая вселенная». — Прим. перев.
  • 6. David Z. Albert, «Quantum Mechanics and Experience» (Harvard University Press, 1994).
  • 7. Henry Krips, «Measurement in Quantum Theory», in The Stanford Encyclopedia of Philosophy, Fall 2013, ed. Edward N. Zalta.
  • 8. Jeffrey Barrett, Everett’s Relative-State Formulation of Quantum Mechanics, ed. Edward N. Zalta, http://plato.stanford.edu/archives/fall2008/entries/qm-everett/
  • 9. Lev Vaidman, «Many-Worlds Interpretation of Quantum Mechanics», in The Stanford Encyclopedia of Philosophy, Fall 2008, ed. Edward N. Zalta.
  • 10. Lewis Carroll Epstein, «Thinking Physics: Understandable Practical Reality», 3rd Edition (Insight Press, 2009).
Перевод: 
sepremento, Alaric
Оцените качество перевода: 
Средняя оценка: 4.4 (8 votes)

Правда закономерна

Значительная часть третьего тома была посвящена противопоставлению человека как целеориентированной системы нечеловеческим процессам из областей эволюционной биологии и искусственного интеллекта. Не менее полезно противопоставить человека уже как физическую систему нечеловеческим процессам без признаков разума.

В конце концов, мы, люди, состоим из частей и эти части сами по себе неразумны. Мир атомов не похож на наше обычное представление о мире. Уж тем более он не похож на представляемый обычно нами мир одушевлённых сознаний. В своё время Джулио Джорелло озаглавил интервью с Дэниэлом Деннетом так: «Да, у нас есть душа. Но она состоит из множества маленьких роботов».

Мы начнём с цепочки о базовых взаимосвязях между физикой и человеческим познанием.

Автор: 
Элиезер Юдковский

Единый огонь

Элиезер Юдковский

В фэнтезийной книге Л. Спрэг де Кампа «Дипломированный чародей»1 (которая породила множество последующих подражаний) главный герой, Гарольд Ши, переместился из своей вселенной во вселенную скандинавских мифов. Вселенная скандинавских мифов основана скорее на магии, нежели на технологии, поэтому естественно, что, когда Наш Герой попробовал зажечь огонь спичкой, принесенной с Земли, та его подвела.

Я понимаю, что это всего лишь фентези, но… как бы изложить…

Нет, не так.

В конце 18 века Антуан Лоран Лавуазье открыл огонь. «Что?» — воскликнете вы. Разве к тому времени огонь не использовали уже несколько сотен тысяч лет? Да, действительно, люди использовали огонь — обжигающий, яркий, примерно оранжевого цвета и очень удобный для приготовления пищи. Но никто не знал, как он работает. Греки и средневековые алхимики полагали, что Огонь является одним из четырех базовых элементов. К временам Лавуазье алхимическая парадигма включала в себя множество поправок и стала чрезвычайно сложной, но огонь по-прежнему оставался основополагающей сущностью — уже в виде «флогистона», некоего загадочного вещества, которое, как утверждалось, объясняло огонь, а также все остальные алхимические явления.

Важнейшая новая идея Лавуазье заключалась в том, чтобы взвесить абсолютно все части химической головоломки, как до химической реакции, так и после. До него считалось, что некоторые химические процессы способны изменять вес используемого материала. Например, если мелко протёртую сурьму подвергнуть воздействию направленного через увеличительное стекло солнечного света, то через час сурьма обратится в пепел, а сам пепел будет весить на одну десятую больше, чем исходный объем сурьмы — даже несмотря на то, что при горении от сурьмы исходит густой белый дым. Лавуазье взвесил совершенно все компоненты таких реакций, включая воздух, в котором они протекали, и обнаружил, что материя не создаётся и не разрушается. Увеличение массы сгоревшего пепла взаимосвязано с уменьшением массы воздуха.

Лавуазье также было известно, как разделять газы, и он обнаружил, что горящая свеча уменьшает количество одного вида газа — «жизненного воздуха» и создает иной газ — «связанный воздух». Сегодня мы бы их назвали кислородом и углекислым газом. Когда жизненный воздух заканчивается, пламя угасает. Можно было предположить, что горение преобразует жизненный воздух в связанный, а топливо — в пепел, причём длительность преобразования ограничена количеством доступного жизненного воздуха.

Идея Лавуазье полностью противоречили существующей теории флогистона. Одного этого хватило бы, чтобы потрясти всех, но после этого выяснилось…

Чтобы оценить дальнейшие события, нужно представить себя человеком XVIII века с его ограниченными познаниями. Забудьте об открытии ДНК, которое случилось лишь в 1953. Забудьте всё, что вам известно о клеточной теории в биологии, сформулированной в 1839. Представьте, как вы смотрите на свои руки, сгибаете пальцы… и абсолютно не понимаете, почему они сгибаются. Анатомия мышц и костей была известна, но никто не имел ни малейшего представления «как они работают» — почему мышцы сгибаются и сокращаются, хотя слепок из глины похожей формы остается неподвижен. Представьте, что ваше собственное тело состоит из загадочной, непостижимой субстанции. А теперь представьте открытие…

…что люди в процессе дыхания потребляют жизненный воздух и выдыхают связанный. В людях тоже происходит горение! Лавуазье измерил количество тепла, которое животные (и помощник Лавуазье, Сеген) производят при упражнениях, объем потребленного жизненного воздуха и объём выдыхаемого связанного воздуха. Когда животные производят больше тепла, они потребляют больше жизненного воздуха и выдыхают больше связанного. Люди, подобно пламени, потребляют топливо и кислород, люди, подобно пламени, вырабатывают тепло и углекислый газ. Лиши человека кислорода или топлива, и огонь исчезнет.

Спички загораются из-за фосфора — у «безопасных спичек» есть фосфор на зажигательной ленте, у сесквисульфидных спичек фосфор нанесен на головку. Фосфор очень быстро вступает в химические реакции — чистый фосфор светится в темноте и может спонтанно воспламениться. (Хенниг Бранд, выделивший чистый фосфор в 1669, утверждал, что обнаружил Элемент Огня.) К тому же фосфор вполне соответствует своему назначению в аденозинтрифосфате, АТФ, — веществе, благодаря которому в организме накапливается энергия химических реакций. АТФ порой называют «молекулярной валютой». Она дает силы мышцам и заряжает нейроны. Практически все метаболические реакции зависят от АТФ, и, следовательно, от химических свойств фосфора.

Если спичка перестает функционировать, то и вы тоже. Невозможно поменять что-то одно.

Нет очевидной связи между утверждениями поверхностного уровня «Спичка зажигается от чирканья» и «Людям нужен воздух, чтобы дышать». Потребовались столетия, чтобы обнаружить эту связь, и даже сейчас, судя по всему, это какой-то несущественный факт, которому учат в школе и который важен лишь для небольшого круга специалистов. Нам слишком легко вообразить мир, где одно из этих правил работает, а второе — нет, перестать верить в одно, но не в другое. Но это лишь воображение, а не реальность. Если вы разделили карту на четыре части, чтобы её было проще хранить, это не значит, что сама территория также разделена на четыре обособленные части. Наш разум хранит отдельные правила поверхностного уровня в обособленных отсеках, но это не отражает никакой обособленности законов, управляющих Природой.

Мы можем извлечь из всего этого урок. Поведение фосфора проистекает из ещё более глубоких законов: законов электродинамики и хромодинамики. «Фосфор» — это лишь наше слово для обозначения электронов и кварков, организованных определенным образом. Нельзя изменить химические свойства фосфора, не изменив законы, которым подчиняются электроны и кварки.

Если вы окажетесь в мире, где спички не зажигаются, вы перестанете быть организованной материей.

Реальность сплетена гораздо плотнее, чем люди предпочитают верить.

  • 1. Э. Юдковский почему-то не упоминает второго автора, Флетчера Прэтта. — Прим.перев.
Перевод: 
completely_confused, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
181
Оцените качество перевода: 
Средняя оценка: 4.8 (9 votes)

Единый закон

Элиезер Юдковский

Антуан Лоран Лавуазье обнаружил, что дыхание и огонь (горение) работают по одному принципу. Это было одно из наиболее поразительных объединений в истории науки, оно слило вместе мирскую сферу материи и священное таинство жизни, которые люди делили на отдельные магистерии.

Первое великое объединение было сделано Исааком Ньютоном, который сказал, что движение планет подчиняется тем же законам что и падающее яблоко. Шок от этого открытия был больше, чем от открытия Лавуазье. Дело было не только в том, что Ньютон осмелился объединить земное царство материи с явно отличной и священной небесной сферой, когда-то считавшейся обителью богов. Открытие Ньютона породило понятие универсального закона, который одинаков везде и всегда, буквально не имея исключений.

Люди живут в мире поверхностных явлений, которые делятся на категории, из которых вытекает большое количество исключений. Тигр ведет себя не так, как буйвол. Большинство буйволов имеют четыре ноги, но, возможно, у этого есть три. Зачем кому-то думать что есть законы, которые верны везде? Это, очевидно, не так.

Только в одном случае, похоже, мы хотим закон, который бы выполнялся везде — это когда мы говорим о моральных законах — социальных правилах поведения. Некоторые члены племени могут попробовать взять больше, чем их доля от буйвола, возможно с каким-либо умным оправданием, так что в случае моральных законов мы, кажется, в самом деле имеем инстинкт универсальности. Да, правило о разделе мяса применяется и к вам, нравится ли вам это или нет. Но даже тут есть исключения. Если по некоторой аномальной причине более сильное племя угрожает перебить вас, если Боб не получит в два раза больше мяса, нежели все остальные, вы дадите Бобу двойную порцию. Идея правила, которое вообще не имеет исключений, кажется слишком жесткой, продуктом ограниченного мышления фанатиков, поскольку, находясь в тисках своей идеи, они не могут осознать богатства и сложности реального мира.

Это обычное обвинение в адрес ученых — профессиональных знатоков богатства и сложности реальной Вселенной. Потому что когда вы на самом деле смотрите на вселенную, оказывается, что она является, по человеческим меркам, безумно жесткой в применении своих правил. Насколько мы знаем, не было ни одного нарушения сохранения импульса с незапамятных времен до наших дней.

Иногда, очень редко, мы наблюдаем явное нарушение наших моделей фундаментальных законов. Хотя наши научные модели могут существовать в течение одного или двух поколений, они не являются стабильными на протяжении веков. Но не думайте, что это делает саму Вселенную капризной. Это смешение карты с территорией. Ибо, когда пыль уляжется, и старая теория будет заменена, то получается, что Вселенная всегда действовала в соответствии с новым обобщением, которое мы обнаружили, которое опять будет абсолютно универсальным в свете текущих человеческих знаний. Когда было обнаружено, что ньютоновская гравитация была частным случаем общей теории относительности, было видно, что общая теория относительности формировала орбиты Меркурия за десятилетия до того, как человек узнал об этом, и позже стало очевидным, что общая теория относительности управляла коллапсом звезд в течение миллиардов лет, прежде чем появилось человечество. Ошибаются только наши модели — сам Закон был всегда абсолютно постоянным или так наша новая модель говорит нам.

Я могу утверждать, что уверен только на 80 %, что предел скорости света в следующую сотню тысяч лет останется таким же, однако это не значит что предел является таковым только 80 % времени, а в остальное время меняется. Предположение, в котором я обозначил вероятность в 80 % это то, что действительное положение дел (скорость света) останется таким на всем протяжении пространства-времени.

Одна из причин, по которой древние греки не занимались наукой, это то, что они не представляли, как можно обобщать эксперименты. Греческие философы были заинтересованы в «нормальных» явлениях. Если вы проводите выдуманный эксперимент, то вы скорее всего получите аномальный результат, который не будет иметь ничего общего с тем, как на самом деле работают вещи.

Вот как люди пытаются мечтать, прежде чем начинают учиться; но о чем мечтала Вселенная сама по себе, прежде чем начала мечтать о людях? Если вы действительно хотите научиться думать в соответствии с реальностью — для этого здесь приводится это дао:

С самого начала
Ни одна необычная вещь
Не случалась

Перевод: 
Remlin
Номер в книге "Рациональность: от ИИ до зомби": 
182
Оцените качество перевода: 
Средняя оценка: 4.2 (19 votes)

Реальность безобразна?

Элиезер Юдковский

Читать после: О красоте математики, Предполагая красоту

Вчера я говорил о последовательности кубов {1, 8, 27, 64, 125, …} и как поначалу последовательность из их разностей первого порядка {7, 19, 37, 61, …} не содержит очевидного паттерна, но если взять последовательность разностей второго порядка {12, 18, 24, …}, то закономерность становится простой. Вычисление разностей третьего порядка {6, 6, …} приводит нас к идеально стабильному уровню, где хаос разрешается в порядок.

Но это (как я заметил) довольно искусственный пример. Может быть, «беспорядочному реальному миру» не достает красоты подобных абстрактных математических объектов? Может быть, будет более правильно поговорить здесь о нейронауке или сети экспресии генов?

Абстрактная математика, созданная одним только воображением, строится на простых основаниях – небольшом наборе первоначальных аксиом — и является закрытой системой; условия, которые могут выглядеть как не особенно природные и невероятно способствующие аккуратности.

Другими словами: в чистой математике вам не надо беспокоиться о тигре, которые может выпрыгнуть из кустов и съесть треугольник Паскаля.

Так что же, реальный мир безобразнее, чем математика?

Странно, что люди спрашивают об этом. В смысле, этот вопрос мог бы быть разумным две с половиной тысячи лет назад…

Еще когда греческие философы спорили о том, из чего может состоять эта штуковина под названием «реальность», было много мнений. Гераклит сказал: «Всё есть огонь». Фалес сказал: «Всё есть вода». Пифагор сказал: «Всё есть число».

Счет: Гераклит 0 Фалес 0 Пифагор 1

Под сложными формами и конструкциями на поверхности реальности существует простой уровень, точный и стабильный уровень, законы которого мы называем «физика». Это удивительное открытие уже случилось к моменту нашего появления, но это не значит, что мы забыли, каким оно было неожиданным. Однажды давным давно люди вышли на поиски основополагающей красоты, не имея никаких гарантий, что найдут её. И случилось так, что они нашли её; и сейчас о ней знают все; и она принимается как должное.

Так почему мы не можем узнать местоположение каждого тигра в кустах так же просто, как мы можем узнать шестой куб?

Я вижу три источника неопределенности даже в мире чистой математики — два очевидных и один не очень.

Первый источник неопределенности заключается в том, что даже создание чистой математики, живущее внутри мира чистой математики, может не знать её. Люди ходили по Земле задолго до того как Галилей/Ньютон/Эйнштейн открыли законы гравитации, которые не дают нам упасть в космос. Вами могут управлять фундаментальные законы, о которых вы ничего не знаете. Нет такого физического закона, который говорит, что мозг, управляемый физическими законами, должен явным образом знать о них.

У нас всё ещё нет Теории Всего. Наши лучшие на данный момент теории состоят из математики, но они не идеально стыкуются друг с другом. Наиболее вероятное объяснение — как уже случалось раньше — мы видим поверхностные проявления более глубокой математики. Так что пока мы думаем, что, скорее всего, реальность сделана из математики, но мы еще не знаем, из какой именно.

Но физикам приходится строить огромные ускорители частиц, чтобы отличить теории между собой — чтобы зафиксировать оставшуюся неопределенность хоть в какой-нибудь видимой форме. То, что физики доходят до такого и остаются неуверенными, подсказывает, что это не источник неопределенности цен на акции.

Второй очевидный источник неопределенности заключается в том, что даже если вы знаете все релевантные законы физики, у вас может не хватать вычислительных мощностей, чтобы делать выводы на их основе. Мы знаем все фундаментальные законы физики, относящиеся к тому, как цепочки аминокислот сворачиваются в белок. Но мы всё ещё не в состоянии предсказать форму белка по аминокислотам. Одна крошечная 5-нанометровая молекула, сворачивающаяся за микросекунду, это слишком много информации, чтобы современные компьютеры смогли с ней справиться (не говоря уже о тиграх или ценах на акции). Наши перспективные разработки в свертывании белков чаще используют хитроумные приближения, а не фундаментальное уравнение Шрёдингера. Когда дело доходит до описания 5-нанометрового объекта с помощью действительно базовой физики, на уровне кварков - что ж, можно даже не пытаться.

Мы должны использовать инструменты вроде рентгеновской кристаллографии и ядерно-магнитного резонанса, чтобы узнавать формы белков, которые полностью заданы физикой, которую мы знаем, и цепочкой ДНК, которую мы знаем. Мы не обладаем логическим всеведением. Мы не можем видеть всех последствий наших мыслей. Мы не знаем, во что мы верим.

Третий источник сомнения наиболее сложен для понимания, и Ник Бостром даже написал о нём книгу. Предположим, что последовательность {1, 8, 27, 64, 125, …} существует, примем это за факт. Далее, допустим, что на каждом кубе сидит маленький человечек, один человечек на куб, также примем это за факт.

Если вы стоите снаружи и видите глобальную перспективу – глядя сверху вниз на последовательность кубов и маленьких человечков на них – эти два факта говорят всё, что можно знать о последовательности и о человечках.

Но если вы – один из маленьких человечков, стоящих на кубе, и знаете эти два факта, существует еще третий кусочек информации, который нужен чтобы делать предсказания: «На каком кубе я стою?».

Вы ожидаете, что стоите на кубе; вы не ожидаете, что можете быть на числе 7. Ваши ожидания определённо ограничены вашим знанием базовых законов физики; ваши убеждения фальсифицируемы. Но вам всё ещё нужно посмотреть вниз, чтобы узнать стоите вы на 1728 или на 517717. Если вы можете быстро считать в уме, то достаточно увидеть первые две цифры четырехзначного куба 17__ , чтобы догадаться, что последние цифры 2 и 8. Иначе вам придется посмотреть и на них тоже.

Чтобы узнать, как выглядит ночное небо, недостаточно знать законы физики. Недостаточно даже обладать логическим всеведением про их последствия. Нужно еще знать, где вы во вселенной. Нужно знать, что вы смотрите на ночное небо с Земли. Необходима не только информация, достаточная для определения положения Земли в видимой вселенной, но во всей вселенной, включая все те части, которые наши телескопы не могут увидеть, потому что они слишком далеко, и другие инфляционные вселенные, а также альтернативные ветви Эверетта.

Предположение, что «неопределенность в исходных данных на границе» на самом деле относится к указанию на некоторое место (мы будем называть ее индексной неопределенностью), — хорошее. Но если нет, то это эмпирическая неопределенность, неопределенность в вопросе, как выглядит вселенная в глобальной перспективе, то есть неопределенность того же класса, что и неопределенность в фундаментальных законах.

Как бы то ни было, идея в том, что «реальность» включает в себя безнадежно беспорядочный компонент из-за второго или третьего источника неопределенности: логической неопределенности и индексной неопределенности.

Незнание фундаментальных законов не говорит, что то, что выглядит беспорядочным, действительно беспорядочно. Возможно, мы просто еще не уловили закономерность.

Но когда речь идет о беспорядочной сети экспрессии генов, мы уже нашли скрытую красоту — стабильный уровень, уровень физики, которая лежит в основе всего этого. И из того, что мы уже нашли основной порядок, мы можем сделать вывод, что мы уже не найдем больше никакого секрета, который бы сделал биологию простой, как последовательность кубов. Мы знаем правила игры, и поэтому знаем, что игра сложная. У нас не хватает вычислительных мощностей, чтобы заниматься химией белков на основе фундаментальной физики (второй источник неопределенности) и эволюция могла пойти разными путями на разных планетах (третий источник неопределенности). Новые открытия в фундаментальной физике нам здесь не помогут.

Если вы — древний грек, и смотрите на сырые данные из эксперимента по биологии, будет очень мудро поискать какое-нибудь скрытое пифагорейское изящество, когда все протеины складываются в идеальный икосаэдер. Но в биологии мы уже нашли пифагорейское изящество, и его, как мы знаем, недостаточно, чтобы преодолеть индексную и логическую неопределенность.

Точно так же мы можем быть уверены, что никто никогда не сможет предсказать результаты какого-нибудь квантового эксперимента, только потому, что наша фундаментальная теория ясно говорит нам, что разные версии нас будут видеть разные результаты. Если знание фундаментальных законов говорит, что существует последовательность кубов, и что маленький человечек стоит на каждом из них, и что все эти человечки одинаковые, за исключением того, что стоят на разных кубах, и что вы — один из этих человечков, то вы знаете, что у вас нет способа узнать, на каком вы кубе, кроме как посмотреть.

Современное знание говорит, что «реальность» — это идеально постоянный, детерминированный и очень большой математический объект, который очень дорого и трудно моделируется. Так что «реальная жизнь» не особенно похожа на предсказание следующего куба в цепочке кубов, а больше похожа на знание, что очень много маленьких человечков стоят на кубах, не зная, кто они и на каких именно кубах они стоят. А, и еще они не очень быстро считают в уме. Наше знание правил слегка ограничивает наши предсказания, но не полностью.

Вот. Теперь это похоже на реальность?

Но неопределенность существует в карте, а не в территории. Если мы не знаем о феномене, это говорит что-то о нашем состоянии сознания, а не о самом феномене. Эмпирическая неопределенность, логическая неопределенность и индексная неопределенность – просто имена для нашей неразберихи. Пока мы все равно думаем, что мир состоит из математики, а математика совершенно стабильна и определена. Беспорядок только в глазах смотрящего.

Даже самые жуткие трясины блогосферы определены той же самой совершенной физикой, что и {1, 8, 27, 64, 125, …}

Так что интернет — не огромная помойка… это серии кубов.

Перевод: 
Letti, Pion, bartolomay, Evgeny, princess72
Номер в книге "Рациональность: от ИИ до зомби": 
183
Оцените качество перевода: 
Средняя оценка: 3.9 (17 votes)

Прекрасная вероятность

Элиезер Юдковский

Должны ли мы ожидать, что на определенном уровне рациональность будет простой? Должны ли мы надеяться и искать красоту в искусстве убеждения и выбора?

Позвольте мне привести цитату из Джейнса1, покойного магистра Байесианства:

Два медика-исследователя используют одинаковую методику лечения независимо друг от друга в разных больницах. Ни один из них не фальсифицирует данные, однако один решил заранее, что из-за ограниченности ресурсов он остановится после лечения N=100 пациентов, сколько бы вылечившихся ни было. Другой поставил на кон свою репутацию и решил, что он не остановится, пока данные не покажут, что процент вылеченных больше 60%, сколько бы пациентов ни потребовалось. В итоге оба получили одинаковые результаты: n=100 [пациентов], r=70 [вылеченных]. Должны ли мы сделать разные выводы из их экспериментов? [По-видимому, две контрольные группы также дали равные результаты].

Пользователь Cyan отсылает нас к 37 главе превосходной книги Маккая2 о статистике, где данная проблема рассматривается более подробно.

В соответствии со статистической процедурой старой школы — которой, как я полагаю, все еще обучают сегодня — два исследователя выполнили разные эксперименты с разными условиями прекращения. Два эксперимента могли быть прекращены с разными данными и таким образом представлять разные тесты гипотезы, требуя различных методов статистического анализа. Поэтому весьма возможно, что первый эксперимент будет «статистически значимым», а второй нет.

То, волнует ли вас это или нет, говорит о том, волнует ли вас теория вероятности и рациональность сама по себе.

Статистики-небайесианцы могут пожимать плечами, говоря «ну, не все статистические инструменты имеют одни и те же сильные и слабые стороны, вы же знаете, молоток не похож на отвертку, и если вы применяете разные статистические инструменты, вы можете получить разные результаты, в зависимости от того, обрабатываем мы данные вычисляя линейную регрессию или тренируя нейронную сеть. Вы должны использовать правильный инструмент для каждого отдельного случая. Жизнь запутанна».

И тогда Байесианцы отвечают: «Что, простите? Очевидное влияние фиксированного экспериментального метода, продуцирующего одинаковые данные, зависит от частных мыслей исследователя? И вы еще умудряетесь обвинять нас в ”чрезмерной субъективности?”»

Если Природа устроена одним образом, то так же данные, пришедшие путем, который мы видели, должны представлять одно явление. Если Природа устроена другим образом, то данные должны отражать что-то еще. Однако состояние Природы, которое отражено в данных, никак не зависит от намерений исследователя. Так что каковы бы не были наши гипотезы о Природе, отношение правдоподобия остается одним и тем же, и доказательное влияние то же самое, и апостериорное убеждение должно быть тем же самым между двумя экспериментами. По меньшей мере один из двух методов старой школы должен учитывать не всю информацию, или просто вычисляться с ошибкой, чтобы два метода дали разные ответы.

Древняя война между байесианцами и сторонниками частотного подхода тянется уже десятилетия, и я не собираюсь рассматривать всю эту историю в данном посте.

Но один из центральных конфликтов в том, что байесианцы ожидают, что теория вероятности будет… как же это сказать? Стройной? Ясной? Самосогласующейся?

Как говорит Джейнс, теоремы байесианской вероятности — это просто теоремы когерентной системы доказательств. Не имеет значения, как вы обрабатываете данные в этом случае, результаты байесианской теории вероятности должны быть всегда одни и те же — каждая теорема совместима с любой другой теоремой.

Если вы хотите узнать сумму $ 10+10 $, вы можете вычислять это как $ (2 × 5) + (7 + 3) $ или как $ (2 × (4 + 6)) $ или использовать любой другой метод который вам нравится, но результат должен быть всегда один и то же, в данном случае 20. Если же в одном случае получается 20, а в другом 19, тогда вы можете заключить, что вы сделали что-то неправильно по крайней мере в одном из вычислений. (В математике недопустимой операцией обычно является деление на ноль; в теории вероятности это обычно бесконечность, что нельзя использовать как предел конечного процесса.)

Получив результат $ 19=20 $, изо всех сил ищите допущенную ошибку, поскольку невозможно математически обмануть себя. Если бы кто-то на самом деле получил реальное противоречие пользуясь байесианской теорией вероятности — например, два различных доказательных воздействия от одного и того же экспериментального метода, выдающего одинаковые результаты — тогда вся конструкция пошла бы прахом. Включая теорию множеств, поскольку я совершенно уверен, что система аксиом Цермело—Френкеля послужит примером для теории вероятности.

Математическая! Вот слово которое я искал. Байесианцы ожидают что теория вероятности будет математической. Вот почему мы заинтересованы в теореме Кокса и ее расширениях, показывающих, что любое представление неопределенности, которое подчиняется определенным ограничениям, должно отображаться посредством теории вероятности. Когерентная математика это великолепно, но уникальная математика еще лучше.

И еще, должна ли рациональность быть «математична»? Не является предопределенным то, что вероятность должна быть красивой. Реальный мир сложен — так, возможно, вам нужно будет сложное мышление, чтобы с этим справиться? Возможно, что статистики-небайесианцы с их большой коллекцией специальных методов и обоснований более компетентны, поскольку у них строго больший инструментарий. Хорошо, когда проблемы ясны, но обычно это не так, и вам придется с этим жить.

В конце концов, хорошо известно, что вы не можете использовать байесовские методы на множестве проблем из-за того, что байесовские вычисления сложны для подсчетов. Так почему бы не позволить цвести многим цветам? Почему бы не иметь больше одного инструмента в вашем наборе?

Это фундаментальное различие в сознании. Статистики старой школы думают в терминах инструментов и трюков, применяемых для определенных проблем. Байесианцы, по крайней мере этот байесианец, хотя я не думаю, что говорю только за себя, — мы думаем в терминах законов.

Поиск законов — это не то же самое, что поиск особенно чистых и красивых инструментов. Второй закон термодинамики — это не одно и то же, что и чистый и красивый холодильник.

Цикл Карно это идеальный двигатель — на самом деле идеальный. Нет двигателя, который бы питался от двух накопителей тепла и был бы эффективней, чем двигатель Карно. Как следствие, все термодинамически обратимые двигатели, которые функционируют между одинаковыми накопителями тепла, имеют одинаковую эффективность.

Но, конечно, вы не можете использовать двигатель Карно для питания реальной машины. Двигатель машины имеет такое же сходство с двигателем Карно, что и шины автомобиля с идеальными катящимися цилиндрами.

Тогда ясно, что двигатель Карно — бесполезный инструмент для постройки настоящей машины. Второй закон термодинамики, очевидно, неприменим здесь. Чересчур сложно сделать двигатель, который будет отвечать таким условиям, в реальности. Просто игнорируйте термодинамику — используйте все, что работает.

Это определенный род путаницы, который, как я думаю, управляет теми, кто все еще цепляется за старые методы.

Нет, вы не можете всегда делать точные байесовские вычисления для проблемы. Иногда вам надо искать аппроксимацию; на самом деле, часто. Это не значит, что теорию вероятности нужно прекратить применять, так же как ваша неспособность вычислить аэродинамику самолета из атомных взаимодействий не означает, что самолет не сделан из атомов. Какую бы аппроксимацию вы ни использовали, она будет работать, если является аппроксимацией идеального байесовского вычисления — и не будет работать в любом другом случае.

Доказательства когерентности и уникальности байесианства отметают оба пути. Также, как любой расчет, который подчиняется аксиомам когерентности Кокса (или любой из его переформулировок или обобщений), должен отображаться в вероятностях, любой не байесовский расчет должен провалить какой-либо из тестов на когерентность. Что, в свою очередь, делает вас уязвимым к наказаниям вроде «голландской книги» (принятие комбинаций ставок, которые приводят к гарантированным потерям, или отказ от комбинаций ставок, которые дают верный выигрыш).

Вы можете быть не способны вычислить оптимальный ответ. Но любая аппроксимация которую вы используете, с ее достоинствами и недостатками, должна быть объяснима с позиции байесовской теории вероятности. Вы можете не знать объяснения: но это не значит, что его не существует.

Так вы хотите использовать линейную регрессию вместо байесовских обновлений? Но посмотрите на структуру, лежащую в основе линейной регрессии, и вы увидите, что она выбирает лучшую точку с позиции оценки, данной гауссовской функцией правдоподобия, и ставит исходное над параметрами.

Вы хотите использовать регуляризованную линейную регрессию, потому что она работает на практике лучше? Ну, она соответствует (говорит байесианец) тому, чтобы ставить гауссову априорную информацию над весами.

Иногда вы не можете использовать байесовские методы так, как это описано в литературе; на самом деле это бывает довольно часто. Но когда вы можете использовать точное байесовское вычисление, которое использует каждый кусочек доступной вам информации, делайте это. Вы никогда не найдете статистический метод, который даст вам лучший ответ. Вы можете найти простую аппроксимацию, которая работает отлично почти все время, и так будет проще, но не точнее. Не будет, пока другие методы используют знания, возможно, в форме неявной априорной информации, что не позволяется при байесовских вычислениях; и тогда, когда вы применяете априорную информацию для байесовского вычисления, оно будет либо равно по результатам, либо будет лучше.

Когда вы используете специальный статистический инструмент старой школы с каким-либо (часто достаточно интересным) обоснованием, вы никогда не знаете, если у кого-то завтра появиться более продвинутый инструмент. Но когда вы напрямую можете использовать вычисление, которое отражает байесовский закон, вы делаете что-то наподобие помещения двигателя Карно в свою машину. Это, как говорится, по-байесовски оптимально.

Мне кажется, что те, кто пользуется множеством инструментов, смотрят на последовательность кубов $ {1, 8, 27, 64, 125, …} $, указывают на разности $ {7, 19, 37, 61, …} $ и говорят «смотрите, жизнь не всегда проста — вам нужно адаптироваться к обстоятельствам». И байесианцы, которые указывают на лежащий в основе стабильный уровень $ {6, 6, 6, 6, 6, …} $. И критики говорят: «Что за чушь вы несете? Это $ 7, 19, 37 $, а не $ 6, 6, 6 $. Вы упрощаете проблему, вы слишком привязаны к простоте».

Бесполезно быть простым на поверхностном уровне. Вы должны погрузиться глубже, чтобы найти стабильность.

Мыслите законами, а не инструментами. Необходимость вычислять приближения (аппроксимации) к закону не меняет закон. Самолеты по-прежнему состоят из атомов, они не станут исключением только из-за аэродинамических вычислений. Аппроксимация существует на карте, не на территории. Вы можете знать второй закон термодинамики и все еще пробовать себя как инженера, строя несовершенный двигатель машины. Второй закон не станет неприменим; ваше знание этого закона и цикла Карно помогает вам приблизиться к наибольшей эффективности, которую вы только можете достигнуть.

Мы не очаровываемся байесовскими методами только потому, что они красивы. Красота всего лишь побочный эффект. Теоремы Байеса изящны, когерентны, оптимальны и доказуемо однозначны потому, что они относятся к законам.

  • 1. Edwin T. Jaynes, «Probability Theory as Logic,» in Maximum Entropy and Bayesian Methods, ed. Paul F. Fougère (Springer Netherlands, 1990).
  • 2. David J. C. MacKay, Information Theory, Inference, and Learning Algorithms (New York: Cambridge University Press, 2003).
Перевод: 
Remlin
Номер в книге "Рациональность: от ИИ до зомби": 
184
Оцените качество перевода: 
Средняя оценка: 3.6 (22 votes)

Вне лаборатории

Элиезер Юдковский

«Вне лаборатории учёные не мудрее, чем кто-либо ещё». Иногда эту пословицу используют учёные, чтобы с сожалением напомнить себе о том, что они тоже могут ошибаться. Иногда её применяют в менее похвальных целях — чтобы обесценивать нежелательные экспертные рекомендации. Правдива ли пословица? Наверное, нет, в абсолютном смысле. Это кажется слишком пессимистичным — говорить, что учёные буквально не выше среднего уровня.

Но поговорка кажется в какой-то степени верной, и мы должны быть обеспокоены этим фактом. Мы не должны грустно вздыхать и мотать головой. Скорее, мы должны встревоженно подобраться. Почему? Предположим, пастушонок обучен считать овец, каждый раз, как овца проходит. Он знает, когда все овцы ушли и когда вернулись. Тогда ты даёшь пастуху яблоки и спрашиваешь: «Сколько яблок?» Но он тупо на тебя смотрит. Он не обучен считать яблоки. Только овец. Вы, вероятно, заподозрите, что пастух плохо понимает счёт. Теперь предположим, что мы видим, что кандидат экономических наук покупает каждую неделю лотерейный билет. Мы должны спросить себя — этот человек действительно понимает ожидаемую полезность на инстинктивном уровне? Или просто обучен выполнению различных алгебраических трюков?

Один пример мыслей Ричарда Фейнмана об ошибках в системе обучения физике:

«После длительного расследования я, наконец, понял, что студенты все запоминали, но ничего не понимали. Когда они слышали: «свет, отражённый от преломляющей среды», они не понимали, что под средой имеется в виду, например, вода. Они не понимали, что «направление распространения света» — это направление, в котором видишь что-то, когда смотришь на него, и т.д. Все только запоминалось, и ничего не переводилось в осмысленные понятия. Так что, если я спрашивал: «Что такое угол Брюстера?», я обращался к компьютеру с правильными ключевыми словами. Hо, если я говорил: «Посмотрите на воду», — ничего не срабатывало. У них ничего не было закодировано под этими словами».

Предположим, у нас есть компетентный учёный, который знает, как поставить эксперимент на N испытуемых. N испытуемых получат одинаковый препарат. Судьи слепым методом будут классифицировать результаты. И тогда мы обработаем результаты на компьютере и увидим, будут ли они значимы на 0.05 доверительной вероятности.

И это не просто ритуал. Как, например, «салат следует есть вилкой». Это ритуал для проверки гипотез экспериментально. Почему вы должны экспериментально проверить гипотезу? Потому что знаете, что это требование журнала для публикации? Потому что так вас научили в колледже? Потому что все вокруг будут в унисон говорить, что эксперимент важен, и будут смеяться над вами, если вы говорите иначе?

Нет. Потому что для построения карты территории вы должны пойти и посмотреть на территорию. Невозможно сидеть с закрытыми глазами и строить точную карту города, просто размышляя над тем, каким вы хотите видеть город. Вы должны пойти, погулять и нарисовать на бумаге линии, которые вы увидите. Это происходит каждый раз, когда вы смотрите на развязанные шнурки. Фотоны летят от солнца, отскакивают от шнурков, попадают в сетчатку, активируют нейроны и активируют в зрительной коре шаблон, сильно коррелирующий с формой ваших шнурков. Чтобы нарисовать карту — пройдись по территории. Взаимодействие мозга с окружением — реальный физический процесс. Процессы мышления — не магия. Вы можете описать, как это работает. Чтобы найти эти вещи вы должны пойти и посмотреть.

Так что нам теперь думать про учёного, компетентного в лаборатории, но за её пределами верящего в духовный мир? Мы спросим: «Почему?», и учёный ответит что-то вроде: «Ну, никто ведь на самом деле не знает. Это религия, и она не может быть опровергнута тем или иным наблюдением». Я не могу не прийти к выводу, что человек буквально не знает, почему мы должны смотреть на вещи.

Вероятно, они выучили определённый ритуал проведения эксперимента, но они не понимают причин необходимости этого — чтобы нарисовать карту территории, вы должны её увидеть — чтобы получить информацию об окружающей среде, вы должны создать процесс причинно-следственной связи, в котором вы взаимодействуете с окружающей средой и корректируете карту. Это верно как в отношении двойного слепого метода сбора информации о лекарствах, так и в отношении сбора информации вашим глазом о шнурках.

Может быть, наш верящий в духов учёный скажет «Но это не задача для эксперимента. Духи говорят со мной в моём сердце». Что ж. Если мы предположим, что духи действительно могут говорить каким-либо образом с нами, то тут может быть причинно-следственное взаимодействие и необходимы наблюдения. Теория вероятностей всё ещё работает. Если у вас есть предположение, что некий «голос духов» может быть свидетельством реальных духов, то вы должны предположить, что есть рациональная вероятность для того, чтобы «голос духов» вызывался духами, относительно других объяснений «голоса духов», являющаяся достаточно сильной для преодоления предварительной невероятности факта сложного убеждения со многими частями. В противном случае объяснение «духи говорят со мной в моём сердце» является примером «причинного взаимодействия», по аналогии с которым студент не видит за определением «преломляющая среда» воду.

Легко быть одураченным, возможно, потому, что люди в лабораторных халатах используют фразы вроде «причинного взаимодействия», а люди в бусах — фразы вроде «духи говорят». Участники дискуссии в разных одеждах, как мы все знаем, разграничены разными сферами существования — «непересекающимися магистериями», согласно известной чуши от Стивена Гулда. 1 На самом деле «причинно-следственная связь» — просто ещё один способ сказать: «Что-то происходит по причине того, что что-то сделано». И теорию вероятностей не волнует, что на вас надето.

В современном обществе имеется распространённое убеждение о том, что духовные вопросы не могут быть решены с помощью логики и наблюдений, поэтому вы можете иметь любые религиозные убеждения, какие вам нравится. Если учёный попадается на это и решает жить своей «внелабораторной» жизнью таким образом, то это говорит мне, что он понимает экспериментальный принцип как «общественный договор». Они знают, когда должны проводить эксперименты и проверять результаты ради статистической значимости. Но переведём это в контекст, где социальный обычай — следовать дурацким верованиям без проверки, и они будут счастливы так это и делать.

Ученик-пастушок скажет, что если вышли семь овец и потом вышли восемь овец, то лучше бы вернулись пятнадцать овец. Почему пятнадцать, а не «четырнадцать» или «три»? Потому что в противном случае останешься без ужина, вот почему! И это своего рода то, как работает профессиональная подготовка, но если социальный договор — единственная причина, по которой восемь овец и семь овец составляют пятнадцать овец, — то может семь яблок и восемь яблок будет три яблока? Кто сказал, что правила для яблок не должны быть другими?

Но если вы понимаете, почему работают правила — вы знаете, что сложение одинаково и для овец, и для яблок. Исаак Ньютон справедливо почитается — не только за его устаревшую теорию гравитации, но за обнаружение — удивительное и неожиданное — того, что небесные тела следуют тем же правилам, что и падающие яблоки. В макромире — в окружающей нас повседневной среде — на разных деревьях растут разные фрукты, разные люди в разное время следуют разным обычаям. Действительно, единая вселенная со стационарными универсальными законами — весьма нелогичное понятие для человека. Только учёные действительно в это верят, хотя некоторые религии хорошо играют словами относительно «единства всех вещей».

Как сказал Ричард Фейнман:

Если мы смотрим на стакан достаточно близко — мы видим всю вселенную. Это означает «думать, как физик»: скрученная жидкость, которая испаряется в зависимости от ветра и непогоды, отражение в стекле, а наша фантазия добавляет атомы. Стекло — продукт дистилляции земных пород, и в его составе мы видим тайны возраста вселенной и эволюции звёзд. Что за странный массив химических элементов есть в вине? Как они получились? Это ферменты, энзимы, субстраты и продукты. В вине находится большое обобщение — вся жизнь, ферментация (брожение). Никто не смог бы обнаружить химию вина без обнаружения, как это сделал Луи Пастер, причины множества болезней. Яркость красного вина определяется в сознании того, кто на него смотрит. Если наш маленький ум, для некоторого комфорта, делит эту вселенную на части — физика, биология, геология, астрономия, психология, и так далее — помните, что природа этого не знает! Итак, давайте сложим всё это вместе, не забывая в итоге для чего это. Пусть это даст нам ещё одно заключительное удовольствие — пить и забыть всё это.

Некоторые религии, особенно созданные или подправленные после Исаака Ньютона, могут исповедовать, что «всё связано со всем остальным». (Поскольку существует тривиальный изоморфизм между графами и их дополнениями, эта Глубокая Мудрость передаёт такую же полезную информацию, как граф без ребёр.)

Но когда дело доходит до фактической сути религии, пророки и священники следуют древней человеческой традиции принятия всего вместе. И они создают одно правило для девушек до двенадцати, ещё одно для мужчин за тридцать, одно правило для шаббата и другие для будней, одни правила для науки и другие — для колдовства. Реальность, как мы выучили к нашему шоку — не набор отдельных магистериев, но единый процесс, регулируемый математически простыми правилами низкого уровня. Различные здания на территории института не принадлежат к разным вселенным, хотя иногда так и может показаться. Вселенная не делится на разум и материю, на живое и неживое, атомы в наших головах легко взаимодействуют с атомами окружающего воздуха. Теорема Байеса не меняется от места к месту.

Если за пределами своей сферы деятельности учёный восприимчив к дурацким идеям так же, как кто-либо ещё, он, вероятно, так и не понял, почему научные правила работают. Может, они могут, как попугаи, повторять положения критического рационализма. Но они не понимают, на глубинном уровне, на алгебраическом уровне теории вероятностей, причинно-следственный уровень «мышления-как-машины». Они были обучены вести себя определённым образом в лаборатории, но они не любят быть ограничены данными. Когда они приходят домой и снимают халат — они расслабляются в некоторой комфортной глупости. И да, вот что мне интересно — могу ли я доверять учёным, даже в их области, особенно когда дело доходит до любого спорного вопроса, любого открытого вопроса, того, что ещё не прибито гвоздями массовых доказательств и социальных конвенций. Может, мы можем победить поговорку — быть рациональными в нашей личной жизни, не только в профессиональной жизни. Мы не должны позволить поговорке остановить нас. «Остроумная поговорка ничего не доказывает» — как сказал Вольтер. Может быть, мы сможем делать лучше, если достаточно изучим теорию вероятностей, чтобы понять, почему правила работают, и экспериментальную психологию, чтобы увидеть, как они применяются в реальных случаях, если мы сможем научиться «смотреть на воду». Амбиции не должны мешать возможности признать, что за пределами своей специализации ты не лучше кого-либо другого. Но если наши теории рациональности не применимы в обычной жизни — мы делаем что-то неправильно. Нет разницы между вселенной внутри и снаружи лаборатории.

  • 1. От себя позволю скопировать фрагмент текста из статьи о Гулде, чтобы внести немного ясности в термин «магистерий»: «Двойственность, если не двусмысленность эволюционной позиции Гулда, привела к такой же двойственности его точки зрения на соотношение науки и религии. Кратко эта точка зрения может быть выражена в принципе равноценности и непересекаемости науки и религии, означающем по Гулду, что наука и религия принадлежат к „непересекающимся магистериям“ (сокращенно — NOMA), то есть к разным областям, и имеют дело с разными вопросами человеческого бытия. Таким образом, между ними не может быть никакого конфликта: наука имеет дело с фактами, а религия касается вопросов этики, ценностей и целей. Свой тезис „непересекающихся магистерий“ Гулд обстоятельно развил в двух книгах, получивших многочисленные отклики. В первой он поставил перед собой честолюбивую цель — „определить идеальные отношения между наукой и религией таким способом, чтобы максимизировать выгоду от каждой для общества“, выявить „принципиальное средство ухода от ненужного конфликта между теологами и учёными“. Он выступал против представления, что наука и религия несовместимы и противоречат друг другу. Таковыми они становятся в том случае, если религия трактуется в узком смысле вероучения, которое требует удивительных вмешательств Бога в историю и природу и которое отказывается признавать доказательства эволюции. Если же религия понимается в более широком смысле — как философский теизм, свободный от суеверия или как светский гуманизм, основанный на этических нормах, то Гулд не видит никакого конфликта между двумя магистериями. Тогда наука и религии как две самостоятельные области не только могут быть объединены в единой концептуальной схеме, но и „процветать рядом подобно двум независимым нациям в мире друг с другом“». (Михаил Конашев, «Стивен Дж. Гулд и религия») — Прим.перев.
Перевод: 
Илья Кот
Номер в книге "Рациональность: от ИИ до зомби": 
185
Оцените качество перевода: 
Средняя оценка: 3.9 (9 votes)

Второй закон термодинамики и двигатели познания

Элиезер Юдковский

Первый закон термодинамики, более известный как закон сохранения энергии, утверждает, что нельзя создать энергию из ничего. Первый закон запрещает вечный двигатель первого рода — устройство, способное работать бесконечно долго без затрат топлива или других энергетических ресурсов. Согласно современной физике, энергия сохраняется при абсолютно каждом взаимодействии частиц. Применяя математическую индукцию, мы получаем, что, каким бы большим ни было множество частиц, оно не сможет произвести энергию из ничего — во всяком случае, без нарушения известных нам законов физики.

Именно поэтому, если вы попробуете запатентовать гениальное изобретение, состоящее из колёс и шестерёнок, в которой одна пружина разжимается, а другая сжимается и так далее, и которая, по вашим расчётам будет работать вечно, Патентное ведомство США без раздумий отклонит вашу заявку. Полностью доказано, что для работы такой машины хотя бы одна её деталь должна нарушать законы физики (в стандартной модели). Поэтому, если вы не можете объяснить, как одна деталь нарушает законы физики, вы не сможете объяснить, как их нарушает вся машина.

Подобный довод применим и к инерциоиду — двигательной установке, нарушающей закон сохранения импульса. В стандартной модели импульс сохраняется для всех частиц и их взаимодействий. По математической индукции, импульс будет сохраняться для систем любого размера. Если вы можете представить две сталкивающиеся частицы, которые разлетаются с таким же суммарным импульсом, то вы поймёте, что увеличение системы до огромной машины из кучи шестерёнок ничего не изменит. Даже если составить систему из триллионов квадриллионов атомов, 0 + 0 + … + 0 = 0.

Но закон сохранения энергии сам по себе не может запретить преобразовывать тепло в работу. Вы можете сделать закрытую коробку, которая превращает кубики льда и запасённое электричество в тёплую воду. Это даже совсем не сложно. Нельзя создать или уничтожить энергию: изменение количества энергии при трансформации кубиков льда и электричества в тёплую воду должно равняться нулю. Поэтому, если бы вы провели обратную трансформацию, закон сохранения энергии тоже бы не нарушился.

Вечные двигатели второго рода, превращающие тёплую воду в электрический ток и кубики льда, запрещены вторым законом термодинамики.

Понять второй закон немного труднее, поскольку по своей природе он байесовский.

Я не шучу.

Второй закон термодинамики вытекает из теоремы, которую можно доказать в стандартной физической модели: при изменении любой замкнутой системы во времени объём её фазового пространства сохраняется.

Допустим, вы держите мяч высоко над землёй. Это состояние можно описать как точку в многомерном пространстве, в котором по крайней мере одно из измерений — высота мяча над землёй. Затем, когда вы отпускаете мяч, он начинает двигаться. Одновременно начинает двигаться и безразмерная точка в фазовом пространстве, которая описывает всю систему, состоящую из вас и мяча. Термин «фазовое пространство» в физике обозначает, что в нём есть измерения не только для координат частиц, но ещё и для импульсов. Например, система из двух частиц будет иметь 12 измерений: 3 измерения на координату частицы, и 3 измерения на импульс.

Если у вас есть многомерное пространство, в котором каждое измерение описывает положение соответствующей шестерёнки в огромном механизме, то, когда вы будете поворачивать шестерёнки, в многомерном фазовом пространстве будет метаться туда-сюда единственная точка. И раз мы можем представить большой сложный механизм в виде одной точки в многомерном пространстве, то законы физики, описывающие поведение механизма с течением времени, мы можем представить, как описывающие траекторию этой точки в фазовом пространстве.

Второй закон термодинамики — следствие теоремы, доказываемой в стандартной модели физики: если рассмотреть некоторый объём фазового пространства, который преобразуется во времени в стандартной модели, то его суммарный объём сохраняется.

Например:

Возьмём две системы, $X$ и $Y$, где $X$ имеет 8 возможных состояний, $Y$ — 4 возможных состояния, а объединённая система $(X,Y)$ — 32 состояния.

Преобразование объединённой системы с течением времени можно описать правилом, которое отображает начальные точки в будущие точки. Например, система может начать в состоянии $X_7Y_2$, и за минуту перейти (под действием каких-то законов физики) в состояние $X_3Y_3$. То есть, если $X$ находится в состоянии 7, Y — в состоянии 2, и мы проследим за ними одну минуту, то мы увидим переход $X$ в состояние 3 и $Y$ в состояние 3. Таковы законы физики.

Далее, давайте выделим в объединённой системе подпространство $S$. Пусть в $S$ $Х$ всегда находится в состоянии 1, а $Y$ — в состояниях 1-4 . Таким образом, общий объём $S$ будет равен 4 состояниям.

И давайте допустим, что состояния, изначально входящие в $S$, под действиями управляющих системой $(X,Y)$ законов физики, ведут себя следующим образом:

$$X_1Y_1 \rightarrow X_2Y_1$$
$$X_1Y_2 \rightarrow X_4Y_1$$
$$X_1Y_3 \rightarrow X_6Y_1$$
$$X_1Y_4 \rightarrow X_8Y_1$$

Это, в двух словах, описание работы холодильника.

Подсистема $X$ стартовала из узкой области пространства состояний (единственного состояния 1), а $Y$ — из более широкой области, состояний 1-4. После взаимодействия систем друг с другом, система $Y$ оказалась в узкой области, а $X$ — в широкой, но общий фазовый объём не изменился. 4 начальных состояния перешли в 4 конечных.

Очевидно, что пока физика не позволяет фазовому объёму изменяться с течением времени, невозможно сжать $Y$ сильнее, чем расширить $X$, и наоборот. Для каждой подсистемы, сжимаемой в пространстве состояний, какая-то другая подсистема должна расширяться в пространстве состояний.

Теперь допустим, что мы не уверены насчёт состояния системы $(X,Y)$, и наша неопределённость описывается равновероятным распределением по $S$. То есть, мы уверены, что $X$ находится в состоянии 1, но $Y$ может находиться в любом из состояний 1-4. Через минуту мы ожидаем увидеть $Y$ в состоянии 1, а $X$ — в любом из состояний 2-8. Фактически, $X$ может быть только в одном из состояний среди 2-8, но узнать конкретное состояние было бы слишком затратно, так что мы просто будем говорить 2-8.

Если рассмотреть энтропию Шэннона от нашей неуверенности о состояниях $X$ и $Y$, как о независимых системах, то $X$ начнёт с 0 бит энтропии, потому что имеет только одно определённое состояние, $Y$ начнёт с 2 бит, потому что она с равной вероятностью может оказаться в любом из четырёх состояний. (Между $X$ и $Y$ нет общей информации). Немного физики, и вот, энтропия $Y$ стала 0, но энтропия $X$ стала равна $log_2 7 = 2,8 бит$. Таким образом, энтропия перешла из одной системы в другую и уменьшилась в подсистеме $Y$. Однако из-за каких-то сложностей мы не потрудились отследить часть информации, и, следовательно (с нашей точки зрения), общая энтропия увеличилась.

Предположим, существовал бы физический процесс, который преобразовывал бы прошлые состояния в будущие состояния следующим образом:

$$X_2Y_1 \rightarrow X_2Y_1$$
$$X_2Y_2 \rightarrow X_2Y_1$$
$$X_2Y_3 \rightarrow X_2Y_1$$
$$X_2Y_4 \rightarrow X_2Y_1$$

Такой физический процесс на самом деле уменьшал бы энтропию, потому что независимо от того, где бы вы начинали, вы оказывались бы в одном и том же месте. Законы физики с течением времени могли бы сжать фазовое пространство.

Однако существует теорема — она называется теоремой Лиувилля и её можно доказать для наших законов физики, — которая утверждает, что такого не может быть: фазовый объём сохраняется.

Второй закон термодинамики — это следствие теоремы Лиувилля. Не важно, насколько хитроумна ваша машина из колёс и шестерёнок. Всё равно вы никогда не сможете уменьшить энтропию в одной подсистеме, не увеличивая её где-то в другом месте. Когда фазовое пространство одной подсистемы сужается, фазовое пространство другой подсистемы должно расширяться, и совместное пространство будет иметь тот же объем.

Однако, изначально компактное фазовое пространство может со временем расползтись и рассредоточиться. Поэтому для того, чтобы нарисовать простую границу вокруг этого беспорядка, придётся описать гораздо большую область, чем в начале. Именно это создаёт впечатление, что энтропия увеличивается. (А в квантовых системах, где развитие разных вселенных идёт разными путями, энтропия действительно возрастает в любой локальной вселенной. Но пока что пропустим это усложнение.)

Второй закон термодинамики вероятностный по своей природе — если вы спросите насчёт вероятности того, что горячая вода спонтанно перейдёт в состояние «холодная вода и электричество», то ответ — такая вероятность действительно существует, просто она очень мала. Это не означает, что теорема Лиувилля с малой вероятностью нарушается, теорема — это теорема, в конце концов. Это означает, что если вы вначале находитесь в большом фазовом пространстве, но не знаете, где именно, вы можете оценить небольшую вероятность оказаться в каком-то конкретном объёме фазового пространства. Поэтому, с бесконечно малой вероятностью этот конкретный стакан горячей воды может быть таким, который самопроизвольно превратится в электрический ток и кубики льда. (Пренебрегая, как обычно, квантовыми эффектами).

Таким образом, второй закон термодинамики по своей природе действительно является байесовским. Когда мы рассуждаем о реальной термодинамической системе, второй закон термодинамики — абсолютно строгое утверждение о ваших убеждениях, касающихся этой системы, но вероятностное утверждение о самой системе.

«Постойте, — говорите вы. — На уроках физики меня учили по-другому. На лекциях нам рассказывали, что термодинамика — это вроде как о температурах. Неопределённость — это субъективное ощущение! Температура воды в стакане — объективное свойство воды! Какое отношение имеет тепло к вероятности?»

О, у вас маловато доверия.

С одной стороны, связь между теплотой и вероятностью относительно проста: если вы не знаете про стакан воды ничего, кроме его температуры, то у вас гораздо больше неопределённости насчёт стакана горячей воды, чем насчёт стакана холодной.

Тепло — хаотичное движение множества молекул, и чем горячее, тем быстрее движутся молекулы. Не все молекулы в горячей воде движутся с одинаковой скоростью: «температура» — это не равномерная скорость всех молекул, а средняя скорость, которая, в свою очередь, соответствует прогнозируемому статистическому распределению скоростей. Дело в том, что чем горячее вода, тем быстрее могут быть молекулы воды, и, следовательно, у вас больше неопределённости о скорости любой отдельной молекулы (и не забудьте о том, что скорость — это вектор) . Когда вы умножите свои неопределённости относительно всех отдельных молекул, вы получите экспоненциально большую неопределённость относительно всего стакана воды.

Теперь возьмём логарифм этого экспоненциального объёма неопределённости и назовём его энтропией. Как вы видите, всё сходится.

Если посмотреть с другой стороны, связь менее очевидна. Предположим, что о некотором стакане воды вы изначально знали только то, что его температура составляла 72 градуса. Затем, внезапно, Святой Лаплас раскрывает вам точные координаты и скорости всех атомов в воде. Теперь вы прекрасно знаете состояние воды, поэтому, по определению информационной энтропии, её энтропия равна нулю. Делает ли это его термодинамическую энтропию нулевой? Будет ли вода холоднее из-за нашего знания?

Игнорируя квантовые эффекты, ответ: да! Вода будет холоднее!

Максвелл однажды спросил: «Почему мы не можем взять сосуд с равномерно распределённым горячим газом, разделить его перегородкой на две части — A и B, и сделать так, чтобы из В в А переходили только быстрые молекулы, а из А в В — только медленные? Если построить такой разделитель, то на стороне А мы получим горячий газ, а на стороне В — холодный. Мы тогда смогли бы дёшево охлаждать продукты, верно?»

Агент, который проверяет каждую молекулу газа и решает, пропускать ли её, известен под именем «демон Максвелла». И причина, по которой вы не можете построить эффективный холодильник таким образом, заключается в том, что демон Максвелла генерирует энтропию, когда проверяет скорости молекул газа и решает, пропускать молекулу или нет.

Но предположим, что вы уже знаете, где находятся все молекулы газа.

Тогда вы действительно можете запустить демона Максвелла и извлечь из этого полезную работу.

Поэтому (опять же игнорируя квантовые эффекты на данный момент), если вы знаете состояния всех молекул в стакане горячей воды, в истинно термодинамическом смысле он холодный: вы можете забрать электричество из воды и оставить кубик льда.

Это не нарушает теорему Лиувилля, потому что если $Y$ — это вода, и вы — демон Максвелла (обозначим как $M$), физический процесс ведёт себя так:

$$M_1Y_1 \rightarrow M_1Y_1$$
$$M_2Y_2 \rightarrow M_2Y_1$$
$$M_3Y_3 \rightarrow M_3Y_1$$
$$M_4Y_4 \rightarrow M_4Y_1$$

Поскольку демон Максвелла знает точное состояние $Y$, это общая информация между $M$ и $Y$. Общая информация уменьшает энтропию связанной системы $(M,Y)$: $H(M,Y) = H(M) + H(Y) - I(M;Y)$. $M$ имеет 2 бита энтропии, $Y$ тоже имеет 2 бита энтропии, и общая информация - 2 бита, поэтому $(M,Y)$ имеет в сумме 2 + 2 - 2 = 2 бита энтропии. Физический процесс просто преобразует «холодность» (негэнтропию) общей информации, чтобы сделать холодной настоящую воду. После этого $M$ имеет 2 бита энтропии, $Y$ имеет 0 бит энтропии, а общая информация равна 0. Как видите, всё в порядке!

И не говорите мне, что знание «субъективно». Знание представлено в мозге, и это делает его таким же физическим, как и всё остальное. Для того чтобы $M$ физически представлял точную картину состояния $Y$, физическое состояние $M$ должно коррелировать с состоянием $Y$. Вы можете воспользоваться этим термодинамическим преимуществом - оно называется двигателем Сцилларда.

Или как заметил Эдвин Томпсон Джейнс: «Старая поговорка „Знание — сила“ очень правдива, причём как в человеческих отношениях, так и в термодинамике».

И наоборот, одна подсистема не может увеличить общую информацию с другой подсистемой, без 1) взаимодействия с ней и без 2) выполнения термодинамической работы.

В противном случае, вы могли бы создать демона Максвелла и нарушить второй закон термодинамики, что, в свою очередь, нарушило бы теорему Лиувилля, а это невозможно в стандартной модели физики.

Таким образом, чтобы сформировать точные убеждения о чём-то, вам совершенно необходимо за этим наблюдать. Это очень физический, очень реальный процесс: любой рациональный разум «работает» в термодинамическом смысле, а не только в смысле умственных усилий.

(Иногда говорят, что термодинамическая работа требуется для стирания битов при подготовке к новому наблюдению, но это различие — всего лишь вопрос терминов, математика процесса однозначна.)

(Здесь я пока не буду рассматривать вопрос открытия логических «истин» — в некоторой степени потому, что я пока размышляю, как это точно формализовать. В термодинамике знание логических истин не считается негэнтропией, как можно было бы ожидать, поскольку компьютер, способный выполнять обратимые вычисления, смог бы вычислять логические истины с любыми произвольно низкими затратами. Вышенаписанное относится к разуму, который знает о логике всё. Любой более простой ум обязательно будет менее эффективным.)

«Для формирования точных убеждений требуется соответствующее количество доказательств» — это очень убедительная истина как в человеческих отношениях, так и в термодинамике. Если бы слепая вера действительно работала как метод исследования, вы могли бы превратить тёплую воду в электричество и кубики льда. Просто создайте Демона Максвелла, который слепо верит в точные значения скоростей молекул.

Двигатели познания не так сильно отличаются от тепловых двигателей, хоть они и манипулируют энтропией более тонким образом, чем сжигание бензина. Например, они схожи тем, что двигатели познания не являются абсолютно эффективными, они должны излучать лишнее тепло, как его излучает двигатель автомобиля или холодильник.

Фраза «холодная рациональность» правдива в таком смысле, о котором голливудские сценаристы даже не могли и подумать (и неверна в том смысле, который они имели ввиду).

Поэтому, если вы не можете сказать мне, какой именно шаг в вашем рассуждении нарушает законы физики, давая вам истинное знание незримого, то не ожидайте, что я поверю в то, что всё сложное умное рассуждение способно их нарушить.

Перевод: 
Geimverusagan, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
186
Оцените качество перевода: 
Средняя оценка: 4.3 (11 votes)

Убеждения о вечном двигателе

Элиезер Юдковский

Предыдущее эссе закончилось выводом:

Чтобы сформировать точные убеждения о чём-то, вам совершенно необходимо за этим наблюдать. Это очень физический, очень реальный процесс: любой рациональный разум «работает» в термодинамическом смысле, а не только в смысле умственных усилий… Поэтому, если вы не можете сказать мне, какой именно шаг в вашем рассуждении нарушает законы физики, давая вам истинное знание незримого, то не ожидайте, что я поверю в то, что всё сложное умное рассуждение способно их нарушить.

Главное следствие математической аналогии между термодинамикой и познанием: нельзя избежать ограничений, проистекающих из теории вероятностей. Сама вероятность может быть «субъективным убеждением», но законы, которым она подчиняется, твёрже стали.

В традиционной школе, когда учитель вам что-то говорит, вы обязаны в это поверить и повторить то, что он сказал, в ответ. Однако, когда вы слышите предположение от обычного ученика, вы не обязаны его учитывать. В итоге у многих область убеждений проецируется на область авторитета. В итоге люди думают, что определённые убеждения — это что-то вроде законов, которым нельзя не подчиняться, но вероятностные убеждения — это всего лишь предположения.

И, глядя на лотерейный билет, люди говорят: «Но ведь невозможно доказать, что я не выиграю?» При этом они подразумевают: «Пускай ты вычислил, что вероятность выигрыша мала. Но это всего лишь вероятность, а значит — это лишь предположение, и я могу верить в то, во что хочу».

Предложу простой эксперимент. Бросьте с размаху яйцо на пол. Закон, согласно которому яйцо не впрыгнет вам обратно в руки — вероятностный. Предположение, если угодно. Законы термодинамики вероятностные. То есть, они не могут быть настоящими законами, в том же смысле, в каком законом является «не убий». Так?

Почему же просто не проигнорировать такое предположение? Яйцо же соберётся само собой. Верно?

Если какая-то часть вас до сих пор настаивает, что убеждения, в которых присутствует неопределённость, не могут вас к чему-то обязывать, полезно подумать о яйце, которое, возможно, соберётся само собой.

Существует крошечный шанс, что яйцо соберётся обратно в скорлупу. Но вы не можете этого ожидать. Вы обязаны ожидать, что оно разобьётся. Для вас обязательно убеждение, что вероятность самопроизвольного восстановления яйца примерно равна нулю. Вероятности описывают неопределённость, но законы теории вероятностей — это теоремы.

Если вы сомневаетесь, попробуйте проигнорировать предположения термодинамики и уроните яйцо на пол пару дециллионов раз, ожидая, что оно соберётся обратно. Расскажите о результатах. Пусть вероятности — это субъективные убеждения, но законы, которые ими управляют, гораздо твёрже стали.

Один мой знакомый был уверен, что придумал как создать инерциоид из множества колёс и шестерёнок. У него была табличка в Экселе с доказательством, которую он, разумеется, не мог показать, поскольку всё ещё дорабатывал свою систему. В классической механике можно доказать, что нарушить закон сохранения импульса невозможно. Поэтому любая табличка в Экселе с расчётами, согласующимися с правилами классической механики, неизбежно покажет, что создать инерциоид невозможно. Разве что машина окажется настолько сложной, что её автор ошибётся в вычислениях.

Аналогично, когда люди, овладевшие рациональностью наполовину (или на одну десятую), забывают об искусстве и пытаются поверить, не имея свидетельств, «всего лишь разочек», они часто нагромождают оправдания и тем самым запутывают себя так, что перестают видеть шаг, в котором происходит магия.

Определить, где именно в их рассуждениях происходит магия, обычно довольно сложно: когда их начинают расспрашивать, их аргументы нередко видоизменяются и ускользают. Однако всегда есть какой-то шаг, где крошечная вероятность превращается в значительную. Именно в этом месте они пытаются поверить, не имея свидетельств. Именно в этом месте они шагают в неведомое с мыслью «вы не можете доказать, что я не прав».

Их ноги проваливаются в пустоту, ведь в царстве Возможного гораздо больше пустого пространства, чем твёрдой почвы. Ах, но ведь в мире возможного эта почве всё же существует (и её бесконечно мало), так что действительно существует (бесконечно малая) вероятность наткнуться на неё случайно. Так что, возможно, именно в этот раз ваша нога попадёт куда надо. Это ведь всего лишь вероятность, так что это всего лишь предположение.

Пусть вам неизвестно точное состояние воды в стакане с кипятком. Да, именно ваше незнание этого точного состояния делает кинетическую энергию молекул «теплом», а не работой, которую можно использовать, как в случае вращающегося маховика. Поэтому с вероятностью, примерно равной нулю, вода может охладить вашу руку, а не нагреть.

Проигнорируйте термодинамику, суньте руку в кипяток и вы обожжётесь.

«Но ты не знаешь наверняка!»

Я не знаю наверняка, но я обязан ожидать, что это произойдёт. Законы теории вероятностей — это логические истины (пускай сами вероятности таковыми и не являются).

«Но что если я угадаю состояние кипящей воды и угадаю правильно?»

Вероятность угадать правильно даже меньше, чем вероятность охлаждения вашей руки кипятком.

«Но ты не можешь доказать, что я угадаю неправильно!»

Я могу (и вообще говоря, должен) назначить этому событию экстремально низкую вероятность.

«Это не то же самое, что и уверенность.»

Эй, может быть, если добавить достаточно колёс и шестерёнок в ваши рассуждения, то тёплая вода превратится в электричество и ледяные кубики! Но скорее всего вы просто перестанете понимать, почему этого не может быть.

«Действительно! Я не понимаю, почему этого не может быть! Так что, не исключено, так и будет!»

Ещё одна шестерёнка? Ваш механизм становится всё менее эффективным. Он и раньше не был вечным двигателем, а каждая дополнительная шестерёнка снижает его эффективность ещё сильнее.

Любая новая деталь в ваших рассуждениях неизбежно уменьшает общую вероятность. Вероятность того, что вы можете засунуть палец в кипяток и не обжечься, благодаря тому, что вы неизвестным образом нарушили второй закон термодинамики и, не имея свидетельств, угадали точное состояние кипящей воды, обязательно будет меньше, чем просто вероятность засунуть палец в кипяток и не обжечься.

Я проговариваю всё это, потому что люди, пытаясь поверить, не имея свидетельств, на самом деле сооружают огромные конструкции из аргументов. И нужно научиться видеть, что они в этом очень похожи на изобретателя, который добавлял к своему инерциоиду всё больше и больше шестерёнок, пока в его расчёты не закралась ошибка.

Перевод: 
sepremento, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
187
Оцените качество перевода: 
Средняя оценка: 5 (9 votes)

Поиск байесовской структуры

Элиезер Юдковский

Штурвалы1 гномов не могут работать. Кажется, сама их конструкция противоречит законам магии. По сути, гномьи штурвалы невозможны. В них встроено множество прибамбасов и наворотов — как и в практически любые творения гномьего разума, — но это не слишком способствует реальной ценности. В работающем гномьем штурвале почти всегда спрятан обычный небольшой штурвал, внешне безобидный и ненужный.

Правила для кампании по миру «Spelljammer»

Мы уже выяснили, что знание подразумевает общую информацию между разумом и его окружением, а также выяснили, что эта общая информация равна негэнтропии (именно в физическом смысле): если вы знаете, где находятся молекулы и с какой скоростью они движутся, то вы можете превратить тепло в работу с помощью демона Максвелла / двигателя Силарда.

Мы выяснили, что формирование истинных убеждений при отсутствии свидетельств невероятно в той же степени, что и превращение стакана горячей воды в кубики льда и электричество. Рациональность требует «работы»: не только в смысле усилия мысли, но и в термодинамическом смысле. Любой разум, не являющийся абсолютно эффективным, должен излучать тепло. Когнитивная работа подчиняется теории вероятностей, частным случаем которой является термодинамика. (Статистическая физика — это подвид статистики.)

Если вы видите машину, которая не подключена к розетке или иному источнику энергии, но которая крутит колесо, вы начнёте искать спрятанную батарейку или иной источник энергии неподалёку. Совершаемая работа должна как-то объясняться без нарушения законов физики.

Поэтому если разум производит истинные убеждения и мы предполагаем, что второй закон термодинамики нигде не нарушается, этот разум обязан производить что-то похожее на байесианские вычисления. Должен присутствовать хотя бы один процесс со структурой, похожей на байесианскую. Иначе разум никак не смог бы работать.

Изначально, в момент Т = 0 у разума нет общей информации с подсистемой S в его окружении. В момент Т = 1 у разума есть 10 бит общей информации с S. Где-то посредине разум должен был столкнуться со свидетельством — причём именно со свидетельством в байесовском понимании, ведь любое байесианское свидетельство — это общая информация, а любая общая информация — байесианское свидетельство, это просто разные названия одного и того же явления. Затем разум должен был обработать это свидетельство хотя бы частично, возможно, неэффективно, и обработать хоть как-то в соответствии с Байесом. Разум обязан был хотя бы немного двигаться согласно Байесу, ведь в противном случае он создал бы общую информацию из ничего и тем самым нарушил бы второй закон термодинамики.

На самом деле на любом этапе когнитивный процесс, который помогает найти истину, должен иметь хоть в какой-то степени байесовскую структуру. В той или иной точке он должен входить в гармонию с Байесом, обязан соответствовать байесовскому потоку, пусть и зашумлённому, пусть со множеством прибамбасов и наворотов. Да, эта байесовская структура может оказаться очевидной лишь в контексте окружающих процессов. Но без неё этот когнитивный процесс окажется бессмысленным.

Сколько философов билось над природой слов! Сколько чернил истрачено на истинные определения слов, на истинное значение определений и на истинное значение значения! Какие нагромождения из колёс и шестерёнок построили философы ради этих объяснений! И всё это было скрытой формой байесовского вывода!

Я был слегка разочарован, что никто из слушателей не подпрыгнул и не сказал: «Да! Точно! Конечно! Всё время это был Байес!»

Однако, возможно, разглядеть хитро спрятанного Байеса, внешне выглядящего совершенно не так как Байес, вовсе не так увлекательно, если: а) вы не распутываете клубок тайны самостоятельно, а лишь читаете о том, как это кто-то сделал (Ньютону изучать матанализ было гораздо веселее, чем современным студентам), и б) вы не понимаете, что поиск скрытой байесовской структуры есть гигантский, сложный, постоянный квест вроде поиска Святого Грааля.

Для каждой грани сознания квест всегда свой, однако Грааль всегда оказывается одним и тем же. Впрочем, это должен быть правильный Грааль и Грааль целиком, без потерянных деталей. Поэтому каждый раз нужно искать весь ответ целиком, какую форму бы он ни принял, а не пытаться искусственно создавать рукомахательные граалеподобные аргументы. Если всё сделано правильно, только тогда в конце вы обнаружите всё тот же Святой Грааль.

Раньше мне пеняли, что я пишу длинные эссе, в которых «не даю ясно понять, к чему я веду», и потому наверняка теряю некоторых читателей…

…но в подобных случаях совсем не просто объяснить людям, к чему я веду.

Практически бесполезно знать, что познание по сути своей байесовское, если вы не понимаете, каким именно образом оно байесовское. Если вы не видите отчётливо поток вероятностей, то вы всего лишь знаете пароль. Ну ладно, на самом деле у вас есть подсказка к ответу, но это далеко ещё не ответ. Именно поэтому нельзя просто воскликнуть «Байес!», а нужно уходить в Великий Поиск Тайной Байесовской Структуры. Структура часто погребена под огромным количеством ширм, скрыта за нагромождением колёс и шестерёнок, спрятана за множеством прибамбасов и наворотов.

Осознать Поиск Святого Байеса непросто. Вы узнаёте о феномене мышления XYZ, который выглядит очень полезным. Множество философов спорили веками о его природе, да и до сих пор спорят. Множество специалистов по ИИ пытаются заставить компьютер его повторить, но они тоже пока не договорились об описании с точки зрения философии…

И… Вот те на! Внешне казалось, что этот феномен мышления не имеет никакого отношения к Байесу. Но какую-то лежащую в его основе структуру можно трактовать на языке Байеса… Погодите, тут всё равно есть какая-то полезная работа, которая на языке Байеса не объясняется… Хотя нет, она тоже байесовская… О, Боже мой, вот этот совершенно иной процесс мышления, который тоже внешне не выглядел байесовским тоже байесовский по своей структуре… Секундочку, а вот эти небайесовские части вообще что-нибудь делают?

  • Да: Ух ты, они тоже байесовские!
  • Нет: О небеса, почему всё устроено так по-дурацки! Я мог бы съесть пригоршню аминокислот и отрыгнуть строение мозга лучше.

После нескольких повторений можно уловить некоторый ритм. Именно о ритме я и говорю.

Но говорить о ритме — это всё равно что танцевать архитектуру.

Отсюда и возникла загвоздка с тем, как объяснить заранее, к чему я веду. По своему опыту я знаю, что произнеси я: «Байес — это тайна Вселенной!», то некоторые люди ответят: «Да! Байес и есть тайна Вселенной!», а другие хмыкнут: «Ну и узколобый же ты! Взгляни на все эти специализированные, но удивительно полезные методы вроде регуляризации линейной регрессии, которыми я пользуюсь

Я надеялся, что если привести конкретный пример «чего-то не байесовского на поверхности, но оказывающегося байесовским в итоге», а заодно объяснить разницу между паролем и знанием, а ещё объяснить разницу между инструментами и законами, то, возможно, я смогу объяснить, как понять этот ритм так, чтобы читателю не пришлось уходить в этот поиск лично.

Разумеется, это далеко не все тайные знания Байесовского Заговора. Однако больше я пока сообщить не могу. Кроме того, секрет целиком известен лишь Совету Байеса, и если бы я его выдал, вас пришлось бы принять.

Уметь заглянуть под сиюминутную поверхность процесса мышления и увидеть под ней байесовскую структуру, воспринимать потоки вероятностей и знать не только о том, что это мышление тоже байесовское, но и понимать, почему, а также почему именно таким оно должно быть, чувствовать Силу, лежащую в основе мышления — именно в этом и заключается Байесовское Видение.

— И королева Кашфы видит оком Змея?

— Не знаю, видит ли она им. Пока она лишь оправляется после операции. Но это интересная мысль. Что она сможет узреть, если будет видеть им?

— Чистые, холодные линии вечности, полагаю. То, что под Тенью.

Роджер Желязны, «Принц Хаоса»2

  • 1. Штурвалом (англ. helm) в фэнтезийном мире Spelljammer называется устройство, позволяющее переводить магическую энергию в движение. Штурвал обычно выглядит в виде трона. — Прим. перев.
  • 2. Автор ссылается на издание Roger Zelazny, «Prince of Chaos» (Thorndike Press, 2001). Использован перевод Е. Р. Волковыского. — Прим.перев.
Перевод: 
sepremento, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
188
Оцените качество перевода: 
Средняя оценка: 3.8 (5 votes)

Основы редукционизма

Как разобрать реальность на составные части? И как жить в такой вселенной, где мы всегда жили, но без разочарования из-за того, что сложные вещи состоят из простых вещей.

Эта цепочка продолжает цепочку «Таинственные ответы на таинственные вопросы»

Материалы цепочки распространяются по лицензии CC BY-NC-SA 3.0

Автор: 
Элиезер Юдковский

Распутывание вопроса

Элиезер Юдковский

«Если дерево падает в лесу, и нет никого рядом, чтобы это услышать, — создаёт ли дерево звук?»

Я не отвечал на этот вопрос. Я не выбирал позицию «да» или «нет» и не защищал её. Вместо этого, я разобрался с тем, как человек обрабатывает слова, даже нарисовал схематическую иллюстрацию нейронной сети. В конечном итоге, я надеюсь, не осталось не только вопроса, но даже ощущения вопроса.

У множества философов, особенно у философов-любителей и философов древнего мира, есть опасный инстинкт: они пытаются ответить на любой заданный вопрос.

Например: «Есть ли у нас свобода воли?»

Опасный инстинкт философии состоит в том, чтобы выдвинуть аргументы «за» и «против», взвесить их, опубликовать их в престижном философском журнале и, наконец, заявить: «да, у нас точно есть свобода воли» или «нет, у нас точно нет свободы воли».

Некоторые философы достаточно мудры, чтобы вспомнить, что большинство философских диспутов в действительности являются спорами о смысле слова или вокруг путаницы, возникшей в результате использования разных смыслов одного слова в разных местах. Такие философы пытаются наиболее точно определить то, что они подразумевают под «свободой воли», и затем возвращаются к вопросу «Есть ли у нас свобода воли? Да или нет?».

Ещё более мудрый философ может заподозрить, что замешательство, вызванное словами «свобода воли» показывает, что понятие ущербно само по себе. Тогда он пускается путём Традиционного Рационалиста. Такой философ начинает рассуждать о том, что понятию «свобода воли» присущи самопротиворечивость или бессмысленность, потому что она не имеет никаких проверяемых последствий. А затем публикует эти сокрушительные замечания в престижном философском журнале.

Но обосновав своё замешательство вы не устраните причину проблемы. Замешательство никуда не денется. Доказательство бессмысленности вопроса поможет не более, чем ответ на него.

Инстинкт философа — найти и занять такую позицию в диспуте, которую проще всего защищать, опубликовать её и пойти дальше. Но «наивный», инстинктивный взгляд — это свойство человеческой психологии. Можно доказывать, что свобода воли невозможна, пока не погаснет Солнце, но это не даст ответа на вопрос из области когнитивистики: если свободы воли не существует, то что происходит в голове человека, который считает, что обладает ею? И это вовсе не риторический вопрос!

Люди думают, что у них есть свобода воли — это факт человеческой психологии. Поиски позиции в диспуте, которую проще всего защищать, не изменят и не объяснят этот психологический факт. Философия может привести вас к отказу от концепции, но отказ от концепции — это не то же самое, что и понимание когнитивных алгоритмов, порождающих эту концепцию.

Можно взглянуть на Стандартный Диспут на тему «Если дерево падает в лесу, и нет никого рядом, чтобы это услышать, — создаёт ли дерево звук?», и поступить в стиле Традиционного Рационалиста — отметить факт, что спорщики не ожидают каких-либо расхождений в наблюдениях, и ликующе объявить, что спор бессмыслен. В данном случае это действительно так, но остаётся вопрос из области когнитивистики: почему спорщики вообще сделали эту ошибку?

Ключевая идея программы изучения эвристик и предвзятостей в том, что ошибки, которые мы делаем, чаще говорят гораздо больше о наших когнитивных алгоритмах, нежели о правильных ответах. Так (однажды спросил я сам себя) каким должно быть устройство разума, чтобы впадать в ошибку спора о деревьях, падающих в безлюдных лесах?

Когнитивные алгоритмы, которые мы используем, — это наш способ воспринимать мир. И эти когнитивные алгоритмы могут не точь-в-точь соответствовать реальности. Они могут не соответствовать даже макроскопический реальности, не говоря уж об истинных кварках. Эти когнитивные алгоритмы могут порождать искажённое восприятие мира.

Например, может существовать обособленный узел в центре нейронной сети, который не соответствует ни реальному явлению, ни какому-либо реальному свойству реального явления, встречающемуся в реальном мире. Существование подобных узлов зачастую оправдано тем, что с их помощью мы можем упрощать вычисления» (Метафорически говоря. На самом деле, человеческая нейробиология гораздо сложнее.)

Этот обособленный узел оставляет ощущение нерешённого вопроса, даже после того, как были получены ответы на все подвопросы, на которые только можно было ответить. Не важно, как сильно кто-то старается доказать, что ответ никак не повлияет на ожидаемый опыт — вы всё равно продолжаете задаваться вопросом «И всё же, производит падающее дерево звук или нет?».

Но все вопросы будут сняты, как только вы поймёте в деталях, почему и как ваш мозг создаёт это чувство вопроса, как только вы осознаете, что чувство неотвеченного вопроса соответствует иллюзорному центральному узлу нейронной сети, который не знает, возбуждаться ему или нет, несмотря на то, что все окружающие его узлы уже перешли в определённые состояния. Или ещё лучше, если вы поймёте принципы работы наивного байесовского метода. Не останется ни тянущегося чувства замешательства, ни неясного ощущения неудовлетворённости.

Если же тянущееся чувство наличия неотвеченного вопроса остаётся, или кажется, что вы заговариваете себе зубы, то это знак, что вы не разложили вопрос. Неясное ощущение неудовлетворённости должно предостерегать не хуже окрика. От вопроса, который действительно был распутан и разложен на составляющие, не остаётся ничего.

Ликующе-громогласное отрицание свободы воли, абсолютно неоспоримое доказательство того, что свобода воли не может существовать, кажущееся вполне удовлетворяющим — это крики «ура!» домашней команде(english). В таком случае можно и не заметить, что с точки зрения когнитивистики так и не было получено удовлетворительного объяснения, описывающего по шагам то, как возникает каждое интуитивное ощущение.

Может даже захотеться не признавать своё непонимание, ведь это будет восприниматься как очки не в пользу вашей команды. Если признать во время разноса неразумных верований в свободу воли, что осталось что-то неразъяснённое, то это может показаться уступкой противнику.

Так можно когда-нибудь прийти к какому-нибудь само собой разумеющемуся(english) утверждению из области эволюционной психологии. Например, что древние племена, верившие в свободу воли, были более склонны иметь позитивные взгляды на мир и, следовательно, иметь большее потомство, чем другие племена — что, разумеется, полная чушь. Говорящий так утверждает, что мозг создаёт иллюзию свободы воли, но не объясняет, как именно мозг это делает. Можно попытаться победить оппозицию, подрывая её посылки, но в таком объяснении иллюзия свободы воли принимается как свершившийся факт. Сама же иллюзия так и не была разобрана на части.

Представьте, что в Стандартном Диспуте о дереве, падающем в безлюдном лесу, вы сначала показали, что нет никакой разницы в ожиданиях, а затем стали размышлять: «Возможно, что те люди, которые говорили о бессмысленности споров, воспринимались как согласившиеся с правотой оппонента и теряли свой социальный статус. Поэтому среди нас закрепился инстинкт спорить о смысле слов». Это утверждение о том, что замешательство существует и объяснение-почему оно возникает. Взгляните теперь на структуру нейронной сети в эссе «Ощути смысл» – это объяснение-как, разбор замешательства на более мелкие части, каждая из которых не вызывает замешательства сама по себе. Поняли разницу?

Найти хорошую гипотезу о когнитивных алгоритмах (или хотя бы гипотезы, которые не развалятся за полсекунды) — гораздо сложнее, чем просто опровергнуть философское замешательство. В самом деле, это это совершенно иное искусство. Держите это в уме, и будете меньше смущаться, произнося слова «Я знаю, что то, что вы говорите, не может быть истиной, и я могу доказать это. Но я не могу написать блок-схему, которая покажет, как ваш мозг совершает ошибку, и это значит, что мне нужно продолжать разбираться».

Я говорю это, потому что иногда мне кажется, что как минимум 20% реальной эффективности тренированного рационалиста проистекает из того, что он не останавливается слишком рано. Если вы продолжите задавать вопросы, то рано или поздно вы доберётесь до пункта назначения. И наоборот, вы не доберётесь, если слишком рано решите, что ответ найден.

Важнее всего заметить своё замешательство. Даже если оно еле заметно. Даже если кто-то рядом с вами настаивает, что у людей есть свобода воли, и ухмыляется, а то, что вы не знаете в точности, как именно работают когнитивные алгоритмы, ничем не может помочь справиться с ужасающей глупостью его мнения.

Но, когда вы разобрали когнитивный алгоритм на детали в достаточной мере для того, чтобы проследить весь процесс мысли шаг за шагом и описать, как возникает каждое интуитивное восприятие — то есть, разобрать замешательство на более мелкие части, которые сами по себе не вызывают замешательства — то вы справились с вопросом.

Будьте готовы к тому, что вы можете поверить в то, что вы справились, когда на самом деле вы всего лишь ликующе опровергли ошибку.

Но когда вы действительно справитесь, вы узнаете об этом. Распутывание вопроса вызывает чувство, которое вы ни с чем не спутаете, после того как столкнётесь с ним впервые, и столкнувшись с ним, решите не попадать впросак снова. Спящие не знают, что они спят, но когда вы проснётесь, вы поймёте, что не спите(english).

То есть: когда вы справились с задачей, вы узнаете, что вы с ней справились, но, к сожалению, не наоборот.

Вот домашнее задание: в соответствии с тем, как алгоритм ощущается изнутри, определить, как устроен когнитивный алгоритм, которым порождён приведённый выше спор о «свободе воли».

Ваша задача не спорить о том, есть ли у людей свобода воли или нет.

Ваша задача не рассуждать о том, совместима ли свобода воли с детерминизмом или нет.

Ваша задача не доказывать, что вопрос плохо поставлен, или что концепция противоречива, или что нет проверяемых следствий.

Вам не следует придумывать эволюционное объяснение тому, как размножались люди, верившие в свободу воли, или рассуждать о том, что концепция свободы воли выглядит подозрительно совпадающей с некоторым искажением X. Всё это будет всего лишь объяснением-почему люди верят в «свободу воли», а не объяснением-как они это делают.

Ваше домашнее задание — проследить и выписать список вызовов функций1 внутренних алгоритмов человеческого ума, по мере того, как ими порождается интуиция, питающая весь этот чёртов философский спор.

Это один из первых настоящих вызовов, с которым я, как целеустремлённый рационалист, когда-то столкнулся. Относительно прочих эта головоломка довольно проста. Пусть она послужит и вам.

  • 1. В оригинале «stack trace» – Прим.перев.
Перевод: 
kuuff
Номер в книге "Рациональность: от ИИ до зомби": 
189
Оцените качество перевода: 
Средняя оценка: 4 (8 votes)

Неверные вопросы

Элиезер Юдковский

Когда мозг вгрызается в проблему под неверным углом, он начинает задавать «неверные вопросы» — вопросы, на которые невозможно дать ответ в терминах вопроса. Такие вопросы можно лишь распутать, разложить на составляющие, выяснив какой когнитивный алгоритм порождает «ощущение» вопроса, и каким образом он это делает.

Отличным намёком на то, что вы столкнулись с «неверным вопросом» является то, что вы не можете даже представить какое-нибудь определённое специфическое устройство мира, которое бы дало ответ на этот вопрос. Когда такое случается, не видно самой возможности найти ответ.

Возьмите, например, Стандартный Спор об Определениях о дереве, падающем в заброшенном лесу. Можно ли представить себе какое-нибудь устройство этого мира, какое-нибудь положение дел, при котором слово «звук» действительно означает только акустические вибрации или действительно означает только пережитый опыт восприятия звука?

(Кто-то может сказать: «Да, это такое положение дел, при котором слово «звук» означает акустические вибрации». В таком случае, табуируйте слова «означает», «представляет» и все похожие синонимы, и попробуйте описать заново: каким должен быть мир, чтобы одна из сторон была бы права, а другая ошибалась?)

Или, если это кажется слишком просто, рассмотрите свободу воли: какое конкретное положение дел — в детерминированной физике или в физике со случайным компонентом — может соответствовать наличию свободы воли?

Если же и это выглядит слишком просто, то рассмотрите вопрос «Почему всё существует?» и расскажите мне, как может выглядеть удовлетворительный ответ на этот вопрос.

На всякий случай отмечу: я не знаю ответа на последний вопрос. Но (основываясь на моём предыдущем опыте столкновений с вопросами без ответов) я могу предположить. Ответ не включает в себя великую и триумфальную Первопричину. Вопрос растворится в результате какого-то озарения о том, как алгоритмы мышления проскочили мимо реальности, после чего я пойму, почему вопрос был ошибочным с самого начала; я увижу, как ошибка алгоритмов отразилась в вопросе.

Загадка существует в голове, вовсе не в реальности. Если я не знаю о каком-либо явлении, то это говорит о состоянии моего ума, не о самом явлении. И более того, если невозможно представить себе существование ответа, то это означает, что замешательство существует на карте, не на территории. Вопросы без ответов не отмечают те места, где магия проникает во вселенную. Они помечают места, где ваш разум «промахивается» мимо реальности, где он искажает её.

Некоторые вопросы должны быть распутаны. Плохие вещи случатся, когда вы пытаетесь ответить на них. Такие попытки неизбежно порождают наихудший сорт таинственных ответов на таинственные вопросы, тот, который даёт выглядящие сильными аргументы для вашего Таинственного Вопроса, но «ответ» не позволяет вам делать каких-либо новых предсказаний даже задним числом, и явление продолжает носить ту же священную необъяснимость, которую оно имело с самого начала.

Я могу предположить, как мог бы выглядеть ответ на загадку Первопричины: ничто не существует, сама концепция существования ошибочна. Но если вы искренне поверите в это, то уменьшит ли это ваше замешательство? Вряд ли. И мне тоже это не помогает.

Но у вопросов без ответа есть одно замечательное свойство: они всегда разрешимы (по-крайней мере все, с которыми я сталкивался, имели это свойство). Какая мысль первой пришла в голову Королеве Елизавете I, первая её мысль с утра, когда она проснулась в её сороковой день рождения? В то время, как я могу представить себе возможные ответы на этот вопрос, я с готовностью вижу, что я, быть может, никогда не смогу фактически на него ответить — истина была утеряна во времени.

С другой стороны, вопрос «Почему всё существует?» выглядит настолько невозможным, что я могу сделать вывод, что я в замешательстве, а значит, вероятно, истина далеко не столь переусложнена в абсолютном смысле, и я смогу её увидеть, как только озадаченность уйдёт.

Это может выглядеть контринтуитивным, если вам не доводилось решать вопрос без ответа, но я заверяю вас, что именно так всё и есть.

Ждите завтра: простой трюк для работы с «ошибочными вопросами».

Перевод: 
kuuff
Номер в книге "Рациональность: от ИИ до зомби": 
190
Оцените качество перевода: 
Средняя оценка: 5 (3 votes)

Исправление неверного вопроса

Элиезер Юдковский

Когда вы сталкиваетесь с безответным вопросом — с вопросом, на который кажется невозможным даже представить ответ — существует простой приём, который может сделать вопрос решаемым.

Сравните:

  • Почему у меня есть свобода воли?
  • Почему я думаю, что у меня есть свобода воли?

У второго вопроса есть очень приятное свойство: он гарантированно имеет самый настоящий ответ, вне зависимости от того, существует ли свобода воли или нет. Задавая себе вопрос «почему у меня есть свобода воли?» или «есть ли у меня свобода воли», вы начинаете искать ответ в деталях физических законов, которые настолько удалены от макроскопического уровня, что вы даже не можете их увидеть невооружённым взглядом. То есть, вы спрашиваете «почему существует X», в то время как X может вообще не иметь отношения к делу, не говоря уж о том, что он может не иметь места.

В то же время, вопрос «почему я думаю, что у меня есть свобода воли» гарантированно имеет ответ. Вы в действительности верите в свободу воли. Эта вера выглядит гораздо более цельной и понятной, чем эфемерность свободы воли. И в действительности существует некая цельная цепочка когнитивных причин и следствий, ведущих к этой вере.

Если вы уже переросли вопросы свободы воли, то выберите что-нибудь на замену:

  • «почему время движется вперёд, а не назад» против «почему я думаю, что время движется вперёд, а не назад»
  • «почему я родился собой, а не кем-нибудь ещё» против «почему я думаю, что я родился собой, а не кем-нибудь ещё»
  • «почему я обладаю сознанием» против «почему я думаю, что обладаю сознанием»
  • «почему реальность существует» против «почему я думаю, что реальность существует?»

Прелесть метода в том, что он работает вне зависимости от того, содержит ли вопрос в себе замешательство или нет. Я набираю эти слова, и на моих ногах одеты носки. Я могу спросить «почему на моих ногах надеты носки» или «почему я думаю, что на моих ногах надеты носки». Допустим, я задал второй вопрос. Отслеживая назад причинно-следственную цепочку я выясню, что:

  • я думаю, что на моих ногах надеты носки, потому что я вижу носки на ногах;
  • я вижу носки, потому что моя сетчатка посылает сигналы о носках зрительной коре моего головного мозга;
  • моя сетчатка посылает сигналы о носках, потому что свет проецируется на сетчатку в форме носков;
  • свет проецируется на сетчатку в форме носков, потому что он отражается от носков, которые надеты на мои ноги;
  • он отражается от носков, потому что надеты носки;
  • носки надеты, потому что я их надел;
  • я надел носки, потому что полагал, что иначе моим ногам будет холодно;
  • и так далее.

Отслеживая назад причинно-следственную цепочку шаг за шагом, я выясняю, что моя вера в то, что на моих ногах надеты носки, полностью объясняется тем, что на моих ногах надеты носки. Это правильно, так и должно быть, потому что вы не можете получить информацию о чём либо, не взаимодействуя с ним.

С другой стороны, если я вижу мираж озера в пустыне, то правильное причинное объяснение моего видения не будет включать в себя факт наличия настоящего озера в пустыне. В этом случае, моя вера в существование озера не просто объясняется, но разобъясняется.

Но в любом случае вера оказывается реальным явлением, имеющим место в реальном мире: психологические события — тоже события, и их причинно-следственная история может быть отслежена назад к исходной причине, вызвавшей их.

Вопрос «откуда взялось озеро посреди пустыни» может остаться без ответа, если на самом деле нет никакого озера, которое нужно объяснять. Но «почему я ощущаю озеро посреди пустыни» всегда можно объяснить тем или иным образом.

Возможно кто-нибудь увидит возможность показаться умным и скажет «Хорошо. Я верю в свободу воли потому, что у меня есть свобода воли». Конечно же, всё не столь просто.

Моё восприятие носков на моих ногах — это событие в зрительной коре головного мозга. Работа зрительной коры может быть исследована когнитивистикой и не должна вызывать замешательства.

Моя сетчатка воспринимает свет, и это не какой-то мистический процесс возникновения ощущения, не магический детектор носков, который срабатывает в присутствии носков необъяснимым образом. Это работа механизмов, которые могут быть объяснены в рамках биологии. Фотоны падают на сетчатку, и это можно объяснить в рамках оптики. Отражение света носками можно объяснить в рамках электромагнетизма и химии. Охлаждение моих ног можно объяснить в рамках термодинамики.

Таким образом, всё несколько сложнее, чем заявить «я верю в свободу воли потому, что она у меня есть». Вам придётся разбить причинно-следственную цепочку на отдельные звенья, и объяснить каждое в терминах, которые сами по себе не вызывают замешательства.

Взаимодействие сетчатки с носками вполне понятно и может быть объяснено в терминах компонентов, типа фотонов и электронов, которые не вызывают замешательства. Где в мозге находится детектор свободы воли, и как он определяет наличие или отсутствие свободы воли? Как детектор взаимодействует с детектируемым событием и какова механика этого взаимодействия?

Если ваша вера не проистекает из действительных наблюдений реального явления, мы рано или поздно выясним этот факт, если начнём отслеживать причинно-следственную цепочку, ведущую к вашей вере.

Если вы действительно замечаете своё замешательство, то отслеживание причинно-следственной цепочки найдёт тот алгоритм, который искажает реальность.

В любом случае, вопрос гарантированно имеет ответ. Более того, есть отличное и вполне определённое место, с которого можно начать отслеживать свои убеждения, место, находящееся непосредственно в вашей голове.

Когнитивистика, быть может, не выглядит настолько возвышенно, как метафизика. Но, по-крайней мере, вопросы когнитивистики решаемы. Поиск ответа может не быть простым, но, по-крайней мере, ответ существует.

А, и да: мысль о том, что когнитивистика не столь возвышенна и восхитительна как метафизика элементарно не верна. Я надеюсь, что некоторые читатели начинают замечать это.

Перевод: 
kuuff
Номер в книге "Рациональность: от ИИ до зомби": 
191
Оцените качество перевода: 
Средняя оценка: 4.3 (9 votes)

Ошибка проецирования ума

Элиезер Юдковский

Картинка с монстром и женщиной
В дни зарождения научной фантастики инопланетные захватчики могли при случае похитить девушку в порванном платье и утащить её с намерением изнасиловать, что было с любовью изображено на многих старых обложках журнала. Несколько странно, что при этом инопланетяне никогда не охотились за мужчинами в порванных рубахах.

Будет ли негуманоидный пришелец с совершенно иной эволюционной историей и эволюционной психологией воспринимать человеческую самку сексуально привлекательной? Это выглядит, как минимум, весьма маловероятным.

Люди не совершают подобных ошибок, когда делают выводы обдуманно. «Все возможные разумы, скорее всего, устроены, в общем, похожим образом, поэтому монстр с фасеточными глазами сочтёт человеческую самку привлекательной». Вероятно, художник даже не задумался о вопросе, будет ли пришелец воспринимать человеческих самок привлекательными. Вместо этого: «человеческая самка в порванном платье сексуальна» — это им свойственно, это их существенное, неотъемлемое и врождённое свойство.

Тот, кто совершил ошибку, не думал об эволюционной истории пришельцев, они фокусировались на порванном платье женщины. Если бы платье не было бы порвано, то женщина была бы менее сексуальна, монстр-пришелец не заинтересовался бы ею.

Очевидно, что мы инстинктивно представляем Сексуальность как прямой атрибут объекта Женщина, типа Женщина.сексуальность, так же как и Женщина.высота, Женщина.вес.

Если мозг использует эту структуру данных или какую-то метафорически схожую, то изнутри кажется, что сексуальность — это врождённое свойство женщины, а не свойство пришельца, который разглядывает женщину. Женщина привлекательна, а значит монстр будет испытывать влечение к ней — логично, не так ли?

Э. Т. Джейнс использовал термин ошибка проецирования ума, чтобы обозначить ошибку проецирования свойств ума наблюдателя на внешний мир. Джейнса — ныне покойного гроссмейстера Байесовского Заговора — больше всего заботило неверное обращение с вероятностями как врождёнными свойствами объектов, нежели с состоянием частичного знания в некоем конкретном уме.

Но ошибка проецирования ума проявляет себя не только по отношению к вероятностям. Это аргумент против спора о настоящем значении слова «звук», против изображения на обложке журнала монстра несущего женщину в порванном платье, против заявления Канта о том, что пространство плоское по своей природе1, против определения, которое дал Юм априорным идеям, которые «порождаются исключительно работой ума, вне зависимости от существания чего-либо во вселенной».

(Как-то раз я читал в научной фантастике рассказ про самца человека, который имел сексуальные отношения с разумным инопланетным растением, имеющим соответствующе мягкие листья, и впоследствии внезапно обнаружившем, что это был мужской экземпляр растения. Некоторое время мужчина переживал из-за этого, но в конечном итоге решил, что это уже не имеет никакого значения. И у Фоглио с Полоттой во «Внезапном вторжении» люди высаживаются на планету, населённую разумными насекомыми, и видят трейлер показывающий человека, который утаскивает жука в пикантном шёлковом платье. Просто вдруг вспомнилось.)

  • 1. В оригинале «space by its very nature is flat». — Прим. перев.
Перевод: 
kuuff
Номер в книге "Рациональность: от ИИ до зомби": 
192
Оцените качество перевода: 
Средняя оценка: 4.9 (7 votes)

Вероятность находится в голове

Элиезер Юдковский

Вчера я говорил об ошибке проецирования ума, рассматривая пример монстра-пришельца, который уносил девушку в порванном платье, об ошибке, которую я приписал тому, что художник думал о сексуальности женщины как о свойстве самой женщины, женщина.сексуальность, а не о чём-то, что существует исключительно в голове наблюдателя и, вероятно, не существует в голове пришельца.

Термин «ошибка проецирования ума» был введён великим покойным мастером байесианства Э. Т. Джейнсом. Джейнс полагал, что вероятности существуют в уме — не в окружении, — что вероятности выражают незнание, состояние частичной информации, и если я не знаю что-либо о явлении, то это говорит о состоянии моего ума, и ничего не говорит о явлении.

Я не могу отдать должное этому древнему спору, оставаясь при этом кратким, но я приведу классический пример.
У вас есть монета.
Монета несимметрична.
Вы не знаете, какая именно сторона выпадает чаще и насколько чаще. Кто-то сказал вам о том, что монета несимметрична и ничего больше.
Больше никакой информации у вас нет.

Вы вытаскиваете монету, подкидываете её, ловите.

А теперь, прежде чем убрать руку и взглянуть на результат, можете ли вы сказать, что вы приписываете вероятность 0,5 тому, что монета упала орлом?

Частотник (сторонник частотного определения вероятности — прим. перев.) скажет: «Нет. Сказать, что вероятность равна 0,5, значит подразумевать, что монета имеет неотъемлемое свойство падать орлом так же часто, как и решкой, а значит, если мы подкинем монету бесконечное число раз, то отношение орлов и решек будет стремиться к 1:1. Но мы знаем, что монета несимметрична, поэтому она может иметь любую вероятность выпадения орла кроме 0,5».

Байесианец же скажет: «Неопределённость существует на карте, не на территории. В реальном мире монета выпадет либо орлом, либо решкой. Любой разговор о вероятности должен отражать ту информацию, которую я имею о монете — моё состояние частичного незнания и частичного знания, — а не какую-то там информацию о монете. Более того, у меня есть теоремы на любой вкус, показывающие, что если я не буду рассматривать моё частичное знание определённым образом(English), то я буду делать глупые ставки. Если мне придётся учитывать результат броска монеты при составлении плана, то я буду планировать исходя из состояния неопределённости 50:50, в котором я не могу сказать, что исходы, при которых выпадают орлы, имеют больший вес, чем исходы, при которых выпадают решки. Вы можете называть это число как угодно, но я не намерен подчиняться законам теории вероятностей из страха показаться глупым. Таким образом, я не испытываю ни малейшей нерешительности, когда называю такое взвешивание исходов вероятностью».

Я на стороне байесианцев. Вы могли это уже заметить.

Ещё до того, как симметричная монета подброшена в воздух, мнение о том, что она имеет неотъемлемую вероятность 50% упасть орлом может быть элементарно ошибочно. Может быть вы держите монету таким образом, что она гарантированно упадёт орлом или решкой, при данной силе, с которой вы подбрасываете её, и при данных движениях воздуха вокруг вас. Но если вы не знаете каким образом смещены вероятности монеты в данном конкретном случае, то что?

Если я не ошибаюсь, было судебное разбирательство, в котором истец предъявлял претензии организаторам лотереи: карточки с именами участников не были перемешаны достаточно тщательно и поэтому шансы были не равны. Судья выслушал и спросил: «Кто именно имел больше шансов?»

Чтобы сделать эксперимент с монеткой повторяемым, как того имеют обыкновение требовать частотники, мы можем создать автоматический подбрасыватель монет и убедиться, что результаты 50% орлов и 50% решек. Но, быть может, робот с особо чувствительными глазами и хорошим пониманием физики сможет, наблюдая за приготовлениями автоподбрасывателя, предсказать падение монеты заранее — пускай и не совершенно определённо, но, допустим, с точностью 90%. И чем тогда будет настоящая вероятность в этом случае?

Не существует «настоящей вероятности». Робот имеет какую-то частичную информацию. Вы имеете другую частичную информацию. Монета не имеет ума и не владеет никакой информацией, она не назначает никаких вероятностей, она просто взлетает в воздух, переворачивается несколько раз, сталкиваясь с каким-то количеством молекул воздуха, а затем приземляется либо орлом, либо решкой.

Это байесианская точка зрения, и я, пожалуй, покажу несколько классических головоломок, которые обретают свою головоломность из-за склонности думать о вероятностях как о неотъемлемых свойствах объектов.

Начнём со старой классики: вы встретили на улице математика и она случайно упомянула, что у неё два ребёнка. Вы спросили: «Хотя бы один из них мальчик?» Она ответила: «Да».

Какова вероятность того, что она родила двоих мальчиков? Если вы предположите, что вероятность того, что ребёнок — мальчик, равна 1/2, то вероятность того, что у неё два мальчика равна 1/3. Априорные вероятности такие: 1/4 для двух мальчиков, 1/2 для мальчика и девочки, 1/4 для двух девочек. Ответ математика «да» имеет вероятность ~1 в первых двух случаях и ~0 в третьем. Перенормируя вероятности мы получаем 1/3 вероятности двух мальчиков, и 2/3 вероятности мальчика с девочкой.

Предположим теперь, что вы задали другой вопрос: «Старший ребёнок — мальчик?», и математик ответила: «Да». Тогда вероятность того, что у математика два мальчика будет равна 1/2. Поскольку старший ребёнок — мальчик, а младший может быть кем ему нравится.

То же самое, если бы вы спросили: «Младший ребёнок — мальчик?». Вероятность двоих мальчиков опять же 1/2.

В этом случае, если хотя бы один ребёнок — мальчик, то он должен быть либо старшим, либо младшим. Так каким образом ответ в первом случае отличается от ответа в двух других?

Есть другой похожий пример: допустим, у меня есть четыре карты — туз червей, туз пик, двойка червей и двойка пик. Я беру из них в руку две карты случайным образом. Вы спрашиваете меня: «Держишь ли ты хотя бы одного туза?» и я отвечаю: «Да». Какова вероятность того, что я держу пару тузов? Ответ: 1/5. Существует шесть различных комбинаций из двух карт с равной априорной вероятностью, и вы исключили возможность, что я держу пару двоек. Из пяти оставшихся комбинаций только одна является парой тузов. Таким образом ответ: 1/5.

Теперь предположим, что вы спросили меня: «Держишь ли ты туза пик?» Если я отвечу «да», то вероятность того, что другая карта — туз червей равна 1/3. (Вы знаете, что я держу туза пик, и существует три возможных варианта для другой карты, туз червей — ровно один из них.) Точно так же, если вы спросите меня «Держишь ли ты туза червей?» и я отвечу «да», то вероятность того, что я держу пару тузов равна 1/3.

Но как такое может быть, если в случае вопроса «Держишь ли ты по крайней мере одного туза?» и ответа «Да», вероятность того, что я имею пару была 1/5? Я должен был держать либо туза пик, либо туза червей, как вы знали; и в любом случае вероятность того, что я держу пару тузов равна 1/3.

Как такое может быть? Может я вычитал какие-то вероятности неверно?

Если вы хотите выяснить это самостоятельно, то сделайте это сейчас, потому что я собираюсь раскрыть…

Все указанные расчёты верны.

Что же до парадокса, то его нет. Видимость парадокса возникает из-за того, что вероятности рассматриваются как свойства карт. Туз, которого я держу, может иметь масть либо червей, либо пик; но это не означает, что ваше знание о моих карт должно быть одинаковым, если вы знаете, что я держу червей, или вы знаете, что я держу пики.

Тут может помочь теорема Байеса:

P(H|E) = P(E|H)P(H) / P(E)

Последняя часть, где вы делите на P(E) — это часть, где вы отбрасываете все остальные возможности, которые были исключены и перенормируете ваши вероятности к тому, что осталось.

Давайте рассмотрим вопрос «Держишь ли ты по крайней мере одного туза?». Прежде чем я ответил, ваша вероятность того, что я скажу «да» должна была быть 5/6.

Но если вы спросили меня «держишь ли ты туза пик?», то ваши априорная вероятность того, что я скажу «да», всего лишь 1/2.

То есть, как вы видите, вы узнаёте весьма разные вещи в этих двух разных случаях. Вам придётся исключать и перенормировать какие-то различные возможности, используя разную P(E). Если вы узнаете разные свидетельства, то вам не следует удивляться, если в результате вы приходите к разной частичной информации.

Точно так же, если я спросил математика: «Есть ли среди твоих детей мальчик?», то я ожидал услышать «Да» с вероятностью 3/4, но если бы я спросил: «Старший ребёнок — мальчик?», то я бы ожидал услышать «да» с вероятностью 1/2. Таким образом, совершенно неудивительно, что я пришёл к разному частичному знанию, зависящему от того, какой именно из этих двух вопросов я задал.

Единственная причина того, почему видится парадокс, в том, что вероятность пары тузов рассматривается как свойство карт которые имеют, по крайней мере, одного туза, или как свойство карт, которые, как выясняется, содержат туза пик. В этом случае, для набора карт, имеющего по крайней мере одного туза, было бы парадоксальным иметь прирождённую вероятность пары равную 1/5, в то время как наборы карт, имеющие одного туза пик, имеют прирождённую вероятность пары равную 1/3, и наборы карт, имеющие туза червей, имеют прирождённую вероятность пары 1/3.

Точно так же, если вы считаете о вероятности 1/3 того, что оба ребёнка мальчики, что это прирождённое свойство наборов детей, которые включают хотя бы одного мальчика, то это не совместимо с наборами детей, из которых старший — мальчик, имеющими прирождённую вероятность 1/2 того, что оба мальчики, также как и наборы детей, имеющие младшего мальчика, имеют врождённую вероятность того, что оба — мальчики. Это было бы тоже самое, что и сказать: «Все зелёные яблоки весят по фунту, все красные яблоки весят по фунту, и все яблоки, которые зелёные или красные, весят по полфунта».

Это то, что случается, когда вы начинаете думать о вероятностях как о чём-то, что содержится в вещи, вместо того, чтобы рассматривать вероятности как отражение частичной информации о вещи.

Вероятности описывают неопределённость. Но неопределённость существует лишь для агентов. Пустая карта не соответствует пустой территории. Незнание существует в голове.

Перевод: 
kuuff
Номер в книге "Рациональность: от ИИ до зомби": 
193
Оцените качество перевода: 
Средняя оценка: 4.2 (9 votes)

Цитата — не референт

Элиезер Юдковский

В классической логике операциональное определение тождества означает, что если 'A=B' — теорема, то вы можете заменить 'B' на 'A' в любой теореме, где используется 'B'. Например, если (2 + 2) = 4 — теорема, и ((2 + 2) + 3) = 7 — теорема, то (4 + 3) = 7 — тоже теорема.

Это приводит к проблеме, которую обычно выражают словами: утренняя звезда и вечерняя звезда оказываются одним и тем же объектом, планетой Венера. Предположим, что Джон знает, что утренняя звезда и вечерняя звезда — это один и тот же объект. Мэри же полагает, что утренняя звезда — это бог Люцифер, а вечерняя звезда — это богиня Венера. Джон знает, что Мэри считает, что утренняя звезда — Люцифер. Должен ли Джон поэтому (по правилу подстановки) считать, что Мэри верит в то, что вечерняя звезда — это Люцифер?

Или даже более простая версия этой проблемы. 2 + 2 = 4 — это истина, то есть (((2 + 2) = 4) = ИСТИНА) — это теорема. Последняя теорема Ферма — тоже истина. Таким образом: я верю в то, что 2 + 2 = 4 => я верю в ИСТИНУ => я верю в последнюю теорему Ферма.

Да, я знаю, это выглядит очевидно неверным. Но представьте себе, что кто-то пишет программу логического вывода, использующую принцип «равные термины можно подставлять», и программа выдаёт такой результат. Теперь представьте, что программист пишет статью о том, как избежать этого. Теперь представьте, что кто-то ещё не соглашается с предложенным решением… Спор до сих пор продолжается.

Я лично сказал бы, что Джон совершает ошибку типизации, вроде попытки вычесть 5 граммов из 20 метров. «Утренняя звезда» — не то же самое, что утренняя звезда, хотя и одна и та же вещь. Убеждение — не планета.


утренняя звезда = вечерняя звезда
«утренняя звезда» ≠ «вечерняя звезда»

На мой взгляд, проблема проистекает из-за того, что не удалось корректно провести разницу между убеждениями и вещами. Исходная ошибка была в том, что ИИ хранит свои убеждения об убеждениях Мэри об «утренней звезде», используя то же представление, как и для убеждений об утренней звезде.

Если Мэри верит, что «утренняя звезда» — это Люцифер, это не означает, что Мэри верит в то, что «вечерняя звезда» — это Люцифер, потому что «утренняя звезда» ≠ «вечерняя звезда». Весь парадокс возникает из-за того, что в нужных местах не поставлены кавычки.

Вы, быть может, помните, что я не впервые говорю о введении дисциплины использования типизации — последний раз я об этом говорил, когда рассуждал об ошибке, к которой приводит неразличение выгоды и ожидаемой выгоды. При изучении физики безмерно полезно отслеживать единицы измерений — может выглядеть утомительным писать «см» и «кг», но только до тех пор, пока вы не заметите, что (а) ваш ответ выглядит ошибочным на порядок и (б) он выражен в секундах на квадратный грамм.

Точно так же, убеждения — это не то же самое, что и планеты. Если мы говорим о человеческих убеждений, то, как минимум, определённым является то, что убеждения находятся в голове, а планеты в космосе. Убеждения весят несколько микрограмм, планеты же весят гораздо больше. Планеты больше, чем убеждения… ну, вы поняли идею.

Кажется недостаточным заключить в кавычки «утреннюю звезду», чтобы предотвратить путаницу, потому что для людей текст будет выглядеть похожим. Поэтому, быть может, лучшим способом ввести типизационную дисциплину будет использование визуально различных способов кодирования:


утренняя звезда = вечерняя звезда
21.20.18.06.15.15.33.33.00.09.03.06.09.05.01 ≠ 03.06.25.06.18.15.33.33.00.09.03.06.09.05.01

Изучение математической логики также может помочь научиться различать цитату и референт. В математической логике |- P (P — теорема) и |- []'P' (доказуемо, что существует кодированное доказательство кодированного утверждения P в какой-то кодированной системе доказательств) — это очень разные утверждения. Если вы снизите уровень «цитирования» в математической логике, то это примерно то же, что и опустить единицу измерения — в результате вы можете получить нелепые результаты, типа «скорость света равна 299 792 458 метрам».

Альфред Тарский однажды попытался определить значение «истины», используя бесконечную последовательность предложений:


(«Снег — белый» — это истина) тогда и только тогда, когда (снег — белый)

(«Хорьки зелёные» — это истина) тогда и только тогда, когда (хорьки зелёные)

Когда предложения типа этих начнут выглядеть в ваших глазах осмысленными, вы начнёте различать закодированные утверждения и состояния окружающего мира.

Похожим образом, понятие истины весьма отличается от понятия реальности. Говоря «истина» мы сравниваем убеждение с реальностью. Но реальность не станет реальнее от того, что её сравнили с убеждением, ей вовсе не нужны никакие сравнения для того, чтобы быть реальной. Помните об этом, когда вам в следующий раз придётся услышать утверждение, что ничто не является истинным.

Перевод: 
kuuff
Номер в книге "Рациональность: от ИИ до зомби": 
194
Оцените качество перевода: 
Средняя оценка: 5 (3 votes)

Качественное замешательство

Элиезер Юдковский

Я полагаю, что основной причиной путаницы между «убеждением», «истиной» и «реальностью» является качественное мышление об убеждениях.

Давайте рассмотрим типичную постмодернистскую попытку поумничать:

«Солнце вращается вокруг Земли» — истина для Ханги Охотника-собирателя, но «Земля вращается вокруг Солнца» — истина для Эмары Астронома! Разные общества имеют разные истины!

Нет. Разные общества имеют разные убеждения. Убеждения имеют другой тип, нежели истина, это как сравнивать яблоки с вероятностями.

Ах, но ведь нет никакой разницы между тем, как ты используешь слово «убеждение» и как ты используешь слово «истина»! Вне зависимости от того, говоришь ли ты «я убеждён, что снег белый» или «снег белый — это истина», ты выражаешь одно и то же мнение.

Нет. Эти предложения означают довольно-таки разные вещи, они передают разницу в том, как я ”ощущаю” вероятность того, что мои убеждения — ложь.

О… Ты утверждаешь, что ты ощущаешь, но ты не веришь в это. Как сказал Витгенштейн, «если бы существовал глагол, означающий „ошибочно верить“, то он бы не имел никакого значащего первого лица, настоящего времени изъявительного наклонения».

И вот как раз то, что я имею в виду, разговаривая о качественном рассуждении как об источнике проблемы. Дихотомия между верой и неверием, будучи двоичной, похожа на дихотомию между истиной и неистиной, и это приводит к путанице.

Но давайте попробуем использовать количественное рассуждение. Предположим, что я присваиваю 70% вероятности утверждению, что снег — белый. Это означает, что я думаю, что есть около 70% вероятности того, что предложение «снег белый» окажется истиной. Если это предложение — истина, является ли истиной моё присвоение 70% вероятности этому предложению? Оно более истинно, чем было бы, если бы я присвоил 60% вероятности, но не столь истинно, как если бы я присвоил 80%.

Говоря о соответствии между присвоением вероятности и реальностью, будет лучше использовать слово «точность» вместо слова «истина». «Точность» звучит более количественно, как стреляющий лучник: как близко к центру цели попадёт присвоение вероятности.

Короче говоря(English), существует весьма натуральный способ оценить точность присвоения вероятности при сравнении с реальностью: достаточно взять логарифм вероятности, которая была присвоена действительному положению дел.

Таким образом, если снег — белый, то моё убеждение «70%: снег белый» будет оценено как −0,51 бит: log2(0,7) = −0,51.

Но что, если снег не белый, если я присвоил действительному положению дел 30% вероятности? Если «снег белый» — ложь, моё убеждение «30%: снег не белый» даст −1,73 бита. Отметьте: -0,51 > −1,73, то есть в этом случае моё предсказание хуже.

Как оценить точность моих убеждений? Мои ожидания можно оценить как 70% * −0,51 + 30% * −1,73 = −0,88 бит. Если снег белый, то мои убеждения окажутся более точными, чем я ожидал. Если снег не белый, то мои убеждения окажутся менее точными, но, в любом случае, мои убеждения не будут иметь такую же точность, как я ожидал в среднем.

И это ни в коем случае не стоит путать с выражением «я назначаю 70% убеждённости утверждению, что снег белый». Я могу быть убеждён, что это утверждение верно с вероятностью ~1, то есть я не сомневаюсь в этом, это факт о моей вере. И, таким образом, я буду ожидать, что моё мета-убеждение «~1: «я назначаю 70% убеждённости, что снег белый» получит ~0 бит точности, что фактически так и есть.

То, что я не уверен в цвете снега, не означает, что я не уверен в моих цитированных вероятностных убеждениях. Снег где-то там, а мои убеждения в моей голове. Я могу быть заметно менее не уверен в том, насколько я не уверен в цвете снега, чем я не уверен в цвете снега. (В то же время убеждения об убеждениях не всегда точны.)

Сравните эту вероятностную ситуацию с качественным рассуждением, в котором я просто верил, что снег белый, и верил, что я верю, что снег белый, и верил, что «снег белый — истина», и верил, что «моё убеждение, что „снег белый — истина“ — верно», и т.д. Поскольку все вовлечённые величины равны 1, их легко перепутать.

В то же время, вы можете легко упустить эти различия в качественном выводе, если начнёте думать «снег белый с вероятностью 70%» — истина», что является ошибкой типизации. Это истинный факт о вас, о том что вы верите в «70%: снег белый»; но это не означает, что присвоение вероятности является истинным. Вера наберёт либо −0,51, либо −1,73 бита точности, в зависимости от действительного положения дел в реальности.

Знатоки увидят в утверждении «снег белый с вероятностью 70%» — истина» ошибку мышления, выражающуюся в том, что вероятность находится в голове.

Изнутри наши убеждения о мире выглядят как мир, и наши убеждения о наших убеждениях — как наши убеждения. Когда вы смотрите на мир, вы ощущаете убеждение изнутри. Когда вы замечаете, что вы верите во что-то, вы ощущаете убеждение об убеждении. Таким образом, если ваши внутренние представления об убеждениях, и об убеждениях об убеждениях отличаются, то вы с меньшей вероятностью перепутаете их и ввалитесь в ошибку проецирования ума. Я надеюсь.

Когда вы думаете вероятностями, можно надеяться, что ваши убеждения и ваши убеждения о ваших убеждениях будут представляться достаточно различно, чтобы вы не путали убеждение и точность, или точность и реальность. Когда вы думаете вероятностями о мире, ваши убеждения будут представлены вероятностями ∈ (0, 1). В отличие от булевских значений утверждений, которые могут принимать значения {истина, ложь}. Точность же ваших вероятностных убеждений вы можете представлять числом из (−∞, 0). Ваши вероятности о ваших убеждениях будут, как правило, «впадать в крайности». А вещи при этом будут просто красными или синими, или весящими 20 фунтов, или ещё какими-нибудь.

Таким образом, у нас будет меньше возможности перепутать карту с территорией.

Различение типов может так же помочь нам помнить, что неопределённость — это состояние ума. Монетка не имеет врождённой неопределённости того, каким образом она приземлится. Монета — не процессор убеждений и не имеет частичной информации о себе. Мысля качественно, вы можете создать убеждение, которое прямо соответствует монетке, типа «монета всегда приземляется орлом». Это убеждение будет истиной или ложью в зависимости от монеты, и будет прозрачное соответствие от истинности или ложности убеждения к выпавшей стороне монеты.

Но, даже при качественном мышлении, сказать, что монета сама по себе является «истиной» или «ложью», будет серьёзной ошибкой типизации. Монета — не убеждение, она — монета. Территория — не карта.

Если монета не может быть истиной или ложью, может ли она присвоить себе 50% вероятности?

Перевод: 
kuuff
Номер в книге "Рациональность: от ИИ до зомби": 
195
Оцените качество перевода: 
Средняя оценка: 4.7 (6 votes)

Думай как реальность

Элиезер Юдковский

Всякий раз, когда я слышу, как кто-то описывает квантовую физику как «странную» — всякий раз, когда я слышу, как кто-то сетует на таинственное действие наблюдения на наблюдаемое, или дикое существование нелокальных корреляций, или неимоверную невозможность одновременного знания координат и импульса — я думаю про себя: «Этот человек никогда не поймет физику, независимо от того, сколько книг он прочтет».

Реальность была вокруг задолго до того, как ты появился. Не следует называть ее отвратительными именами вроде «дикая» или «неимоверная». Вселенная распространяла комплексные амплитуды сквозь пространство конфигураций за десять миллиардов лет до того, как жизнь вообще появилась на Земле. Квантовая физика не «странная». Это ты странный. Это у тебя появилась абсолютно дикая идея, что реальность должна состоять из маленьких, танцующих вокруг бильярдных шариков, когда по факту реальность — это совершенно нормальное облако комплексных амплитуд в конфигурационном пространстве. Это твоя проблема, а не реальности, и именно ты должен измениться.

Человеческая интуиция была выработана эволюцией, а эволюция это хак. Тот же оптимизационный процесс, который создал твою сетчатку задом наперед и затем подвел оптический кабель через твое поле зрения, спроектировал твою видеосистему для обработки скачущих вокруг персистентных объектов в 3-х мерном пространстве, потому что это то, чем можно выслеживать тигров. Но «тигры» — протекающие поверхностные обобщения — появились постепенно в процессе эволюции, и они не абсолютно похожи один на другого. Когда ты опускаешься до фундаментального уровня, уровня, законы которого стабильны, глобальны и не имеют исключений, на нем нет никаких тигров. Фактически там нет никаких персистентных объектов, скачущих в трехмерном пространстве. Смирись с этим.

Называние реальности «странной» держит тебя внутри точки зрения, ошибочность которой уже доказана. Теория вероятности говорит нам, что удивление — мера некачественности гипотезы; если модель стабильно глупая(English) — стабильно натыкается на события, которым присваивает крошечные вероятности — тогда пришло время выкинуть эту модель. Хорошая модель делает реальность выглядящей совершенно нормально, а не странно; хорошая модель присваивает высокие вероятности тому, что на самом деле имеет место быть. Интуиция — это еще одна модель с другим именем: плохая интуиция будет шокирована реальностью, хорошая интуиция делает реальность выглядящей нормально. Ты хочешь перестроить свою интуицию так, чтобы реальность выглядела нормальной. Ты хочешь думать, как реальность.

Это конечное состояние нельзя утвердить насильно. Бесполезно делать вид, что квантовая физика естественна для тебя, когда на самом деле ты чувствуешь, что она странная. Так ты лишь откажешься признавать, что ты запутался. Это не поможет тебе распутаться. Но это также помешает тебе думать: «Как дико!» Трата эмоциональных сил на недоверчивость расходует зря время, которое можно было бы употребить на обновление. Оно опять и опять отбрасывает тебя в объятия старой, неверной точки зрения. Оно кормит твое чувство справедливого негодования на реальность, осмелившуюся противоречить тебе.

Этот принцип применим и за границами квантовой физики. Ловил ли ты когда-нибудь себя на том, что говорил что-то вроде «Я не понимаю, как дипломированный физик может верить в астрологию?» Ну, если ты действительно не понимаешь, это показатель проблем в твоей модели человеческой психологии. А может, ты просто возмущён — и хочешь выразить сильное моральное неприятие. Но если ты действительно не понимаешь, тогда твое возмущение не дает тебе придти к согласию с реальностью. Не должно быть трудно вообразить, как получается так, что дипломированный физик верит в астрологию. Люди разграничивают, вот и всё.

Теперь я стараюсь не использовать выражение «Я совершенно не понимаю, как …» для выражения возмущения. Если я искренне не понимаю, как, то моя модель удивлена фактами, и я должен выкинуть ее и найти лучшую модель.

Удивление существует на карте, а не на территории. Не бывает удивляющих фактов, бывают только модели, удивляющиеся фактам. Как и фактов, называемых такими отвратительными эпитетами, как «дикий», «невероятный», «невообразимый», «неожиданный», «странный», «аномальный», «чудной». Когда ты обнаруживаешь искушение воспользоваться такими эпитетами, может быть мудрее проверить, на самом ли деле предполагаемые факты реальны. Но если факты проверены, тогда проблема не в фактах, проблема в тебе.

Перевод: 
Vag
Номер в книге "Рациональность: от ИИ до зомби": 
196
Оцените качество перевода: 
Средняя оценка: 4.8 (12 votes)

Инверсия хаоса

Элиезер Юдковский

Недавно я беседовал с друзьями на тему продуктивности и поддержания силы воли — я всю жизнь борюсь с этой проблемой.

Я способен не убежать от сложной задачи в момент столкновения с ней (проявить настойчивость на протяжении нескольких секунд) и могу работать над одной и той же задачей годами. Но работать над одной и той же задачей несколько часов для меня чрезвычайно тяжело. Естественно, я уже прочёл бесчисленное множество советов на эту тему. Больше всего мне помогло осознание того, что значительная доля людей, занимающихся творческой деятельностью, сталкивается с той же проблемой и тоже не может с ней справиться, несмотря на все разумные советы.

«Что ты делаешь, когда не можешь работать?» — спросили меня друзья. (Я здесь воспроизвожу обсуждение не очень точно, это довольное вольное сокращение.)

Я ответил, что обычно листаю случайные сайты или смотрю короткое видео.

Они ответили: «Если ты знаешь, что некоторое время не сможешь работать, стоит посмотреть кино или заняться чем-нибудь ещё в этом духе».

«К сожалению», — ответил я, — «мне надо заниматься чем-то, что занимает короткие промежутки времени, вроде сёрфинга сайтов или просмотра видео. Ведь, возможно, мне снова захочется поработать, а я же не могу предсказать, когда…»

И тут я осёкся, потому что у меня внезапно открылись глаза.

Я всегда относился к своему рабочему процессу как к чему-то хаотическому, непредсказуемому. Я никогда не описывал его такими словами, но отношение было именно таким.

Однако вот мои друзья, кажется, подразумевают, — какая странная идея — что другие люди способны предсказывать, когда они смогут опять приступить к работе, и планировать своё время соответственно.

И до меня впервые дошло, что я, возможно, совершал эту чёртову многократно упомянутую ошибку проецирования ума. Не в каких-то абстрактных рассуждениях, а в своей повседневной жизни.

Возможно, это не моя способность работать необычайно хаотична, а я необычайно глуп в вопросе, как её прогнозировать.

Хаос. Кажется, что с чем-то трудно справиться, трудно понять, трудно догадаться, что будет дальше. Кажется, что с этим нельзя ничего сделать. Именно так выглядит глупость изнутри. И это не просто идиома для описания каких-нибудь абстрактных высот, вроде искусственного интеллекта. Это наблюдается и в повседневной жизни.

И, подозреваю, мы не рассматриваем альтернативную гипотезу «я глуп» не потому, что мы очень высокого мнения о себе. А потому что мы в принципе о себе не думаем. Мы просто видим окружающий нас хаос.

Итак, я осознал, что мои проблемы с продуктивностью, возможно, вызваны не хаосом, а моей собственной глупостью.

Это осознание может помочь, а может и нет. Определённо оно не решит проблему само по себе. Фраза «я невежественен» не делает тебя знающим.

Но, по крайней мере, появляется ещё один путь.

Перевод: 
sepremento, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
197
Оцените качество перевода: 
Средняя оценка: 4.9 (12 votes)

Редукционизм

Элиезер Юдковский

Почти год назад, в апреле 2007, Мэтью C1 предложил следующую тему на Overcoming Bias:

«Как и почему царствующий в настоящее время философский гегемон (редукционный материализм) считается очевидно верным […], в то время как царствовавшие философские взгляды всех прошлых обществ и цивилизаций выглядят подозрительными…»

Я помню это, потому что взглянув на запрос и сочтя его уместным, я знал, что не смогу справиться с этой темой, до тех пор пока не начну цепочку Ошибка проецирования ума, но начинать её тогда было ещё рано…

Но теперь пришло время для этого вопроса. И хоть я ещё и не готов к «материализму», но мы можем начать с «редукционизма».

Во-первых, отмечу, что я действительно считаю, что редукционизм (в значении, которое я даю этому слову) действительно корректен; и пускай горят в аду все предыдущие цивилизации, которые несогласны.

Довольно сильное утверждение, не так ли? По-крайней мере первая его часть. Общая теория относительности хорошо поддерживается, и всё же, кто знает, но может быть физики будущего ниспровергнут её?

С другой стороны, мы никогда не вернёмся обратно к ньютоновской механике. Храповик науки вращается, но только в одном направлении. Бывали случаи в истории науки, когда теория получала удар или два, а затем возвращалась. Но когда теория получила столько стрел в грудь, сколько получила ньютоновская механика, то она останется мёртвой.

Вторая часть — «чёрт с тем, что думали прошлые цивилизации,» — тоже выглядит достаточно безопасной. Прошлые цивилизации верили во что-то, что было фальсифицировано и выкинуто на историческую свалку.

И редукционизм не столько позитивная гипотеза, сколько отсутствие веры — в частности, в форме ошибки проецирования ума.

Однажды мне пришлось столкнуться с человеком, который утверждал, что он служил артиллеристом ВМФ, и он говорил «Когда вы ведёте артиллерийский огонь, вам приходится высчитывать траектории согласно ньютоновской механике. Если вы высчитаете траектории используя теорию относительности, то вы получите неверный ответ».

И мы с ещё одним присутствующим человеком решительно ответили «Нет». Я добавил: «Быть может невозможно достаточно быстро рассчитать траектории согласно теории относительности — вы это имели в виду? Но релятивистский ответ всегда будет более точен, нежели ньютоновский».

«Нет,» — сказал он — «Я имею в виду, что теория относительности даст неверный ответ, потому что вещи, двигающиеся со скоростями артиллерийских снарядов, подчиняются ньютоновской механике, а не теории относительности».

«Будь это правдой,» — я ответил, — «вы могли бы опубликовать это в физическом журнале и получить Нобелевскую премию».

Стандартная физика использует одну и ту же фундаментальную теорию, чтобы описать и полёт Боинга 747, и столкновения частиц в релятивистском коллайдере тяжёлых ионов (RHIC). Согласно нашему пониманию, и ядра атомов, и самолёты подчиняются специальной теории относительности, квантовой механике и хромодинамике.

Но для изучения аэродинамики Боинга и столкновения ядер золота в RHIC используются совершенно разные модели. Компьютерное моделирование аэродинамики Боинга может не содержать ни единого символа, ни единого бита ОЗУ, который бы представлял кварк.

Так что же: Боинг сделан не из кварков? Нет, это мы всего лишь моделируем его, используя такие элементы представления, которые не могут быть сопоставлены с кварками Боинга один к одному. Карта — это не территория.

Почему бы не смоделировать Боинг, используя хромодинамическое представление? Потому что для получение ответа по такой модели потребуется тьмаллион лет. Кроме того, эта модель не поместится в память всех компьютеров мира вместе взятых (на 2008 год).

Как говорится «Карта — это не территория, но территорию нельзя сложить и убрать в бардачок». Иногда приходится пользоваться картой поменьше, лишь бы она помещалась в маленький бардачок. Но это никак не меняет территорию. Масштаб карты — это не свойство территории, это свойство карты.

Если было бы возможно построить и запустить хромодинамическую модель Боинга, то она бы давала точные предсказания. Более точные, чем аэродинамическая, на самом деле.

От точной модели Боинга, в принципе, не требуется, чтобы она содержала явные описания потока воздуха или высоты. Вовсе не обязательно выделять хотя бы один бит ОЗУ под положение крыльев. Возможно, в принципе, построить такую модель, которая не будет содержать ничего, кроме полей элементарных частиц и фундаментальных сил.

«Что?» — кричит антиредукционист, — «Вы говорите, что у Боинга в действительности нет крыльев? Но я же их вижу!».

И вот тут есть едва уловимая тонкость. Объект может иметь разные описания на разных уровнях, но дело не только в этом.

Дело в том, что фраза «имеет разные описания на разных уровнях» относится к Разговору о Картах, а не к Разговору о Территории.

Ни аэроплан, ни законы физики сами по себе не используют разные описания на разных уровнях, как думал тот артиллерист. Это мы, для нашего удобства, используем разные упрощённые модели на разных уровнях.

Чисто хромодинамическая модель, содержащая исключительно элементарные частицы и фундаментальные силы, будет содержать и все факты и о потоке воздуха, и о высоте, и о положении крыльев, но она будет содержать их неявно.

Глядя на эту модель и думая о модели, можно определить, где находятся крылья. Таким образом, получая явное представление о положении крыльев, мы получаем явный вычислительный объект в нейронном ОЗУ. В собственном уме.

На самом деле, можно вывести все типы явных описаний самолёта на различных уровнях и даже явные правила того, как модели разных уровней взаимодействуют друг с другом, чтобы выдавать совместные предсказания…

И алгоритм ощущается изнутри, как если бы самолёт был сделан из многих взаимодействующих между собой уровней.

Убеждение чувствуется изнутри таким образом, что вам кажется, что вы смотрите прямо на реальность. Когда же вам кажется, что вы смотрите на убеждение, в действительности вы ощущаете убеждение об убеждении.

Таким образом, когда ваш мозг одновременно верит явным описаниям со многих разных уровней и верит в явные правила перехода с одного уровня на другой, как в часть эффективной комбинированной модели, это ощущается как будто вы видите систему, которая сделана из разных уровней описания и их правил взаимосвязи.

Но это просто попытка вашего разума сжать объект, который он не может смоделировать на фундаментальном уровне. Самолёт слишком большой. Даже атом водорода будет слишком большим. Взаимодействия между кварками безумно взаимодействующи. Вы не можете справиться с истиной.

Но физика работает так, что, насколько мы видим, существует только один самый-самый базовый уровень — поля элементарных частиц и фундаментальные силы. Вы не можете справиться с сырой истиной, но реальность справляется с ней без всяких упрощений. (Я хотел бы знать, откуда Реальность получила такую вычислительную мощь.)

Законы физики не содержат различных дополнительных временных сущностей, которые соответствуют высоте или крыльям самолёта, но в разуме инженера содержатся различные дополнительные когнитивные сущности, которые соответствуют высоте и крыльям самолёта.

Таков, в моём понимании, тезис редукционизма. Редукционизм — не позитивная вера, а скорее неверие в то, что более высокие уровни упрощённой многоуровневой модели находятся снаружи, на территории. Понимая это на внутреннем уровне легко можно распутать вопрос «Как вы можете говорить, что самолёт в действительности не имеет крыльев, если я их вижу?». Достаточно обратить внимание на слова «в действительности» и «вижу.»

  • 1. Речь об одном из пользователей Overcoming bias, коллективного блога, из которого вырос lesswrong.com. В оригинале «Matthew C». — Прим.перев.
Перевод: 
kuuff
Номер в книге "Рациональность: от ИИ до зомби": 
198
Оцените качество перевода: 
Средняя оценка: 4.7 (7 votes)

Объяснение и разобъяснение

Элиезер Юдковский

Поэма Ламия (Lamia) Джона Китса определённо заслуживает награды как Наиболее Знаменитая Раздражающая Поэзия:

…От прикосновенья
Холодной философии — виденья
Волшебные не распадутся ль в прах?
Дивились радуге на небесах
Когда-то все, а ныне — что нам в ней,
Разложенной на тысячу частей?
Подрезал разум ангела крыла,
Над тайнами линейка верх взяла,
Не стало гномов в копи заповедной —
И тенью Ламия растаяла бесследной.

пер. Сергей Сухарев

Мой обычный ответ на подобное заканчивается фразой: «Если мы не можем наслаждаться просто реальностью, то наши жизни действительно пусты». Но это я объясню завтра.

Сегодня же я хочу поговорить о другом. Взглянем на эти строки:

  • гномы в копи
  • радуги, разложенные на тысячи частей

Что вызывает из памяти несколько другие стихи:


Одна из этих вещей
Отличается от остальных,
Одна из этих вещей
Не к месту

Наука избавила рудники от гномов, но радуга всё ещё здесь.

Я писал ранее:
«Отслеживая назад причинно-следственную цепочку шаг за шагом, я выясняю, что моя вера в то, что на моих ногах надеты носки, полностью объясняется тем, что на моих ногах надеты носки… С другой стороны, если я вижу мираж озера в пустыне, то правильное причинное объяснение моего видения не будет включать в себя факт наличия настоящего озера в пустыне. В этом случае моя вера в существование озера не просто объясняется, но разобъясняется».

Радуга была объяснена. Гномы же были разобъяснены.

Я думаю, что в этом как раз кроется тонкость, которую антиредукционисты не улавливают в редукционизме.

Вы можете наблюдать эту ошибку в классическом возражении против редукционизма:

Если редукционизм верен, то даже ваша вера в редукционизм — в сущности, результат движения молекул. И зачем тогда я буду слушать, что вы говорите?

Ключевое слово — «в сущности». Оно подразумевает, что если я принимаю редукционизм, то он разобъяснит все процессы рассуждения, которые ведут к моему принятию редукционизма, тем же способом, каким разобъясняются оптические иллюзии.

Но, тем не менее, возможно объяснить, как работает когнитивный процесс, не являющийся «сущностью»! Моя вера в то, что на мне одеты носки — это, в сущности, результат того, что моя зрительная кора получает нервные импульсы от моей сетчатки, которая получает фотоны, отражённые от моих носков… Короче говоря, в соответствии с научным редукционизмом, моя вера в то, что на мне одеты носки — это сущий результат того факта, что на мне надеты носки.

Что должно происходить в голове антиредукциониста, чтобы он помещал бы радуги и веру-в-редукционизм в одну категорию с гномами?

Одновременно происходит несколько вещей. Но сейчас давайте рассмотрим мысль, изложенную вчера: ошибку проецирования ума — многоуровневой карты на одноуровневую территорию.

(То есть: вы не можете промоделировать Боинг 747 покварково, поэтому вы вынуждены использовать многоуровневую карту с явными когнитивными представлениями крыльев, потока воздуха и всего прочего.)

Я думаю, что когда физики говорят: «На фундаментальном уровне радуги не существует», — антиредукционисты слышат: «Радуги не существует».

Если вы не видите разницы между многоуровневой картой и одноуровневой территорией, и кто-то пытается объяснить вам, что радуга не является фундаментальным понятием физики, то принятие этого утверждение воспринимается как стирание радуги из вашей многоуровневой карты, что воспринимается как стирание радуг из мира.

Когда наука говорит: «Тигры — не элементарные частицы, они сделаны из кварков», — антиредукционист слышит это, как отрицание типа такого: «Мы заглянули в ваш гараж и не нашли там никакого дракона, только пустой воздух».

То, что учёные сделали с радугами и с гномами, видимо, ощущается как одно и то же для Китса.

Чтобы поддержать этот подтезис, я намеренно использовал в обсуждении поэмы Китса несколько фраз, которые подвержены ошибке проецирования ума. Если вы не заметили, то это неплохая иллюстрация тому, что подобные ошибки легко проходят незамеченными.

Например:

Наука избавила рудники от гномов, но радуга всё ещё здесь.

В действительности, Наука избавила модель от веры в гномов. Наука в действительности не трогала реальных крыльев Ангела и не уничтожала их холодным прикосновением истины. В действительности никогда не было никаких гномов.

Другой пример:

То, что учёные сделали с радугами и с гномами, видимо, ощущается как одно и то же для Китса.

Учёные ничего не делали с гномами, только с «гномами». Цитата — не референт.

Но если вы допускаете ошибку проецирования ума (и, по умолчанию, наши убеждения ощущаются как способ существования мира), то во время T=0 рудники (видимо) содержат гномов, во время T=1 учёные пляшут на сцене, а во время T=2 рудники (видимо) становятся пустыми. Ясно, что гномы когда-то были, но учёные их всех убили.

Плохой учёный! Никаких поэм для тебя, убийца гномов!

Этот процесс ощущается таким образом, если вы эмоционально привязаны к гномам, а учёный говорит, что не существует никаких гномов. Требуется сильный разум, глубокая честность и сознательное усилие, чтобы сказать в этот момент: «То, что может быть разрушено истиной, должно быть разрушено», и «Учёные не забрали гномов от меня, они забрали моё заблуждение», и «У меня не было исключительного права на мою веру в гномов, я не лишился ничего, чем я бы владел по праву», и «Если гномы существуют, то я хочу верить, что гномы существуют, если гномы не существуют, то я хочу верить, что гномы не существуют, я не буду цепляться за веру, которой не хочу» и все остальные вещи, которые рационалисты должны говорить себе в подобных случаях.

Но с радугами нет никакой необходимости для всего этого. Радуги всё ещё здесь!

Перевод: 
kuuff
Номер в книге "Рациональность: от ИИ до зомби": 
199
Оцените качество перевода: 
Средняя оценка: 4.3 (8 votes)

Лжередукционизм

Элиезер Юдковский

Дивились радуге на небесах
Когда-то все, а ныне — что нам в ней,
Разложенной на тысячу частей?

– Джон Китс, «Ламия»
пер. Сергей Сухарев

Я предполагаю – хоть это лишь предположение – что сам Китс не понимал принципов разложения радуги. Во всяком случае, понимал их не так, как Ньютон. Возможно, даже вообще не знал. Может быть, Китс просто прочитал где-то, что Ньютон объяснил радугу, сказав, что это «свет, отражённый от капель воды»…

…что на самом деле было известно ещё в XIII веке. Ньютон только уточнил объяснение, показав, что свет разбивается на цветные части, а не изменяет цвет. Радуга оказалась в заголовках новостей. И Китс с Чарльзом Лэмом, и Вильямом Вордсвордом, и Бэнджамином Хейдоном поднимали тост «За путаницу в память о Ньютоне», потому что «он разрушил поэзию радуги, редуцировав её в призму». Это одна из причин подозревать, что Китс не слишком глубоко понимал предмет.

Я предполагаю (хоть это лишь предположение), что Китс не мог показать на бумаге, как получается так, что радуга появляется только тогда, когда Солнце находится сзади, или почему радуга — дуга окружности.

Если так, то Китс имел лжеобъяснение. В данном случае — лжередукцию. Ему сказали, что радуга была редуцирована, но в модели мира Китса она не была редуцирована.

И это вторая тонкость, которую не улавливают антиредукционисты — разница между тем, чтобы озвучивать факт, что что-то редицируемо, и тем, чтобы понять это.

В этой ошибке антиредукционистов не стоит осуждать, поскольку это часть более общей проблемы.

Раннее я писал о том, что выглядит знанием, но им не является, и убеждениях, которые не о том, что в них говорится, но которые – записи для воспроизведения в классе, и словах, которые работают как семантические стоп-сигналы для любопытства, а не как ответы, и техноболтологии, которая лишь показывает принадлежность к литературному жанру «наука»

Можно понять, откуда взялась радуга, или ставить эксперименты с призмами, чтобы подтвердить свойства радуги, или разбрызгивать воду, чтобы создать искусственную радугу.

И это сильно отличается от философа со строгим видом говорящего вам: «Нет, нет ничего особого в радугах. Вы не слышали? Учёные её разобъяснили. Что-то там происходит с дождевыми каплями или как-то так. Ничего удивительного».

Я думаю, что это отличие и приводит к тому, что за редукционизмом, как бы, тянется дьявольская смертельная экзистенциональная пустота.

Надо понимать, что «редукционизм» для антиредукционистов, вовсе не в том, что они на самом деле понимают как работает радуга, не в том, что они критично восклицают «Ага!», а в том, что им просто говорят, что загаданное слово — «наука». Эффект редукционизма для них сводится к тому, что радуга переходит в другой литературный жанр, в жанр, который их научили воспринимать как скучный.

Для них услышать слова «Наука объяснила радугу!» – повесить на радуге знак «Этот феномен помечен как СКУЧНЫЙ по приказу Совета Изощрённых Литературных Критиков. Не толпитесь. Проходите мимо».

И это всё, что говорит знак. Только это и ничего больше.

Таким образом, литературных критиков силой лишили гномов. Гномы не исчезли, благодаря озарению, но удалены по прямому приказу авторитета. Им не дано никакой красоты, которая могла бы заменить призраков или гномов, никакого подлинного понимания, которое могло бы быть интересно по-своему. Просто надпись, говорящая «Ха! Ты думал, что радуга красивая? Дурачок. Это часть литературного жанра науки, сухих и формальных непонятных слов».

Таким образом антиредукционисты воспринимают «редукционизм».

И… Не ругайте Китса, бедный парень, вероятно, не получил правильного воспитания.

Но он осмелился поднять тост «За путаницу в память о Ньютоне»?

Я предлагаю рационалистам тост «В память о путанице Китса». Аплодисменты.

Перевод: 
kuuff
Номер в книге "Рациональность: от ИИ до зомби": 
200
Оцените качество перевода: 
Средняя оценка: 4.2 (11 votes)

Поэты саванны

Элиезер Юдковский

Поэты говорят, что наука лишает звёзды красоты, что звёзды — просто газообразные шары из атомов. Ничто не «просто». Я тоже могу видеть звёзды в ночи и чувствовать их, но вижу ли я меньше или больше?

Необъятность небес простирается в моём воображении, мой маленький глаз теряется в этой карусели и не может оторваться от света, которому миллионы лет. Безбрежное зрелище безбрежной Вселенной, частью которой я являюсь… Возможно, вещество моего тела было извергнуто из недр какой-то забытой звезды, так же как звёзды в небе сейчас извергают из себя вещество. Если взглянуть на них большим глазом Паломарской обсерватории, взглянуть как они разбегаются из какой-то общей стартовой точки в которой они, возможно, когда-то были вместе. Как это работает, в чём смысл всего этого. И почему? Мы знаем очень мало. Зная так мало, мы не можем причинить никакого ущерба таинству Вселенной.

Это гораздо более изумительно, чем истина, которую могли изобразить художники прошлого! Почему поэты современности не говорят об этом?

Что поэты за люди, если они говорят о Юпитере, если он как человек, но молчат, если он необъятный вращающийся шар из метана и аммиака?

  - Ричард Фейнман, «Фейнмановские лекции по физике», Том I.

Задавал ли Фейнман этот вопрос риторически или нет, но это не риторический вопрос: что за поэт может писать о Юпитере как о боге, но не о Юпитере как о необъятном шаре?

Если Юпитер — как мы, он может влюбиться и потерять любовь, а затем обрести её вновь.
Если Юпитер — как мы, он может бороться, придти к власти и быть свергнутым.
Если Юпитер — как мы, он может смеяться, или плакать, или плясать.

Если же Юпитер — необъятный вращающийся шар из метана и аммиака, то поэту гораздо сложнее заставить нас чувствовать.

Существуют поэты и рассказчики, которые говорят, что Великие Сюжеты не подвержены влиянию времени и никогда не меняются, только пересказываются. Они с гордостью говорят, что Шекспир и Софокл повязаны узами искусства более сильными, чем просто столетия, что двух создателей пьес можно было бы поменять местами во времени без серьёзных потрясений.

Дональд Браун когда-то создал список более чем двух сотен «универсальных человеческих понятий», которые можно найти во всех (или практически во всех) изученных человеческих культурах, от Сан-Франциско до бушменов, живущих в пустыне Калахари. В списке есть супружество, и табу на инцест, и материнская любовь, и соперничество братьев и сестёр, и музыка, и зависть, и танцы, и истории, и эстетика, и ритуальная лечебная магия, и поэзия, читаемая вслух с театральными паузами…

Любой, кто знаком с эволюционной психологией, вряд ли будет отрицать это: наши самые сильные эмоции глубоко заложены в нас, в наши кровь и кости, в мозг и ДНК.

Можно ожидать, что история Гамлета (с небольшими изменениями) могла быть рассказана в обществе первобытных людей сидящих возле костра в саванне.

Таким образом, можно понять, почему Джон «Расплети радугу» Китс мог чувствовать, что что-то было потеряно, когда выяснилось, что радуга — это солнечный свет, разлетающийся из капель воды. Капли воды не танцуют танцы.

В Ветхом Завете написано, что Бог как-то разрушил весь мир потопом, который покрыл водой всю землю и утопил всех ужасно виновных мужчин и женщин мира, вместе с их ужасно виновными детьми, но Ной построил гигантский деревянный ковчег, и т.д. И после того, как большинство людей было уничтожено, Бог поместил на небо радугу, как знак того, что он не будет делать подобного снова. По крайней мере, не с помощью воды.

Вы можете понять, как Китс был шокирован, когда этот прекрасный рассказ вступил в противоречие с современной наукой. Особенно если (как я описывал вчера) Китс не понимал в действительности физику радуги, если не было никакого «Ага!», никакого озарения, которое было бы по-своему потрясающим и могло бы заменить потерянную драму…

Но, возможно, Китс был бы прав в своём разочаровании, даже если он знал бы математику. Библейская история радуги — это рассказ о кровожадном убийстве и об улыбающемся безумии. Неужели что-то там о каплях и преломлении может достойно заменить это? Капли не кричат, когда умирают.

Таким образом, наука убивает романтику (сказал поэт романтизма), и то, что она даёт взамен, никоим образом не соответствует драме оригинала…

(то есть, оригинальному заблуждению)

…даже если вы знаете уравнения, потому что уравнения не о сильных эмоциях.

И это самый сильный ответ, который я могу придумать для поэта Романтизма, отвечающего Фейнману. Хоть я и не могу вспомнить, чтобы кто-нибудь так ответил.

Вы, наверное, полагаете, что я не согласен с поэтами Романтизма. Моя собственная позиция такова:

Юпитеру вовсе не необходимо быть как человек, потому что есть достаточно людей, которые как люди. Если Юпитер — необъятный вращающийся шар из метана и аммиака, то это не значит, что любовь и ненависть исчезли из мира. Несмотря ни на что, в мире по-прежнему существуют любящие и ненавидящие умы. Мы.

Когда нас более чем шесть миллиардов по последним подсчётам, неужели Юпитеру действительно необходимо быть в списке потенциальных действующих лиц?

Нет никакой необходимости рассказывать Великие Сюжеты о планетах и радугах. Эти сюжеты ежедневно разыгрываются повсюду среди нас. Каждый день кто-нибудь убивает из мести, каждый день кто-нибудь убивает друга по ошибке, каждый день свыше сотни тысяч людей влюбляются. И даже если бы это было не так, вы всё равно могли бы написать рассказ о людях, а не о Юпитере.

Земля стара, она множество раз разыгрывала под Солнцем одни и те же сценарии. И думается мне, что быть может пришло время некоторым из этих Великих Сюжетов измениться. Во всяком случае для меня рассказ, называемый «Прощай», потерял привлекательность.

Великие сюжеты не неизменны, потому что человеческий вид не неизменен. Если вернуться достаточно далеко назад в эволюции человека, то никто не поймёт Гамлета. Если вернуться достаточно далеко назад во времени, то не удастся найти ни одного мозга вообще.

Великие Сюжеты не вечны, потому что человеческий вид, Homo sapiens sapiens, не вечен. Я искренне сомневаюсь, что у нас есть ещё одна тысяча лет на жизнь в нашей современной форме. И я не грущу об этом: я думаю, мы можем быть лучше.

Я бы не хотел, чтобы все Великие Сюжеты были бы окончательно утеряны в будущем. По-моему, этот исход слабо отличается от Солнца, падающего в чёрную дыру.

Но Великие Сюжеты в их современной форме уже были рассказаны, причём многократно. Я не думаю, что есть что-то плохое в том, чтобы некоторые из них изменили бы свою форму или обрели бы более разнообразные финалы.

«И с тех пор они жили счастливо» выглядит достойным, чтобы попытаться хотя бы раз.

Человечество развивается, и Великие Сюжеты могут и должны разнообразиться. Частью этой этики является идея, что когда мы находим странности, мы должны уважать их достаточно для того, чтобы рассказать их историю честно. Даже если это делает создание поэзии сложнее.

Если вы достаточно хороший поэт, чтобы написать оду необъятному вращающемуся шару из метана и аммиака, то вы можете написать что-то новое о новой открытой части настоящей Вселенной. Это может быть не столь драматично, не столь захватывающе, как Гамлет. Но легенда о Гамлете уже была рассказана. Если вы пишете о Юпитере как о человеке, то вы обедняете сложность карты нашего мира, вы впихиваете Юпитер в привычный шаблон историй, которые уже были рассказаны на Земле.

«Поэма, посвящённая памяти сэра Исаака Ньютона» Джеймса Томсона восхваляет радугу за то, что она такая, какая она есть. Можно спорить о том, захватывает ли поэма Томсона так же, как Ламия Джона Китса, кто любил и потерял. Но легенды о любви, и о потере, и о цинизме уже были рассказаны ещё в Древней Греции, и, без сомнения, ещё и раньше, и множество раз. До тех пор, пока мы не поймём радугу как явление, отличающееся от легенд о придуманной человеком магии, истинная история радуги не может быть поэтизирована.

Граница между научной фантастикой и космической оперой была обозначена следующим образом: если вы можете взять сюжет и перенести его на Дикий Запад или в Средние Века без изменений, то это не настоящая научная фантастика. В настоящей наука — неотделимая часть сюжета: вам не удастся без потерь перенести действие из космоса в саванну.

Ричард Фейнман спросил: «Что поэты за люди, которые могут говорить о Юпитере, если он как человек, но молчат если он необъятный вращающийся шар из метана и аммиака?».

Они поэты саванны, они могут рассказывать только те истории, которые могли бы иметь смысл возле костра десять тысяч лет назад. Поэты саванны, которые могут рассказывать только Великие Сюжеты в их классических формах, и ничего больше.

Перевод: 
kuuff, Noumero
Номер в книге "Рациональность: от ИИ до зомби": 
201
Оцените качество перевода: 
Средняя оценка: 5 (7 votes)

Наслаждение обыденностью

Холодная наука убивает
Любое чудо. Радуга на небе
Пленяла красотою взоры наши.
Теперь же знаем мы её устройство,
И всё: занесена она в каталог
Унылых и обыденных вещей.
Джон Китс, «Ламия»

Автор: 
Элиезер Юдковский

Наслаждение обыденностью

Элиезер Юдковский

Холодная наука убивает
Любое чудо. Радуга на небе
Пленяла красотою взоры наши.
Теперь же знаем мы её устройство,
И всё: занесена она в каталог
Унылых и обыденных вещей.
Джон Китс, «Ламия»1

Ничто не «просто».
Ричард Фейнман 2

Наверняка вы должны оценить фразу «каталог унылых и обыденных вещей». Однако, что именно попадает в этот каталог? В смысле, кроме радуги?

Конечно же, туда попадает всё мирское. Всё естественное, всё немагическое. Всё, что уже познано или хотя бы познаваемо. Всё, что играет по правилам (или даже играет по любым правилам, что совсем скучно). Всё, что является частью обычной вселенной. Короче говоря, всё реальное.

И рассуждая так, вы загоняете себя в тупик.

Потому что рано или поздно вы разочаруетесь вообще во всём: что угодно либо не существует, либо — о, ужас — оказывается реальным.

Если мы не в состоянии наслаждаться обыденным, наша жизнь всегда будет пуста.

Чем провинились радуги, что их отправили в каталог обыденных вещей? У них появилось научное объяснение. Китс пишет: «Теперь же знаем мы её устройство». Слово «мы» здесь довольно интересно: подозреваю, сам Китс не знал, как устроена радуга. Вполне возможно, ему хватило того, что кто-то другой знает, как устроена радуга. Не исключено, что ему было бы сложно даже принять факт, что радугу в принципе можно объяснить научно. И даже если Китс на самом деле так не думал, я знаю достаточно людей, которые рассуждают именно так.

Я уже писал, что ничего по настоящему таинственного не существует. Если я не знаю о некоем явлении, это факт о состоянии моего разума, а не о самом явлении. Поклоняться явлению, потому что оно кажется восхитительно таинственным, значит поклоняться собственному невежеству. Пустая карта не соответствует пустой территории, она соответствует месту, где мы ещё не были. Ну и так далее.

И таким образом всё — абсолютно всё, что существует на самом деле, — в итоге должно оказаться в «каталоге унылых и обыденных вещей».

Поэтому есть два пути:

  • Решить, что для вас в мире всё равно есть что-то важное: пусть даже оно не волшебное, познаваемое и объяснимо с помощью науки.
  • Или всю оставшуюся жизнь страдать от экзистенциального разочарования.

(Другие люди могут выбрать путь самообмана, но для вас этот вариант закрыт.)

Здесь можно вспомнить про странную привычку чудаков, именуемых учёными: внезапно с заворожённым видом уставиться на мусор из кармана, или на помёт птиц, или на радугу, или на ещё что-нибудь обыденное, что умудрённые жизнью люди никогда не удостоят второго взгляда.

И подумать, что учёные — по крайней мере, некоторые — это такие люди, которые способны наслаждаться жизнью в реальной вселенной.

  • 1. В предыдущих эссе для перевода этого отрывка использовался перевод Сергея Сухарева, однако, к сожалению, он не содержит деталей, на которые ссылается Юдковский в этом эссе. — Прим.перев.
  • 2. В оригинале здесь использовано слово «mere», а эссе названо «Joy in the Merely Real». — Прим.перев.
Перевод: 
Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
202
Оцените качество перевода: 
Средняя оценка: 4.4 (5 votes)

Наслаждение открытием

Элиезер Юдковский

Ньютон — величайший из гениев, живших на Земле, и при этом самый удачливый. Ведь систему мира можно создать только один раз.

— Лагранж

Мне гораздо больше нравится открывать что-нибудь самому, чем читать о чужих открытиях в учебнике. Это нормально, естественно и ожидаемо.

Однако открыть нечто неведомое пока вообще никому, первым раскрыть какую-то тайну…

Есть байка о том, как кто-то из учёных, впервые осознавших, что звёзды горят благодаря термоядерному синтезу, — я встречал варианты с Фридрихом Хоутермансом и Хансом Бете — гулял ночью с девушкой. Девушка заметила, мол, как красивы звёзды, а учёный ответил: «Да, и в настоящий момент я единственный человек в мире, который знает, почему они сияют».

Многочисленные источники подтверждают, что ощущать себя первым человеком, разгадавшим сложную тайну, невероятно приятно. Вероятно, это ближе всего к приёму наркотиков без приёма наркотиков. Впрочем, откуда мне знать.

Это не здоро́во.

И дело не в том, что я против эйфории. Меня беспокоит исключительность переживания. Почему открытие должно ощущаться менее остро лишь потому, что ответ знает кто-то ещё?

Самое доброжелательное объяснение, которое я могу предложить, заключается в том, что вы не будете тратить на задачу месяцы или годы, если ответ можно найти в библиотеке. А невероятно приятное переживание приходит, когда вы рассматриваете задачу со всех возможных сторон, терпите неудачу, снова анализируете задачу, используете все идеи, которые вам приходят в голову, и все данные, до которых дотянутся руки. Вы продвигаетесь шаг за шагом и вот, в конце концов, у вас наступает озарение. Все торчащие концы и неразрешенные вопросы внезапно встают на свои места. Представьте, будто получив одну улику, вы раскрыли дюжину убийств в запертых комнатах.

Более того, вы по-настоящему понимаете решение задачи. Вы теперь в другом свете видите все подсказки, которые вы изучали в процессе решения. Ваше понимание родилось из задаваемых ежедневно вопросов и размышлений над ними, и никто не сможет его с вами разделить (неважно, сколько раз вы расскажете правильный ответ), пока не потратит месяцы на изучение этой задачи в её историческом контексте. И даже если кто-нибудь возьмётся за изучение этого контекста, он не получит этого ощущения, как все части встают на свои места.

Вероятно, поэтому Джеймс Клерк Максвелл, скорее всего, получил больше удовольствия от открытия уравнений Максвелла, чем вы, когда о них читали.

Менее приятное объяснение невероятного удовольствия проистекает из того, что на вежливом языке социальной психологии называется «вовлечением» , «стремлением к постоянству» и «когнитивным диссонансом». Чем больше усилий мы тратим для получения чего-либо, тем больше мы это ценим. Например, исследования показывают, что если подвергать желающих вступить в братство более суровым испытаниям, то они впоследствии больше ценят само братство. Аналогично, вино в более дорогой бутылке оценивается как более вкусное.

Естественно, нет ничего плохого, если вам нравится думание как процесс и потому вы получаете гораздо больше удовольствия от решения головоломки, чем от получения ответа напрямую. Менее приятно было бы обнаружить, что ответ на головоломку, за который вы заплатили 100 долларов, кажется вам более приятным, ценным, важным, удивительным и так далее, по сравнению с ответом, который вы получили бесплатно.

(Я подозреваю, что науку так сложно рекламировать среди широких масс, потому что многие люди считают, что если знание даётся бесплатно, ничего важного в нём нет. Возможно, если бы для получения правды об эволюции нужно было бы проходить устрашающий обряд, людей больше бы устраивал ответ.)

Самое неприятное объяснение заключается в том, что удовольствие первооткрывателя связано со статусом. Соревнование. Редкость. Всех обскакать. Неважно, трёхкомнатная или четырёхкомнатная у вас квартира, главное, что она больше, чем у Джонсов. Даже двухкомнатной хватит, если вы уверены, что у Джонсов будет меньше.

Вообще, я не против соревнований. Да, игра Го — это игра с нулевой суммой, но я не считаю её варварским пережитком, который нужно уничтожить. Но если эйфория от научного открытия связана с редкостью ресурса, это значит, что она доступна только одному человеку на цивилизацию на единицу истины.

Если удовольствие от научного открытие выдается по одному на открытие, тогда, с точки зрения теории веселья, Ньютон получил изрядную долю удовольствия из пула, выделенного всей разумной жизни на Земле — и прошлой, и будущей — на изучение физики. Эта эгоистичная сволочь объяснила орбиты планет и приливы!

А по сути ситуация ещё хуже, потому что в Стандартной Модели физики (открытой сволочами, испортившими головоломку всем остальным) Вселенная бесконечна в пространстве, ветвится инфляционно и ветвится квантово, то есть у реальности есть по меньшей мере три способа оказаться экспоненциально или бесконечно огромной.

Поэтому пришельцы, или альтернативные версии Ньютона, или даже дубликаты Ньютона по Тегмарку могли открыть закон тяготения до нашего Ньютона — если предполагать, что в такого рода рассуждениях вообще имеет смысл слово «до».

Когда я впервые об этом задумался, это меня несколько приободрило. Если уж я понимаю, что кто-то где-то на просторах пространства и времени уже знает ответ на любой вопрос, на который в принципе возможен ответ, — даже на вопрос из области биологии или истории, ведь есть Земли, некогерентные нашей, — то как-то глупо думать, что удовольствие от открытия способен получить лишь один человек.

Такой расклад приводил бы к бесконечным неразрешимым экзистенциальным страданиям, поэтому я считаю, что мы получили противоречие.

Непротиворечивое решение, позволяющее получать удовольствие, — перестать беспокоиться о том, что знают другие люди. Если вы не знаете ответ, то для вас тайна сохраняется. Если вы можете поднять руку, сжать пальцы в кулак и при этом не знаете, как ваш мозг это сделал, — или даже не знаете, какие именно мышцы проходят под кожей, — можете считать себя столь же невежественным, как и охотник-собиратель. Конечно, кто-то другой знает ответ, но и в дни охотников-собирателей кто-то на альтернативной Земле или, что то же самое, кто-то из будущего знал ответ. Тайна и удовольствие от открытия либо вещь личная, либо несуществующая. И я предпочитаю думать, что она личная.

Удовольствие, которое можно получить, открыв для цивилизации нечто доселе неизвестное, действительно единично в расчёте на открытие на цивилизацию. Это редкая штука, примерно как Нобелевская премия. Ради такой награды кто-нибудь действительно может сосредоточиться над одной задачи на долгие годы, а именно это необходимо для поистине глубокого понимания. Вдобавок, работа над задачей, нерешённой цивилизацией, — надёжный способ избежать спойлеров.

Однако я хочу опровергнуть идею, что рационалисты меньше веселятся. И, в частности, я хочу вернуть магию и тайну во все части мироздания, которые лично вы не понимаете. Неважно, какое знание и где существует. Может быть, оно есть где-то далеко в пространстве и времени, может, об этом знает человек в соседней квартире. Если что-то не знаете вы, это тайна. А теперь подумайте, как много всего вы не знаете! (Если вам ничего не приходит в голову, у вас другие проблемы.) Разве мир не стал внезапно гораздо более загадочным, волшебным и увлекательным? Как будто вас переместили в альтернативное измерение, где нужно выучить все правила с нуля?

Однажды мой друг заметил, что я смотрю на мир так, как будто никогда не видел его раньше. Я подумал, какой милый комплимент… Погодите-ка! Я никогда не видел его раньше! Разве у кого-то бывает предпоказ?

Ран Прие

Перевод: 
sepremento, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
203
Оцените качество перевода: 
Средняя оценка: 5 (7 votes)

Привяжись к реальности

Элиезер Юдковский

Возможно, вы читаете вот это всё и задаётесь вопросом: «Хорошо, но при чём тут редукционизм

Отчасти я хочу оставить путь к отступлению. Сложно разбирать на части нечто важное, когда ты убеждён, что в процессе из мира исчезнет сказка и обесценится радуга. В этой книге я действительно планирую кое-что разобрать на части, и я предпочёл бы не плодить бессмысленное экзистенциальное страдание.

Отчасти это крестовый поход против рациональности по-голливудски, где принято считать, будто понимание радуги уничтожает её красоту. Нет, радуга остаётся прекрасной, а вы вдобавок получаете красоту физики.

Однако ещё, что гораздо более важно, я здесь рассуждаю об одной из идей, которые вроде бы незаметны, но на самом деле очень важны для понимания рациональности. Одной из тех штук, которые я подразумеваю, когда начинаю говорить о «Пути». А именно, о привязке к реальности.

Если я правильно помню, в одной из книг цикла о Дюне Фрэнка Герберта сказано, что Правдовидец, который сам говорит только правду, получает возможность определять ложь других людей, потому что у него формируются особые отношения с правдой и он начинает ощущать отклонения от неё. В реальности так не бывает, но я всё равно считаю это одной из красивейших мыслей в художественной литературе. Чтобы приблизиться к правде, необходимо как минимум прильнуть к реальности как можно сильнее, без страха и отговорок.

Тема привязки к реальности уже затрагивалась в эссе «Лотереи: бессмысленная трата надежды». Когда вы осознаете, что лотерейные билеты обладают отрицательной ожидаемой полезностью, вы не теряете надежду разбогатеть. Но вы перестаёте тратить эту надежду на лотерейные билеты. Вы вкладываете её в работу, в образование, свой стартап, в халтурку на eBay. А если вам и правда не на что надеяться, возможно, стоит начать поиск.

Как по мне, мечтать — это нормально. Но не стоит мечтать о невозможном. Выиграть в лотерею возможно, но вероятность выигрыша близка к нулю и её нельзя увеличить своими действиями. Нельзя сказать, что выиграть в лотерею чрезвычайно тяжело, в смысле, что это требует отчаянных усилий. Усилия здесь просто не причём.

Я говорю это, чтобы показать пример, как можно взять бесцельный поток эмоциональной энергии и привязать его к реальности.

Я не хочу сказать, что нужно ставить приземлённые «реалистичные» цели: лёгкие, безопасные, одобряемые родителями. Возможно, для кого-то это окажется неплохим советом, но сейчас я не об этом.

Я хочу сказать, что эмоциональную энергию можно вкладывать в радугу, даже если она окажется не волшебством. Будущее всегда абсурдно, но всегда реально.

Стереотип рациональности по-голливудски говорит, что «рациональный = безэмоциональный». Чем вы более рассудительны, тем больше эмоций ваш рассудок неизбежно уничтожит. В эссе «Мне сегодня рационально» я противопоставляю этой позиции тезисы «То, что может быть разрушено правдой, должно быть разрушено» и «То, что питается правдой, должно расцветать». Как только вы создадите свой лучший набросок истины, нет ничего иррационального в эмоциях, которые вы испытаете. Раз эти эмоции не были уничтожены правдой, ничего иррационального в них нет.

Потому вместо того, чтобы уничтожать эмоциональную энергию, вызванную плохим объяснением радуги, как того требует стереотип рациональности по-голливудски, давайте перенаправим её на реальность — свяжем её с убеждениями настолько истинными, насколько получится.

Хотите летать? Не бросайте саму идею полёта. Бросайте придумывать зелья полёта и стройте самолёт.

Помните, в эссе «Думай как реальность» я рассуждал о том, что если кажется, будто физика противоречит интуиции, то это не физика странная, это ты — странный?

Сейчас я говорю примерно о том же, только вместо гипотез у нас эмоции. Привяжите свои чувства к реальному миру. Не к «реалистичной» повседневности. Я был бы ужасным лицемером, если бы призывал вас заткнуться и идти делать домашнюю работу. Я имею в виду настоящий реальный мир — Вселенную и её законы, со всем её абсурдом вроде посадки на Луну и эволюции интеллекта человека. Но в котором нет магии, нигде и ни в каком виде.

Мем рациональности по-голливудски гласит: «Наука лишает жизнь веселья».

Наука возвращает веселье в жизнь.

Рациональность направляет вашу эмоциональную энергию во Вселенную, а не куда-то ещё.

Перевод: 
sepremento, Alaric, ildaar
Номер в книге "Рациональность: от ИИ до зомби": 
204
Оцените качество перевода: 
Средняя оценка: 5 (9 votes)

Если вам нужна магия, магия не поможет

Элиезер Юдковский

Большинство ведьм вообще не верят ни в каких богов. Они, конечно, знают, что боги существуют. Мало того, время от времени им даже приходится иметь с ними дело. Но вот верить… Нет, в богов ведьмы не верят. Слишком уж хорошо они знают этих самых богов. Это все равно что верить, например, в почтальона.

— Терри Пратчетт, «Ведьмы за границей».1

Когда-то давно я размышлял о философии фэнтези…

И прежде чем кто-то попрекнёт меня, мол, я «не понял, в чём суть фэнтези», позвольте пояснить: я вырос среди научной фантастики и фэнтези. Я читаю фэнтези с пяти лет. Иногда я пытаюсь писать фэнтези. И я не из тех людей, что пытаются писать, не задумавшись предварительно над философией жанра. Откуда по-вашему берутся идеи?

Как бы то ни было:

Я размышлял о философии фэнтези и мне пришло в голову, что существуй в мире настоящие драконы — если бы можно было пойти в зоопарк или хотя бы в далёкие горы и встретить огнедышащего дракона, — но при этом никто никогда не встречал бы зебру, то драконы бы не будоражили воображение, а фэнтези изобиловало бы зебрами.

Как по мне, это прекрасный способ загнать себя в угол. Трава всегда зеленее по другую сторону нереальности.

Возьмём типичный сюжет для фэнтези: протагонист с Земли — неплохой малый, который плохо учился в школе или задолжал за ипотеку, однако всё ещё добр душой — внезапно оказывается в мире, где магия заняла место науки. Часто протагонист начинает заниматься магией и постепенно становится (могущественным) чародеем.

Итак, вопрос, несколько грубый, но его нужно задать:

Скорее всего, большинство читателей таких романов представляют себя на месте протагониста и мечтают получить магические способности. Жаждут магии. Также, за исключением небольшого числа людей, большинство читателей этих романов учёными не являются.

То есть, родившись в мире науки, учёными они не стали. Почему они думают, что они вели бы себя по-другому, если бы родились в мире магии?

Научный подход — это способность заинтересоваться обыденным, это умение понять, что ничто не «просто». Если человек не способен заинтересоваться обыденным, чем ему поможет магия? Если он обнаружит в себе магию, она окажется обыденностью. Она перестанет очаровывать своей недоступностью. Да, возможно, сперва он обрадуется, но (как у большинства выигравших в лотерею, которые спустя шесть месяцев оказались вовсе не столь счастливы, как они ожидали) радость скоро исчезнет. Скорее всего, это произойдёт именно тогда, когда придётся всерьёз изучать заклинания.

Разве что они научатся наслаждаться обыденностью. Если полёт на дельтаплане их будет восхищать так же, как поездка на драконе. Если электрический свет восхитит их не меньше, чем магический… даже если для этого придётся немного подучиться…

Поймите меня правильно, я не против драконов. Кто знает, когда-нибудь мы, возможно, даже создадим парочку.

Но если вас не радует полёт на обыденном дельтаплане, то вряд ли вас восхитит полёт на драконе, когда они станут реальностью.

Думаете, что предпочли бы жить в будущем, а не в настоящем? Такое предпочтение вполне понятно. Кажется, с течением времени мир становится лучше.

Но не забывайте: для Тёмных Веков тысячелетней давности мы живём в будущем. У нас есть возможности, о которых не могли мечтать даже короли.

Если тренд сохранится, то будущее, вероятно, будет очень приятным местом. Но если вы до него доживёте, то обнаружите всего лишь новое настоящее. Если вы в целом не способны радоваться настоящему, если эмоциональная энергия уходит исключительно в будущее, если вы умеете надеяться только на лучшее завтра, то не важно, на какое время нужно перенестись – это не поможет.

(Да, возможно, в будущем появятся таблетки, которые решат проблему с эмоциональной привязкой к будущему. Не думаю, что это как-то меняет мою основную мысль. Важно то, какие таблетки мы захотим принимать.)

Мэтью С.2 в своих комментариях на LessWrong восхищается неформальной «теорией» Руперта Шелдрейка, которая «объясняет» такие не требующие объяснения явления как сворачивание белка и симметрия снежинки. Почему же Мэтью С. не восхищается, например, специальной теорией относительности? Почему его не радует СТО, которая является одним из признанных законов? Восхищаться признанным и верным законом гораздо удобнее — такое восхищение не испарится.

Если бы теория Шелдрейка была признанной истиной и преподавалась в начальной школе, то Мэтью С. было бы на неё наплевать. С чего бы ему восхищаться одним законом физики больше, чем остальными?

Можете ли вы представить более ужасную катастрофу для движения Нью-эйдж, чем обнаружить, что их ритуалы и в самом деле работают? Или, допустим, что в небе появились настоящие «летающие тарелки». Какой смысл верить в инопланетян, если вот они – просто существуют, и все остальные тоже их видят? В мире, где паранормальные способности обыденны, последователи Нью-эйдж не стали бы в них верить. Сейчас же практически никому не приходит в голову верить в гравитацию. (Кроме учёных, разумеется.)

Почему я так настроен против магии? Разве не лучше было бы, если бы она существовала?

Вообще-то я не против магии. Напомню: иногда я пытаюсь писать фэнтези. Но меня раздражают подобные мечтания о магии. При таком подходе родившийся в мире заклинаний и зелий тосковал бы о мире, где налажено конвейерное производство предметов обихода.

Чтобы привязаться к реальности, как на эмоциональном, так и на интеллектуальном уровне, нужно в том числе примириться с фактом, что вы живёте именно здесь. Только так можно увидеть мир и все возможности, которые он даёт, без желания отвести взгляд.

Скажу прямо: в мире, где я родился, хватает драконов, чтобы с ними сражаться, и магии, чтобы её изучать. А если я вдруг окажусь в каком-то из фэнтези-миров, то не удивлюсь, обнаружив себя за изучением запретного могущественного заклинания.

Ведь перемещение в мир магии ничего не меняет. Важно не где ты, а кто ты.

А потому запомните Литанию против перемещений в альтернативную вселенную:

Если я собираюсь:
Где-либо быть счастливым,
Или в чем-то достичь величия,
Или где-то разгадывать тайны,
Или мир какой-то спасти,
Или о чём-то сильно заботиться,
Или где-то помочь людям,
То я вполне могу это сделать и здесь.

  • 1. Использован перевод П. Киракозова. — Прим.перев.
  • 2. Речь идёт о том же пользователе, который упоминался в эссе «Редукционизм». — Прим.перев.
Перевод: 
sepremento, Alaric, ildaar
Номер в книге "Рациональность: от ИИ до зомби": 
205
Оцените качество перевода: 
Средняя оценка: 5 (16 votes)

Обыденная магия

Элиезер Юдковский

Я считаю, что рационалисту следует эмоционально привязываться к редукционистской вселенной — вселенной, которой полностью управляют строгие законы и в которой нет таких сверхъестественных сущностей, как душа или магия. Рационалисту стоит вкладывать всю свою надежду и всё своё внимание в эту обычную вселенную и её возможности, принимая её такой, какая она есть.

У буддистов есть старый трюк для борьбы с дуккха: надо составить список вещей, за которые ты благодарен, вроде крыши над головой.

Так почему бы не составить список способностей, которые есть у нас и которые были бы супер крутыми, если были бы магией или если бы ими обладали лишь избранные?

Например, предположим, что вместо одного глаза у нас во лбу был бы ещё магический второй глаз. И этот второй глаз позволял бы нам заглядывать в третье измерение — то есть, можно было бы легко сказать, насколько далеко находится тот или иной предмет, — в то время как один глаз позволял бы видеть только двумерную тень настоящего мира. Лишь те, у кого был бы такой второй глаз, могли бы точно целиться из легендарного оружия, убивающего на расстоянии, гораздо большем досягаемости меча. Или на полную мощь использовать сверхбыстрые механизмы, именуемые «автомобилями».

«Бинокулярное зрение» — не слишком интересное название для такой крутой способности. Она нас впечатлит, лишь если получит достойное, внушающее уважение имя. Например: «Мистический Глаз Глубокого Восприятия».

Вот вам список моих любимых магических способностей:

  • Вибрационная телепатия. Обладатели этой способности способны передавать невидимые вибрации через сам воздух, и это позволяет им делиться мыслями. Благодаря этому вибрационные телепаты создают друг с другом очень глубокие эмоциональные связи, недоступные другим приматам.

  • Психометрическое узорничество. Психометрический узорник оставляет на поверхностях небольшие аккуратные узоры и благодаря этому может оставлять впечатления об эмоциях, истории, знаниях, даже о структуре других заклинаний. Эта способность гораздо сильнее, чем вибрационная телепатия, так как узорник способен делиться мыслями давно умерших узорников, живших тысячи лет назад. Смотря на один узор и одновременно рисуя другой, узорник способен множить узоры, а эти узоры могут содержать подробное описание другой магии. Поэтому маги-узорники владеют практически невообразимыми силами. Но если узорник попробует использовать сложный узор, который не в состоянии нарисовать сам, у него могут появиться проблемы.

  • Многомерный кинез. Простейшим, практически неосознаваемым волевым усилием кинетики направляют экстраординарно сложные силы сквозь крохотные щупальца в любой физический объект в пределах досягаемости. Кинетики способны не просто толкнуть объект, а произвести несколько разных толчков с различных направлений, что позволяет создавать вращающие моменты и искривления. Эта способность не так проста, как кажется. Кинетики используют ее не только для управления уже существующими объектами с потрясающей точностью, они ещё и заставляют силы изменять объекты так, что ими становится ещё проще управлять. Кинетики даже создают инструменты, увеличивающие силу их кинеза, которые, в свою очередь, позволяют создавать еще более точные и сложные инструменты. Надеюсь, вы понимаете, насколько впечатляющей является такая цепь положительной обратной связи.

  • Око. Владеющий этой способностью способен замечать мельчайшие движущиеся возмущения в Силе, что скрепляет материю — крохотные колебания, подобные дарящим жизнь силам Солнца, падающим на листву, но гораздо менее заметные. Носитель Ока может ощущать объекты, находящиеся на расстоянии, намного превышающем расстояние касания, благодаря мелким возмущениям в Силе, которые создают эти объекты. Носители Ока способны постичь горы, до которых нужно идти много дней, с той же лёгкостью, как если бы до них можно было достать рукой. Согласно носителям Ока, когда опускается ночь и гаснет свет солнца, они могут ощущать огромные пылающие огни на немыслимом расстоянии. Впрочем, никто не способен это проверить. Говорят, обладание Оком делает его носителя равным королям.

И наконец,

  • Абсолютная Сила. Обладающий этой способностью вмещает в себе крохотную, несовершенную копию всей вселенной, что позволяет ему выискивать пути в вероятностях к любому желаемому будущему. Если вам кажется, что эта способность могущественна до абсурда, вы правы. Если она появляется в какой-то игре, она рушит весь игровой баланс. Среди жизненных форм она встречается невероятно редко. Это воистину «тайная техника мира».

    Ничто не может противостоять Абсолютной Силе, кроме другой Абсолютной Силы. Любая сила, не дотягивающая до абсолютной окажется просто «осмыслена» Абсолютной и рассеяна каким-нибудь непостижимым образом. Возможно, Абсолютная Сила даже поглотит её и сделает частью своего могущества. Поэтому, Абсолютная Сила иногда зовется «Главной техникой техник» или «Козырем, который бьёт все другие козыри». «Осмысление» самых могущественных Абсолютов распространяется на галактические расстояния и целые временные эпохи. Такие Абсолюты способны постигнуть даже странные законы тайного «мира за миром».

    Абсолюты погибают от крупных природных катастроф или от невероятно быстрых внезапных атак, которые не дают им возможности использовать свою силу. Но такие победы над Абсолютами, в сущности, вопрос удачи. Они не ставят под сомнения способность Абсолюта подчинять вероятности своей воле, и, если он переживет атаку, то начнёт подчинять само Время, чтобы избежать атак в будущем.

    Однако Абсолютная Сила опасна сама по себе, и множество Абсолютов пали жертвой собственных сил – ошибки в их несовершенных внутренних копиях мира уничтожили их.

    Абсолют остаётся одной из опаснейших жизненных форм на планете, даже если его лишить оружия и брони и запереть в клетке. Можно сломать меч, можно отрубить конечность, но Абсолютную Силу невозможно отобрать, не убив её носителя.

    Возможно из-за того, что связь Абсолютов со своей Силой очень сильна, Абсолюты относятся к тем, кто утратил Абсолютную Силу без надежды на восстановление, как к «мёртвым, пусть и дышащим». Абсолюты утверждают, что именно Абсолютная Сила делает существо самим собой, что это не просто средство. Абсолюты даже настаивают на том, что те, кто не обладает Абсолютной Силой, не в состоянии по-настоящему её осмыслить, и, следовательно, не могут понять, почему она настолько необходима – подозрительно удобный аргумент, кстати.

    Власть Абсолютов неоспорима, и другие формы жизни для них не более чем пешки.

Перевод: 
Muyyd, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
206
Оцените качество перевода: 
Средняя оценка: 3.1 (46 votes)

Красота устоявшейся науки

Элиезер Юдковский

Фактам не нужно быть необъяснимыми, чтобы быть красивыми. Истина не становится менее достойна изучения если кто-то другой её уже знает. Убеждения не становятся менее стоящими, если их разделяют другие…

…к тому же, если обращать внимание только на спорные научные вопросы, то голова в конце-концов окажется забита мусором.

СМИ считают, что только самые сенсационные научные открытия достойны репортажей. Часто ли вам встречаются заголовки наподобие «Общая теория относительности всё ещё управляет орбитами планет» или «Теория флогистона остаётся ложной»? Получается, как только сенсационное открытие становится устоявшейся наукой, оно больше не горячая новость. А наука, которая «достойна репортажа», часто основана на мельчайших доказательствах и в половине случаев ошибочна. Не находись она на самом краю переднего рубежа научного знания, не быть ей горячей новостью.

Научные противоречия обычно касаются настолько сложных вещей, что даже люди, посвятившие годы изучению конкретной области, могут заблуждаться. Это-то и делает жаркие споры такими привлекательными для СМИ.

Что ещё хуже, такие противоречия вообще не приносят удовольствия тому, кто не разбирается в данной области и не принимает участия в этой игре.

Конечно же, можно повеселиться, выбрав за кого болеть в споре. Но тогда это мало чем отличается от футбола. А удовольствие от науки заключается не в этом.

Читая хорошо написанный учебник, получаешь: аккуратно сформулированные объяснения для начинающих учеников, шаг за шагом выведенную математику (где она используется), большое количество экспериментов, приведённых в качестве наглядного материала (там, где они применяются), тестовые задания на которых можно проявить только что полученные навыки, а ещё достаточно хорошую гарантию того, что изучаемое на самом деле верно.

Читая пресс-релизы, обычно получаешь: лжеобъяснения, которые дают лишь иллюзию понимания обсуждаемого результата, который автор пресс-релиза и сам не понял, и который, скорее всего, никто не сможет повторить.

Современная наука построена на открытиях, построенных на открытиях, построенных на открытиях, и так далее, вплоть до людей вроде Архимеда, которые открыли факты, наподобие причины плавания кораблей. Вплоть до открытий, которые можно понять, даже ничего не зная о других открытиях. Самое лучшее место, с которого стоит начинать путешествие — это начало.

Не надо стесняться читать научные книги для начинающих. Если хочется притвориться утончённым знатоком, пойди и почитай детектив. Если просто хочется получить удовольствие — помни, что простота находится в самом центре научной красоты.

Считать, что можно сразу же отправиться на передний рубеж накопленных знаний, не будучи знакомым с устоявшейся наукой — это всё равно, что…

…пытаться взобраться по верхней половине Эвереста (а это единственная его часть, которая тебе интересна) встав у подножия горы, приседая, и подпрыгивая очень старательно (чтобы пропустить все неинтересные части)

Я, на самом деле, не пытаюсь сказать, что на научные разногласия вовсе не надо обращать внимания. Если 40% онкологов считают, что белые носки вызывают рак, а другие 60% яростно с ними спорят — это важный факт и о нём стоит знать.

Просто не стоит думать, что противоречия — это то, без чего наука не может быть интересной.

И уж тем более не надо думать, что интересной может быть лишь новейшая наука. Стабильная подпитка научными новостями вредит: ты — то, что ты ешь. Если потреблять только скоропортящиеся новости и никогда не читать проверенные временем учебники, то так и мозг может сгнить.

Перевод: 
Нефёдов Е.А.
Номер в книге "Рациональность: от ИИ до зомби": 
207
Оцените качество перевода: 
Средняя оценка: 5 (3 votes)

Первое апреля: День удивительного открытия

Элиезер Юдковский

Вы, наверное, думаете: «Первое апреля… разве это не день дурака?»

Да. И это даёт нам идеальное прикрытие для празднования Дня удивительного открытия.

Как я уже писал в «Красоте устоявшейся науки», когда СМИ пишут о науке, они сосредотачиваются только на сенсациях. И это большая проблема. Сенсации в науке возникают лишь на самом переднем крае, а это значит, что новое открытие:

  • Спорно;
  • Подтверждено лишь одним экспериментом;
  • Ужасно сложно для простого смертного. Чтобы его понять, нужно огромное количество предварительных знаний — собственно, поэтому оно и не произошло ещё три столетия назад.
  • Впоследствии окажется неверным.

При этом людям не показывают надёжные знания, не говоря уже о понятных вещах — ведь это не сенсации.

В День удивительного открытия я предлагаю журналистам, которым действительно важна наука, рассказывать читателям — под прикрытием первого апреля — такие важные, но забытые истории, как:

Обратите внимание, что все заголовки истинны — они описывают события, которые на самом деле произошли. Правда, не вчера.

В истории науки было множество удивительных открытий, которые поймёт практически любой. Даже человек без кандидатской степени или вообще без высшего образования. Вспомните, как Архимед воскликнул «Эврика!» в тот миг, когда понял связь между объёмом воды, который вытесняет корабль и причиной его плавучести. По меркам науки это произошло достаточно давно, и поэтому для понимания теории не нужно знать о пятидесяти других открытиях. Для её объяснения достаточно пары графиков. Любой человек понимает, как её применить. А сам эксперимент можно воспроизвести в ванной.

Современная наука строится на открытиях, которые основаны на других открытиях, а те, в свою очередь, на других открытиях и так далее вплоть до Архимеда. Рассказывать о науке только в виде сенсаций всё равно что зайти в кинотеатр на последней четверти фильма, написать заметку о том, как «окровавленный мужчина целует девушку с пистолетом», и выйти.

А если ваш редактор скажет: «Но читателям это будет неинтересно…»

Тогда скажите, что на Reddit и Digg бывают ссылки не только на сенсации. Ещё бывают ссылки на короткие статьи с добротными объяснениями устоявшейся науки. Читатели голосуют «за», а это о чём-то говорит. Объясните, что если газета не будет похожа на Reddit, то, чтобы платить зарплату, придётся продавать наркотики. Редакторам нравятся такие разговоры, да?

В Интернете новое качественное объяснение устоявшейся науки — это новость и распространяется подобно новости. Так почему бы научным разделам в газетах не взять этот способ на вооружение? Почему новое объяснение не достойно колонки?

Однако это будет уже следующим шагом. Пока что давайте понаблюдаем, подхватят ли журналисты идею с «Днём удивительного открытия» и расскажут ли о каком-то понятном научном событии так, как будто оно только что произошло.

Первое апреля. Запишите себе в календарь.

Перевод: 
sepremento, Alaric, ildaar
Номер в книге "Рациональность: от ИИ до зомби": 
208
Оцените качество перевода: 
Средняя оценка: 4.7 (7 votes)

Гуманизм — замена религии?

Элиезер Юдковский

Задолго до братьев Райт человек мечтал о волшебных зельях, позволяющих летать. В самом по себе желании летать не было ничего иррационального. Не было ничего зазорного в желании посмотреть на облако сверху вниз. Иррациональность крылась лишь в «волшебных зельях».

Предположим, пока я смотрел запуск космического шаттла, меня положили в томограф и записали активность моего мозга. (Хотя желание полететь в космос не «реалистично», это в общем-то правомочная мечта — её можно осуществить согласно законам вселенной). Не исключено, что записанная активность будет похожа на активность мозга набожного христианина при виде картины с изображением Рождества.

Если эксперимент действительно даст такой результат, то многие, как христиане, так и некоторые атеисты, позлорадствуют: «Ха-ха, так значит, твоя религия — космические полёты!»

Однако подобное проведение границ неверно. Это всё равно что считать, что раз кто-то когда-то пытался взлететь при помощи иррациональных средств, то теперь никому никогда нельзя наслаждаться видом облаков под крылом самолёта.

Хотя при виде запуска космического корабля я и испытываю ощущение прикосновения к чему-то запредельному, я не считаю, что космические корабли для меня — суррогат религии. Считать иначе было бы теоморфизмом — точкой зрения злорадствующих фанатиков, которые считают, что у всех нерелигиозных людей есть некая дыра в сознании, которая требует заполнения.

Впрочем, справедливости ради, не всегда это просто злорадство. У некоторых атеистов действительно есть такая дыра в сознании. Я наблюдал попытки заменить религию атеизмом или даже трансгуманизмом. Результат неизменно ужасен. Крайне ужасен. Абсолютно унизительно ужасен.

Я называю такие ситуации «гимнами отсутствию Бога».

Когда кто-нибудь начинает писать атеистический гимн — «Славься, о неразумная вселенная», ну и так далее — в результате всегда, без исключений, получится отстой.

Почему? Потому что это подражание. Потому что такие гимны появляются на свет исключительно из-за смутного ощущения, что раз у церквей есть гимны, то нам тоже надо завести свой. И на художественном уровне результат получается значительно хуже искреннего религиозного искусства, которое выражает подлинные эмоции, а не подражает чему-то.

Религиозные гимны (в большинстве своём) писали искренне верующие люди, которые вкладывали все свои силы в ритм, стихи и образы. В итоге получались изящные и художественно целостные произведения.

Так что же, атеисты обречены жить без гимнов?

Вот вам лакмусовая бумажка для проверки на пост-теизм: «Если бы у человечества никогда не было религии — если бы мы не допустили первородной ошибки — имела ли бы смысл эта песня, эта картина, этот ритуал, этот способ мышления?»

Если бы человечество не допустило первородной ошибки, никто не пел бы гимны отсутствию Бога. Однако браки всё равно бы существовали, поэтому церемония атеистического бракосочетания точно имеет смысл — во всяком случае пока вам неожиданно не приходит в голову толкнуть на ней речь о том, что Бога нет. Потому что в мире, где религии никогда не было, никто не станет прерывать свадьбу разговором о невозможности гипотетической концепции. Люди будут говорить о любви, детях, ответственности, честности, преданности, но кто, блин, вспомнит Бога?

Так же и в мире, где никогда не существовала религия, найдутся люди, которые прослезятся, наблюдая за запуском космического шаттла.

Именно поэтому, даже если эксперимент покажет, что когда я смотрю запуск шаттла, у меня активируются те же зоны мозга, которые обычно «отвечают за религию» и связаны с чувством чего-то запредельного, я не буду считать космические корабли подменой религии. Я ожидаю, что те же самые зоны мозга стали бы активными по тем же самым причинам даже в том мире, где никогда не существовала религия.

Хороший «атеистический гимн» — это просто песня, не содержащая религиозных мотивов, о чём угодно, достойном песни.

Помимо прочего, обратное глупости не есть ум. Величайший дурак в мире может заявить, что Солнце светит и это не заставит его погаснуть. Смысл не в том, чтобы создать образ жизни, во всех отношениях как можно менее похожий на религию — именно такой стиль мышления заставляет писать гимны отсутствию Бога. Не соверши человечество первородной ошибки, никто не пытался бы избегать вещей, напоминающих религию. Выбирайте убеждения с умом, а чувства приводите в соответствие с убеждениями: если полёты в космос существуют на самом деле, а взлёт ракеты заставляет вас петь, то напишите, чёрт возьми, песню!

Если мои глаза наполняются слезами от запуска космического шаттла, то это не значит, что я пытаюсь заполнить дыру, которая осталась от религии — это значит, что моя эмоциональная энергия, моё небезразличие связаны с реальным миром.

Если бы Бог говорил отчётливо и ясно отвечал на молитвы, то он стал бы очередным скучным элементом повседневности. Верить в него было бы всё равно, что верить в почтальона. Если бы Бог действительно существовал, то пропала бы внутренняя неопределённость, которая вызывает тягу к действиям для своей компенсации. А если бы в Бога верили все вокруг, то пропало бы чувство своей особенности, ощущение себя одним из избранных.

Если вы вкладываете свою эмоциональную энергию в космические полёты, у вас нет таких проблем. Я могу смотреть на взлёт космического шаттла и всё равно восхищаться. Любой человек может верить, что космические шаттлы реальны, но это не сделает их менее особенными. Я не загнал себя в угол своими фантазиями.

Выбор между Богом и человечеством — это не выбор препарата для галлюцинаций. В конце концов, человечество и впрямь существует.

Перевод: 
sepremento, Alaric, ildaar
Номер в книге "Рациональность: от ИИ до зомби": 
209
Оцените качество перевода: 
Средняя оценка: 4.6 (9 votes)

Дефицит

Элиезер Юдковский

Нижеследующее в основном взято из книги Роберта Чалдини «Психология влияния»1. Я держу у себя эту книгу в трёх экземплярах: один для себя и ещё два, чтобы одалживать друзьям.

Социальная психология называет «дефицитом» ситуацию, когда нечто становится более желанным, если кажется, что оно менее доступно.

  • Если двухлетний малыш окажется в комнате с двумя игрушками, одна из которых легко доступна, а другая находится за плексигласовой стеной, то малыш проигнорирует доступную игрушку и пойдёт к той, что кажется запретной. Если стена достаточно низкая и через неё легко перелезть, то разница в предпочтении между игрушками исчезает.2
  • Когда в округе Дейд запретили покупать и хранить фосфатные моющие средства, многие жители ездили в соседние округа и покупали огромное количество этих средств. По сравнению с жителями округа Тампа, где такого запрета не было, жители округа Дейд считали, что фосфатные средства мягче, эффективнее, лучше справляются с въевшимися пятнами, и даже полагали, что фосфатные моющие средства легче наливать.3

Аналогично, информация, которая подаётся как запретная или секретная, кажется более важной и достоверной.

  • Когда студенты университета Северной Каролины узнавали, что критика совместных общежитий запрещается, они начинали хуже относиться к совместным общежитиям (даже не знакомясь с этой критикой).4
  • Когда у водителя была страховка ответственности, то присяжные в эксперименте назначали его жертве в среднем на четыре тысячи долларов компенсации больше, чем если у него такой страховки не было. Однако, если впоследствии судья говорил присяжным, что информация о страховке недоступна и её нужно игнорировать, то присяжные назначали в среднем на тринадцать тысяч долларов больше, чем если у водителя не было страховки.5
  • Покупатели в магазинах, которым говорили, что говядина в дефиците, покупали говядины в два раза больше тех, кому говорили, что её достаточно. Покупатели, которым говорили, что говядина в дефиците и более того, информация об этом дефиците сама по себе дефицит — то есть мало кто знает, что говядины мало — покупали в шесть раз больше. (Поскольку исследование проводилось в полевых условиях, информация была фактически правдивой.)6

Обычно это явление объясняется «психологическим реактивным сопротивлением». Это словосочетание для социальных психологов заменяет фразу: «когда говоришь людям чего-то не делать, они начинают прикладывать ещё больше усилий». Судя по всему, здесь задействованы такие фундаментальные инстинкты, как сохранение статуса и сохранение возможностей. Когда какие-то другие люди пытаются ограничить нашу свободу, мы сопротивляемся. А когда есть риск потерять некую возможность, пусть даже по естественным причинам, мы пытаемся ухватиться за неё до исчезновения.

В обществе охотников-собирателей привычка хвататься за исчезающие возможности, вероятно, была довольно полезной — собирай фрукты, пока они пригодны в пищу. Однако в денежном обществе она может обойтись довольно дорого. Чалдини пишет, что в одном из магазинов бытовой техники, за которым он наблюдал, продавец, обнаружив интерес покупателя к какому-либо прибору, подходил и печально рассказывал, что товар закончился и последний экземпляр продали всего двадцать минут назад. Дефицит приводил к усиливающемуся желанию купить этот товар, и покупатель часто спрашивал, есть ли возможность найти такой же товар в кладовке, на складе, где угодно. «Хорошо, — отвечал продавец, — возможно, он где-то остался, я готов пойти и проверить. Однако, я правильно понимаю, что вам нужна именно эта модель и что вас устраивает её цена?»

Чалдини отмечает, что основной сигнал, на который стоит обращать внимание, — это желание обладать вещью, а не использовать. (Тимоти Феррис даёт похожий совет о планировании жизни: стоит спрашивать себя, какие переживания сделают вас счастливыми, а не какие приобретения или перемены в статусе.)

Однако самая главная проблема в желании недоступного заключается в том, что как только вы это получаете, оно перестаёт быть недоступным. Если мы не можем наслаждаться всего лишь доступным, наши жизни всегда будут полны разочарования…

  • 1. Автор ссылается на издание: Robert B. Cialdini, «Influence: The Psychology of Persuasion: Revised Edition» (New York: Quill, 1993). Книга переводилась на русский язык, но содержание различных изданий может немного отличаться. — Прим.перев.
  • 2. Sharon S. Brehm and Marsha Weintraub, «Physical Barriers and Psychological Reactance: Two-year-olds’ Responses to Threats to Freedom», «Journal of Personality and Social Psychology» 35 (1977): 830–836.
  • 3. Michael B. Mazis, Robert B. Settle, and Dennis C. Leslie, «Elimination of Phosphate Detergents and Psychological Reactance», «Journal of Marketing Research» 10 (1973): 2; Michael B. Mazis, «Antipollution Measures and Psychological Reactance Theory: A Field Experiment», «Journal of Personality and Social Psychology» 31 (1975): 654–666.
  • 4. Richard D. Ashmore, Vasantha Ramchandra, and Russell A. Jones, «Censorship as an Attitude Change Induction», «Paper presented at Eastern Psychological Association meeting» (1971).
  • 5. Dale Broeder, «The University of Chicago Jury Project», «Nebraska Law Review» 38 (1959): 760–774.
  • 6. A. Knishinsky, «The Effects of Scarcity of Material and Exclusivity of Information on Industrial Buyer Perceived Risk in Provoking a Purchase Decision» (Doctoral dissertation, Arizona State University, 1982).
Перевод: 
sepremento, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
210
Оцените качество перевода: 
Средняя оценка: 4.9 (8 votes)

Священная обыденность

Элиезер Юдковский

Я готовился к диалогу с Адамом Франком на Bloggingheads1 и читал его книгу «Постоянный огонь»2. Это книга о восприятии священного. Возможно, я редко об этом упоминаю, но, конечно, мне знаком опыт, о котором пишет Франк. Я испытываю подобные чувства, когда смотрю видео о запуске космического корабля. Или, в меньшей степени, поскольку это гораздо более частое явление, когда смотрю ночью на звёзды и думаю, что они значат. Или, например, думаю о рождении ребёнка. Обо всём, что важно для разворачивающейся истории.

Адам Франк считает, что наличие такого опыта является важным общим свойством науки и религии. А не, например, что возможность испытывать подобные чувства — это свойственное человеку качество, которое религия лишь портит.

«Постоянный огонь» цитирует «Многоообразие религиозного опыта» Уильяма Джеймса:

Итак, условимся под религией подразумевать совокупность чувств, действий и опыта отдельной личности, поскольку их содержанием устанавливается отношение её к тому, что она почитает Божеством.3

И эта тема развивается далее: священность — это нечто индивидуальное и личное.

Эта мысль меня всерьёз поразила. Предполагается, что у меня не может быть чувства прикосновения к священному, если я лишь один из многих людей, смотрящих как SpaceShipOne выигрывает X-Prize? Но почему? Предполагается, что мой опыт священного обязан чем-то отличаться от опыта всех остальных людей, смотрящих ту же трансляцию? Почему, ведь у нас же мозг устроен одинаково? Вообще, зачем мне верить в то, что я уникален? (Однако это слово Адам Франк тоже активно использует в оборотах вроде «уникальный опыт священного»). Быть может, это ощущение личное в том смысле, что мы с трудом передаём друг другу любой опыт? Тогда зачем делать акцент на чувстве священного, а не на ощущениях при насморке?

И тут меня озарило: я понял, что передо мной трюк «эпистемологии Тёмной стороны»: если сделать нечто личным, оно становится недоступным для критики. Вы получаете право говорить: «Вы не можете меня критиковать, поскольку речь идёт о моём личном опыте, а у вас никогда не будет к нему доступа, чтобы его оспорить».

Однако за такую защиту от критики приходится платить одиночеством. Тем самым одиночеством, которым Уильям Джеймс восхищался как основой религиозного опыта. Словно одиночество это что-то хорошее.

Чтобы понять, как религия может вывернуть чувство священного, имеет смысл подумать о следующих реликтах эпистемологии Тёмной стороны:

Загадочность: почему священное должно быть загадочным? Космический корабль можно запустить без всякой тайны. Насколько меньше я ценил бы звёзды, если бы не понимал, чем они являются на самом деле, если бы они были для меня лишь точечками в ночном небе? Однако если кто-то оспаривает ваши религиозные чувства, например, задаёт вопрос: «Почему Бог не исцеляет людей, которые потеряли конечности?», вы глубокомысленно изрекаете: «Это священная тайна!» Чтобы защитить ложь, есть вопросы, которые нельзя задавать, и ответы, которые нельзя подтвердить. И такая невозможность получить ответ начинает ассоциироваться со священным. И за защиту от критики вы платите подлинным любопытством, которое искренне желает найти ответы на вопросы. Вы поклоняетесь собственному невежеству в вопросах, на которые ваше поколение пока не нашло ответов. Возможно, даже в вопросах, на которые ответы уже есть.

Вера: давным-давно, когда люди были более наивны и даже вполне разумные люди верили в каких-нибудь богов, религия строила свою репутацию на свидетельствах о чудесах в своих священных писаниях. И христианские археологи всерьёз рассчитывали найти остатки Ноева Ковчега. Но когда никаких подтверждающих свидетельств обнаружить не удалось, религия сделала то, что Уильям Бартли назвал «Возвращение к убеждению»4. «Я верю, потому что я верю!» И так вера без достаточных свидетельств стала ассоциироваться с опытом священного. И ради защиты от критики вы жертвуете своей способностью ясно мыслить в вопросах, которые касаются священного для вас, а также способностью понимать священное и умением отказываться от ошибок.

Экспериенциализм: если раньше вы считали, что радуга — это священный договор между Богом и человечеством, а потом осознали, что Бога не существует, вы можете «сбежать к чистому опыту», то есть начать хвалить себя за то, что испытываете такие чудесные ощущения, когда думаете о Боге, — не важно, существует он или нет. Платой за защиту от критики становится солипсизм: ваш опыт отрывается от всего, на чём он основан. Наверняка смотреть на взмывающий в пламени космический корабль и думать: «На самом деле же неважно, существуют космические корабли или нет, важно то, что я сейчас чувствую», сопровождалось бы ужасной пустотой внутри.

Отстранение: если область священного не подчиняется обыденным правилам свидетельств и её невозможно исследовать обыденными средствами, значит, она обязана существенно отличаться от мира обыденного. Поэтому мы с гораздо меньшей вероятностью будем думать о космических кораблях, как о чём-то, возможно, священном, ведь это творение обыденных человеческих рук. Китс перестал восторгаться радугой и низвёл её в «каталог унылых и обыденных вещей» за то, что стало известно её устройство — ужасное преступление. И за защиту от обыденной критики вы платите тем, что ничто обыденное больше не будет для вас священным.

Личное: про это я уже сказал выше.

Именно из-за этих искажений мы не должны ни в коем случае спасать религию. Даже в форме «духовности». Если убрать общественные институты и фактические ошибки, отказаться от церквей и писаний, останется… вся эта чушь про загадочность, веру, солиптический опыт, личное одиночество и отрыв от реальности.

Изначальная ложь — лишь начало проблемы. Кроме неё есть множество дурных привычек мышления, которые выработались, чтобы её защищать. Религия — это кубок с ядом, и мы изо всех сил должны стараться из него не пить. Духовность — это такой же кубок. Да, из него вытащили исходную ядовитую пилюлю. Но какая-то часть яда уже успела раствориться и осталась в кубке. Питьё стало немного менее смертельным, но лучше его не пробовать.

Когда ложь защищается веками, подлинное происхождение привычек теряется в тумане, его скрывают множество слоёв недокументированной болезни. В таких случаях, полагаю, мудрее начать с нуля, а не пытаться выборочно отказываться от исходной лжи, сохраняя привычки мышления, выработанные, чтобы её защищать. Просто признайте, что вы неправы. Откажитесь от ошибки полностью. Не защищайте её больше. Не пытайтесь говорить, что в каких-то мелочах вы всё-таки правы. Просто скажите «Упс», отбросьте ошибку целиком и начните с начала.

Именно способность на самом деле, по настоящему, перестать защищать свои ошибки и признать, что ты был совершенно не прав, отличает научный опыт от религиозного. Никакая религия не в состоянии вместить в себя такую способность. Иначе она потеряет себя полностью и станет просто человечностью…

И та же самая способность позволяет просто смотреть на далёкие звёзды. В звёзды можно поверить без напряжения, не отвлекаясь на постоянно появляющиеся противоречащие свидетельства. Они по-настоящему существует, этот опыт сцеплен с реальностью и входит в разворачивающуюся историю. Звёзды можно познать, они — источник настоящей пищи для любопытства. Их можно разделить с другими людьми. Они сотканы из той же ткани, что и вы, и всё остальное. Прекрасны и священно обыденны.

  • 1. К сожалению, страница c этим диалогом как-то странно исказилась: при правильном названии и временных кодах на ней показывается совершенно другое видео. — Прим. перев.
  • 2. Adam Frank, «The Constant Fire: Beyond the Science vs. Religion Debate» (University of California Press, 2009).
  • 3. Использован перевод В. Г. Малахиевой-Мирович, М. В. Шик, под ред. С. В. Лурье. — Прим. перев.
  • 4. Англ. «retreat to commitment». Это название одной из книг Бартли. — Прим. перев.
Перевод: 
Alaric, Remlin
Номер в книге "Рациональность: от ИИ до зомби": 
211
Оцените качество перевода: 
Средняя оценка: 5 (2 votes)

Чтобы распространять науку, держите её в тайне

Элиезер Юдковский

Порой мне кажется, что пифагорейцы были правы.

Да, я писал, что «наука» публична по своей природе. Я писал, что «наука» отличается от всего лишь рационального знания принципиальной возможностью воспроизвести эксперимент самостоятельно, а не полагаться на авторитет. Я утверждал, что «науку» следует определять как доступное широкому кругу лиц знание человечества. Я даже предполагал, что будущие поколения станут относиться ко всем статьям, что не были опубликованы в общедоступном журнале, как к ненаучным, а конкретнее, они не станут считать такие статьи частью публичного знания человечества, раз людям приходилось платить за чтение.

Однако можно вообразить и другое будущее. В этом другом будущем знание, которое мы сейчас называем «наукой», изъято из общественной среды — книги и журналы спрятаны и их охраняет загадочная секта из гуру в мантиях. Эти гуру делятся знанием только с теми, кто пройдёт страшные ритуалы посвящения. И всё это только ради того, чтобы люди наконец начали учиться.

Я имею в виду, вот прямо сейчас люди могут изучать науку, но не делают этого.

Социальная психология называет такой эффект «дефицитом». То, чего не хватает, ценится больше. Особенно силён этот эффект в отношении информации — если мы считаем какую-то информацию секретной, мы с большей вероятностью постараемся её получить, а после этого будем выше её ценить.

Мне кажется, что люди считают: раз информация о науке находится в свободном доступе, то ничего важного в ней нет. И поэтому вместо изучения науки люди вступают в секты, которым хватает здравого смысла держать свои Великие Истины в секрете. На самом деле Великая Истина может оказаться полным бредом, но люди стремятся к ней сильнее, чем к последовательному научному знанию. Это же тайна.

Наука — великое «похищенное письмо» нашего времени. Она на виду у всех и никто её не видит.

Разумеется, открытость науки полезна для научной элиты. Она-то уже прошла ритуалы посвящения. Но для всех остальных людей на планете из-за свободного доступа наука хранится в секрете в сотни раз эффективнее, чем если бы её скрижали стерегли в тайных хранилищах, а для получения доступа требовалось бы пройти по горящим углям. (И это был бы действительно страшный ритуал, потому что великие тайны теплоизоляции доступны только Посвящённым в Физику третьего круга.)

Будь научные знания скрыты в древних хранилищах (а не в неудобных журналах с платой за доступ), то, по крайней мере, тогда люди пытались бы попасть в эти хранилища. Они отчаянно бы старались изучать науку. Особенно если бы они сначала узрели мощь, которой владеют Физики восьмого круга, а потом им бы сказали, что они недостойны узнать объяснение этих чудес.

А при попытке создать, скажем, секту Сайентологов, да, сначала у публики появлялся бы интерес. Однако очень скоро люди начинали бы задавать неудобные вопросы, вроде: «А почему ваш восьмой круг не показывает свои способности, как Физики?». Или: «Как так получилось, что никто из магистров Математики не желает вступить в вашу секту?» Или: «Почему я должен следовать за вашим Основателем, ведь он нигде не достиг восьмого круга, кроме как в своей собственной секте?» Или: «Зачем мне заниматься в вашей секте, ведь у Дантистов Смерти есть штучки гораздо круче?»

С этой точки зрения выход математики за пределы секты пифагорейцев начинает казаться огромной стратегической ошибкой человечества.

Наверняка вы сейчас скажете: «Но ведь в науке уже полно устрашающих ритуалов посвящения! Плюс её сложно изучать просто в силу её природы! Разве это не считается?» Нет, ведь общество считает, что наука находится в свободном доступе. Раз любой может её изучать, значит, изучать её не так уж и важно.

Это вопрос имиджа. Люди строят своё поведение с оглядкой на других людей. Любой человек может пойти в магазин и купить лампочку. Никто не смотрит на неё с изумлением и благоговением. Никто не думает, что в физике процесса кроется какая-то тайна — пусть даже вы её не понимаете. На всякий случай вот вам объяснение в газете в один абзац, которое выглядит убедительно и авторитетно. В итоге никто не считает, что в лампочке есть какая-то священная тайна, вот вы и не считаете.

Даже самые простые штуки, абсолютно инертные объекты — например, кресты, — могут становиться волшебными, если все на них смотрят, как на волшебство. Но поскольку вам теоретически позволено знать, как работает лампочка, и вам не нужно для этого уходить в горы на поиски монастыря Электриков, то вы и не утруждаете себя учёбой.

Но поскольку у науки всё же есть свои ритуалы посвящения, как социальные, так и с точки зрения необходимости приложить мыслительные усилия, учёные не разочаровываются в ней полностью. Проблема в том, что в современном мире лишь очень немногие вообще начинают заниматься наукой. Она не может быть подлинным Тайным Знанием, поскольку кому угодно позволено её знать — хотя, фактически, мало кто знает.

Представьте, что для того, чтобы узнать Великую Тайну Естественного Отбора, ниспосланную Дарвином, Чьё Имя Останется в Веках, вам нужно было бы заплатить 2 тысячи долларов, пройти церемонию с мантиями, масками и факелами и принести в жертву быка. Потом вам бы показали окаменелости и оптический нерв, проходящий сквозь сетчатку, под микроскопом. И только затем наконец поведали бы Истину. Да вы бы воскликнули: «Это величайшее знание в мире!» и остались бы полностью довольны. А если бы впоследствии какая-то другая секта попыталась сказать вам, что всё это устроил бородатый мужик на небе шесть тысяч лет назад, вы бы смеялись как сумасшедший.

А, кстати, было бы весело устроить всё как-нибудь вот так. Особенно если бы обряд посвящения требовал сопоставить какие-то свидетельства самостоятельно — вместе или с одногруппниками — и лишь после этого вы могли бы сказать сенсею Науки, что готовы перейти на следующий круг. Да, это было бы не слишком эффективно, зато весело.

Если бы человечество не совершило исходной ошибки — не пошло по религиозному пути вначале и не боялось теперь всего, от чего несёт религией — тогда, возможно, получение учёной степени сопровождалось бы церемонией с литаниями и песнопениями. Людям нравится петь. Зачем лишать процесс веселья?

Может быть, мы просто поступаем неправильно.

И нет, я не предлагаю всерьёз отменить последние пятьсот лет открытости и засекретить всю науку. По крайней мере, не сейчас. Сейчас очень важна эффективность, особенно в таких областях, как медицинские исследования. Я просто объясняю, почему Тайну о том, как из всего лишь атомов возникает невыразимая разница между синевой и краснотой, я не расскажу никому меньше чем за сто тысяч долларов…

Кхм! Я хотел сказать, что предлагаю вам представить эту альтернативную Землю, чтобы вы могли посмотреть на науку и на секты одинаково. Чтобы вы по достоинству оценили научную истину, когда узнаете её, пусть даже она и кажется недостаточно защищённой, чтобы быть столь ценной. Представьте мантии и маски. Представьте, как вы прокрадываетесь в тайное хранилище и крадёте Утерянное Знание Ньютона. И не давайте обмануть себя какой угодно организации с мантиями и масками, пока они не покажут вам данных.

Создаётся впечатление, будто у людей есть дыры в сознании, которые необходимо заткнуть Эзотерическим Знанием, Страшными Секретами и Тайной Истиной. И я даже не критикую этот образ мышления! Секретные эзотерические тайные истины действительно существуют: например, квантовая механика или байесовские структуры. Мы просто привыкли представлять Тайную Истину как что-то очень неприглядное, как часть ложной обыденности.

Но если дыры для тайного знания не заткнуть истинными убеждениями, их заткнут убеждения ложные. Кроме науки изучать нечего — эмоциональная энергия либо вкладывается в реальность, либо тратится на полную ерунду, либо уничтожается. Лично я считаю, что эмоциональную энергию лучше всего инвестировать. И не стоит без надобности отказываться от веселья.

Прямо сейчас от обоих взглядов на мир мы имеем худшее. Наука на самом деле не бесплатна, ведь образование и учебники стоят дорого. Но общество считает, что раз всем позволено что-то знать, значит это неважно.

В идеале хотелось бы наоборот.

Перевод: 
sepremento, Alaric, ildaar
Номер в книге "Рациональность: от ИИ до зомби": 
212
Оцените качество перевода: 
Средняя оценка: 4.8 (13 votes)

Церемония посвящения

Элиезер Юдковский

Узкую лестницу освещали яркие факелы неправильного цвета — пламя напоминало расплавленное золото или осколки солнца.

192… 193…

Сандалии Бреннана тихо щёлкали по каменным ступеням. Звуки напоминали стук медленно падающих костей домино.

227… 228…

На полкруга ниже него по ступеням шелестел край тёмной мантии. Сам человек в мантии постоянно оставался вне поля зрения.

239… 240…

Ещё совсем чуть-чуть, предсказал сам себе Бреннан, и его догадка оказалась верной: шестнадцать раз по шестнадцать ступеней, и они оказались перед стеклянными величественными вратами.

Врата были изготовлены мастерски, с чувством юмора и великим вниманием к коэффициентам преломления. Громадные и изогнутые, они искажали свет, изгибали его, искривляли и всячески использовали его так, чтобы оставить лишь намёки на то, что скрыто за ними (ещё более сильные источники света, тёмные стены). Увидеть что-то внутри было решительно невозможно. Если только, конечно, у вас нет ключа: противо-врат, толстых там, где тонко и тонких там, где толсто. Такой ключ свёл бы эффекты исходных врат на нет.

Фигура в мантии рядом с Бреннаном вытянула обе руки, скрытые перчатками из зеркальной материи. Сверкающие пальцы ухватились за ручки искривлённых врат. Бреннан эти ручки даже не заметил: из-за повсеместных искажений об их очертаниях можно было только догадываться, но невозможно было разглядеть.

— Желаешь ли ты знать? — прошептал проводник. По громкости этот шёпот почти не отличался от обычного голоса, однако гендер говорящего понять по нему было нельзя.

Бреннан замешкался. Ответ на вопрос казался слишком очевидным. Настолько очевидным, что это выглядело подозрительно даже для ритуала.

— Да, — наконец произнёс Бреннан.

Проводник ответил одним лишь молчанием.

— Да, я хочу знать, — сказал Бреннан.

— Что именно ты хочешь знать? — прошептала фигура в мантии.

Бреннан напряжённо наморщил лоб, изо всех сил пытаясь представить партию от начала до конца и надеясь, что он её ещё не проиграл. Наконец он обратился к первому и последнему средству — правде:

— Не важно. Ответ всё равно да.

Стеклянные врата разделились посредине и с еле слышным шорохом ушли в окружающий камень.

В открывшейся зале стояли шеренги людей в мантиях и капюшонах из ткани, поглощающей свет. Стены же в зале оказались не из чёрного камня, а зеркальными. Из-за этого казалось, что квадратная сетка из чёрных мантий во всех направлениях уходит в бесконечность. Возникало ощущение, будто здесь собрались люди из гораздо большего города, а, может, даже и всё человечество. В воздухе ощущалась влажное тепло, дыхание собравшихся — запах толпы.

Проводник Бреннана прошёл в центр площадки, где таким же безжалостным жёлтым пламенем горели четыре факела. Бреннан последовал за ним, а когда остановился, то с некоторым изумлением осознал, что все капюшоны обращены к нему. Ещё никогда в жизни Бреннану не приходилось находиться под столь пристальным вниманием. Оно пугало, хотя и не было слишком уж неприятным.

— Он здесь, — сказал проводник своим странным громким шёпотом.

Бесконечные ряды фигур в мантиях ответили в унисон:

— Кого нет среди нас?

В их идеальном, точно синхронизированном хоре, невозможно было вычленить ни один голос.

— Якоба Бернулли, — нараспев произнёс проводник.

— Мёртв, но не забыт, — откликнулись стены.

— Абрахама де Муавра.

— Мёртв, но не забыт.

— Пьера-Симона Лапласа.

— Мёртв, но не забыт.

— Эдвина Томпсона Джейнса.

— Мёртв, но не забыт.

— Они мертвы, — сказал проводник, — и навсегда утрачены для нас. Но у нас по-прежнему есть мы сами, и проект продолжается.

В наступившей тишине проводник повернулся к Бреннану и вытянул руку. На ладони лежало небольшое почти прозрачное кольцо.

Бреннан шагнул вперёд, чтобы взять его…

…но рука сомкнулась в кулак.

— Если три четверти людей в этой комнате — женщины, — произнёс проводник, — а три четверти женщин и половина мужчин принадлежит Ереси Добродетели, как и я, то какова вероятность, что я мужчина?

— Две одиннадцатых, — уверенно ответил Бреннан.

На мгновение воцарилась абсолютная тишина.

Затем послышался изумлённый смех.

Снова послышался шёпот проводника — в этот раз по-настоящему тихий, почти неслышный.

— Вообще-то, одна шестая.

Бреннану показалось, что его лицо сейчас расплавится — настолько сильно у него вспыхнули щёки. Ему ужасно захотелось выбежать из комнаты. Взбежать вверх по лестнице, покинуть город, а затем изменить имя и начать жизнь заново, чтобы когда-нибудь пройти ритуал правильно.

— Искренняя ошибка по крайней мере честна, — сказал проводник уже громче. — И мы можем понять, насколько ты честен, по тому, насколько ты будешь упорствовать. Если я последователь Ереси Добродетели, то какова вероятность, что я мужчина?

— Одна… — начал было Бреннан.

И осёкся. Вновь повисла ужасная тишина.

— Да скажи уже одна шестая, — прошептал проводник, теперь уже достаточно громко, чтобы его услышали. Снова раздался хохот, местами не слишком добрый.

Бреннан часто дышал. На лбу выступил пот. Если он ошибается, он в самом деле сбежит из города.

— Три четверти женщин умножить на три четверти Добродетельных равно девять шестнадцатых Добродетельных женщин в комнате. Четверть мужчин умножить на половину Добродетельных это две шестнадцатых Добродетельных мужчин. Если у меня есть лишь информация о том, что вы из Добродетельных, то я оцениваю шансы как два к девяти или вероятность как две одиннадцатых, что вы мужчина. Впрочем, я не убежден, что данная информация верна. Во-первых, всё кажется слишком подогнанным. А во-вторых, в зале нечётное число людей.

Рука вытянулась вновь и раскрыла кулак.

Бреннан взял кольцо. В свете факелов оно было почти невидимым. Судя по всему, его сделали не из стекла, но из какого-то другого материала с индексом преломления света очень близким к воздуху. От рук проводника кольцо нагрелось и теперь ощущалось на пальце как что-то живое.

Облегчение было столь велико, что аплодисментов фигур в капюшонах Бреннан почти не расслышал.

Проводник в мантии прошептал последние слова:

— Теперь ты послушник Байесовского заговора.

Перевод: 
sepremento, Alaric, ildaar
Номер в книге "Рациональность: от ИИ до зомби": 
213
Оцените качество перевода: 
Средняя оценка: 4.8 (13 votes)

Физикализм для продвинутых

Сможем ли мы хоть когда-нибудь понять, каково быть летучей мышью? Вероятно, традиционный дуализм, в рамках которого бессмертные души парят, нарушая законы физики, ложен. Однако что можно сказать по поводу более слабого тезиса о том, что сознание не объясняется физикой полностью? Множество философов и учёных посчитали привлекательными рассуждения в пользу этого тезиса. Если их аргументация нам кажется интуитивно притягательной, не должны ли мы принять их выводы и отказаться от физикализма?

Уж точно мы не должны отбрасывать их доводы, потому что они звучат странно или у нас появляется смутное ощущение, что они ненаучны. Однако задумаемся, как именно работают убеждения и объяснения. Что мы можем сказать об этом споре теперь? Можем ли мы найти какие-нибудь подсказки в истории науки или в нашем понимании, на каких физических механизмах основываются свидетельства?

Автор: 
Элиезер Юдковский

Рука или пальцы

Элиезер Юдковский

Вернёмся к нашей изначальной теме: Редукционизму и ошибке проецирования ума. Иногда люди считают, что классными могут быть лишь фундаментальные штуки, и тогда им сложно принять редукционизм на эмоциональном уровне. Но такая позиция лишит нас возможности наслаждаться чем-либо сложнее кварка, так что я предпочитаю отбросить её.

Напоминаю, что основной тезис редукционизма состоит в том, что хотя мы и используем многоуровневые модели для упрощения вычислений, физическая реальность состоит лишь из одного уровня.

Сегодня же я бы хотел предложить вам следующую загадку: Когда вы берёте стакан воды, его берёт ваша рука?

Большинство людей, конечно же, наивно ответят: «Да».

Однако недавно учёные совершили невероятное открытие. Оказывается, стакан держит вовсе не рука. На самом деле, его держат ваши пальцы и ладонь.

Да, я знаю, меня это тоже потрясло. Но оказалось, что когда учёные измерили силы, приложенные к стакану каждым из ваших пальцев и ладонью, то они не обнаружили никакой дополнительной силы. Таким образом, сила, прикладываемая вашей рукой, должна быть равна нулю.

Идея здесь в том, что когда вы можете увидеть (а не просто знать), как более высокий уровень редуцируется к более низкому, они не будут казаться вам отдельными местами на вашей карте. Вы сможете увидеть, насколько глупо думать, что пальцы могут быть отдельно от вашей руки. Вы сможете увидеть, насколько глупо спорить о том, берёт ли стакан ваша рука или же ваши пальцы.

Ключевое слово: «увидеть». Важна непосредственная визуализация. Когда вы представляете руку, вы также представляете и пальцы, и ладонь. И наоборот, представив ладонь и пальцы, вы поймёте, что это рука. Таким образом, высокий и низкий уровни вашей карты внутри вашего разума окажутся тесно связаны.

В реальности, конечно же, эти уровни связаны ещё теснее — самым тесным из возможных способов: физической идентичностью. Это можно увидеть. Вы можете увидеть, что слова (1) «рука» или же (2) «пальцы и ладонь» относятся не к различным объектам, а всего лишь к различным точкам зрения.

Но представим, что вам не хватает знаний, чтобы настолько тесно связать уровни вашей карты. Например, предположим, у вас был бы «детектор руки», который отображал бы «руку» как точку на карте (как на старых дисплеях радаров), и аналогичные детекторы для пальцев и ладони. Тогда бы вы видели множество точек вокруг руки, но вы могли бы представить, как точка-рука передвигается отдельно от остальных. Таким образом, несмотря на то, что физическая реальность руки (того, чему соответствует точка) идентична/строго состоит из физических реальностей пальцев и ладони, вы бы не смогли увидеть этот факт. Даже если бы кто-то сказал вам, или же если бы вы сами догадались, глядя на совпадение в расположении точек, вы бы только знали о факте редукции, но не могли бы его увидеть. Вы все ещё могли бы представить как точка-рука двигается отдельно, хотя это было бы физически невозможным, при условии, что физическое устройство детекторов остаётся неизменным.

Или же, на ещё более низком уровне связности, люди могли бы просто сказать вам «Вон там рука, а вон там пальцы». И у вас было бы информации не больше, чем у старомодного ИИ, воспринимающего ситуацию, используя лисп-токены с говорящими названиями. Не было бы никакого очевидного противоречия в допущении:

⊢Внутри(Комната,Рука)
⊢~Внутри(Комната,Пальцы)

Потому что вы бы не обладали знанием, что:

⊢Внутри(x, Рука) ⇒ Внутри(x,Пальцы)

Из этого не следует, что рука на самом деле может отсоединиться от пальцев и подобно призраку красться по комнате. Просто у старомодного ИИ с таким устройством нет возможности это понять. Карта — это не территория

В частности, не следует делать слишком много выводов из того, что выглядит умозрительно возможным, ведь разум отдельного воспринимающего субъекта может отделить руку от составляющих её элементов: пальцев и ладони. Умозрительная возможность это не то же самое, что логическая и уж тем более физическая возможность. Вероятно, вы считаете умозрительно возможным, что 235757 — простое число, потому что вы не знаете наверняка. Но логически невозможно, чтобы 235757 было простым числом. Будь вы логически всеведущими, то для вас было бы очевидным, что 235757 составное (и вы бы знали его множители). Вот почему мы используем понятие «невозможных возможных миров»: чтобы рассуждать о вероятностных распределениях по высказываниям, которые на самом деле могут быть или не быть логически возможными.

И легко вообразить философов, критикующих «элиминативных пальцеристов», которые противоречат непосредственному факту личного опыта. Мы ведь можем чувствовать, что наша рука держит стакан. Таким образом, допущение, что «руки» на самом деле не существуют, должно очевидно привести к тому, что стакан упадёт и разобьётся. Также легко вообразить философов, предполагающих существование «межпальцевых связывающих законов», чтобы объяснить, как специфическая конфигурация пальцев порождает существование руки — с дополнением, разумеется, что хотя наш мир и включает в себя эти конкретные «связывающие законы», умозрительно они могли бы быть другими и, таким образом, не являются ни в коем смысле обязательными фактами, и так далее.

Всё это случаи ошибки проецирования ума, и то, что я называю «наивным философским реализмом» — озадаченность философской интуиции касательно прямой, проверяемой информации о реальности. Ваша неспособность представить что-то — всего лишь вычислительный факт о том, что ваш мозг может и не может представить. Другой мозг может работать иначе.

Перевод: 
Горилла В Пиджаке
Номер в книге "Рациональность: от ИИ до зомби": 
214
Оцените качество перевода: 
Средняя оценка: 3.1 (16 votes)

Злые атомы

Элиезер Юдковский

Фундаментальная физика — кварки и всё такое — очень далека от тех уровней, который мы можем увидеть, вроде рук и пальцев. В лучшем случае, вы знаете, как повторить эксперименты, показывающие, что ваша рука (как и всё остальное) состоит из кварков, и знаете, как вывести несколько уравнений, описывающих атомы, электронные облака, молекулы и прочие подобные штуки.

В худшем случае, существование кварков внутри вашей руки — это какое-то утверждение, которое вам сказали. В таком случае встаёт вопрос, в каком смысле вы вообще можете сказать, что «знаете» об этом, пусть даже вы используете то же слово «кварк», которое использовал бы физик, чтобы передать знание другому физику.

В любом случае, вы не можете действительно увидеть общность между уровнями — ни у кого нет настолько большого мозга, чтобы представить несколько чисел Авогадро кварков и заметить, как они складываются в руку.

Но мы, по крайней мере, понимаем, что руки делают. Руки могут давить на объекты, прикладывая к ним силу. Когда нам рассказывают об атомах, мы представляем маленькие бильярдные шары, стукающиеся друг о друга. Кажется очевидным, что «атомы» тоже могут толкать объекты, врезаясь в них.

Подобное представление об атомах не вполне корректно. Однако человеческое воображение позволяет относительно просто представить, что наша рука сделана из маленькой галактики кружащих бильярдных шариков, давящих на вещи, когда наши «пальцы» касаются их. Демокрит представил это 2400 лет назад, и какое-то время (примерно в 1803-1922 годах) Наука считала, что он был прав.

Но как насчёт, например, злости?

Как маленькие бильярдные шарики могут злиться? На бильярдных шарах появляются маленькие хмурые лица?

Представьте себя на месте охотника-собирателя — кого-то, кто даже не имеет представления о письме, не говоря уже о том, чтобы использовать материю для вычислений, кого-то, кто не имеет не малейшего понятия, что существует такая штука, как нейроны. Тогда вы сможете представить функциональный разрыв, который ваши предки могли видеть между маленькими бильярдными шарами и «Гррр! Аргхх!»

Забудьте на минуту о субъективном опыте и подумайте о разрыве между злостью и бильярдными шарами на уровне поведения. О разнице между тем, что делают бильярдные шарики и что заставляет делать людей злость. Злость может заставить человека поднять кулак и ударить кого-то, или говорить подлости за спиной, или подкинуть ночью скорпионов в чью-то палатку. А бильярдные шарики просто толкают предметы.

Попробуйте поставить себя на место охотника-собирателя, который никогда не испытывал «Ага!» от обработки информации. Постарайтесь избегать предвзятости послезнания насчёт таких вещей как нейроны и компьютеры. Только тогда вы сможете увидеть эту непреодолимую для объяснений пропасть.

Как можно объяснить злое поведение при помощи бильярдных шаров?

Ну, очевидное материалистическое предположение заключается в том, что маленькие бильярдные шарики толкают вашу руку и заставляют ударить кого-то, или же толкают ваш язык, чтобы получилось оскорбление.

Но откуда бильярдные шарики знают, как это делать — в смысле, как заставить ваш язык или пальцы следовать длительному плану, — если сами они не злятся?

И к тому же, если вы не увлеклись — о, боже! — сциентизмом, вы и сами благодаря своим ощущениям поймёте, что это объяснение очевидно ложно. Атомы могут толкать вашу руку, но они не могут заставить вас чего бы то ни было хотеть.

Кто-нибудь заметит, что вас может разозлить употребление вина. Но кто сказал, что вино состоит исключительно из бильярдных шариков? Может быть, в вине просто содержится эссенция злости?

Очевидно, что редукционизм — это ошибочная концепция.

(Ученик в отчаянии восклицает: «Искусство подвело меня». Мастер в отчаянии восклицает: «Я подвёл своё искусство».)

Что нужно, чтобы преодолеть этот разрыв? Не достаточно просто идеи «нейронов», «обрабатывающих информацию». Если вы скажете лишь эти слова и ничего более, в вашей модели лишь появится магическое, необъяснимым образом соединяющее уровни правило, благодаря которому вы переходите от шариков к мыслям.

Однако настоящий шаг по преодолению этого разрыва проделал разработчик искусственного интеллекта, который знает, как создать программу, играющую в шахматы. Если вы понимаете такие концепции как консеквенциализм, обратная цепочка рассуждений, функции полезности и деревья поиска, вы можете заставить планировать механическую (основанную исключительно на причинно-следственных связях) систему.

Делается это так. Для каждого возможного хода в шахматах, вычислите возможные ходы своего противника, затем свой ответ на эти ходы и так далее. Оцените позицию, получившуюся в результате самого далёкого хода, до которого вы в состоянии досчитать, с помощью какого-нибудь простого алгоритма (можно просто подсчитать материал1). Затем вернитесь назад и с помощью минимакса найдите лучший возможный ход для текущей позиции. Сделайте этот ход.

В более общем случае: если у вас в разуме есть цепочки причинно-следственной связи, в какой-то степени являющиеся отображением — зеркалом, эхом — действительности, то вы можете посчитать функцию полезности от исходов, которые предоставляет вам ваше воображение, выбрать действие, которое приведёт к исходу, полезность которого высока, и совершить это действие. Цепочки причинно-следственной связи в вашем разуме, соответствующие внешнему миру, не обязаны быть сделаны из бильярдных шариков, вокруг которых есть маленькие ауры намерений. Deep Blue будет работать и без изображений маленьких шахматных фигурок на его транзисторах. Также читайте эссе «Простая истина».

Эти рассуждения всё равно являются очень сильными упрощениями, но по крайней мере они должны сократить разрыв. Если вы всё это понимаете, вы видите, как состоящий из материи планировщик под воздействием алкоголя может выдавать более злое поведение. Бильярдные шарики алкоголя толкают бильярдные шарики, составляющие функцию полезности.

Но даже если вы знаете, как написать небольшие ИИ, вы не можете представить общность уровней между транзисторами и шахматами. Транзисторов слишком много, возможных ходов в шахматах — тоже.

Аналогично, даже если бы вы знали всё о неврологии, вы не смогли бы представить переход от уровня нейронов к уровню злости — не говоря уже о переходе от атомов к злости. Нельзя это увидеть в той же степени, в какой вы способны увидеть руку, состоящую из пальцев и ладони.

Представьте, что учёный-когнитивист заявляет: «Злость — это гормоны». Даже если вы повторите эти же слова, это не значит, что вы преодолели разрыв между уровнями. Вы можете верить в то, что вы в это верите, но это не то же самое, что понять, какое отношение бильярдные шарики имеют к тому, чтобы хотеть кого-то ударить.

В результате, вы приходите к таким интерпретациям как: «Злость это всего лишь гормоны, она вызывается маленькими молекулами, поэтому её нельзя оправдать в каком-либо моральном смысле. И поэтому нужно учиться контролировать свою злость».

Или же: «На самом деле не существует такой вещи как злость — это иллюзия, цитата без референта, вроде миража воды в пустыне или поисков дракона в гараже, которого там нет».

Эти интерпретации — горькие пилюли (впрочем, вы не обязаны их глотать), и поэтому куда легче их провозглашать, чем верить в них по-настоящему.

Мне кажется, это то, что не-редукционисты/не-материалисты думают, что критикуют, когда критикуют материалистов-редукционистов.

Но материализм не настолько прост. Он не сводится к заявлению: «Злость состоит из атомов, вот и всё, вопрос решён». Такое заявление не объяснит, как дойти от бильярдных шариков до драки между людьми. Чтобы начать преодолевать разрыв между уровнями, нужно вникнуть в теорию вычислений, консеквенциализм и деревья поиска.

А по современным стандартам это был ещё довольно простой пример, потому что я специально ограничился вопросом лишь злого поведения. Разговор о поведении не требует понимания того, как алгоритм выглядит изнутри (не нужно преодолеть разрыв между взглядом от первого и от третьего лица) или же умения разрешать неверные вопросы (не нужно распутать места, где ваш собственный разум неверно отражает реальность).

Переход от материальных сущностей, которые гнут и ломают, жгут и роняют, толкают и пихаются, к злому поведению — всего лишь практическая задача для современной философии. Но это очень важная практическая задача. Её можно всецело оценить, лишь когда вы поймёте, насколько сложно её было решить до того, как была изобретена письменность. Когда-то и здесь был разрыв в понимании — хотя сейчас, когда этот разрыв давно и успешно закрыт, в ретроспективе он может быть и незаметен.

Преодолеть разрыв в понимании можно, если принять помощь от науки и не доверять взгляду изнутри, порождённому вашим разумом.

  • 1. Общую стоимость фигур и пешек каждой стороны. — Прим.перев.
Перевод: 
Горилла В Пиджаке, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
215
Оцените качество перевода: 
Средняя оценка: 5 (4 votes)

Тепло или движение

Элиезер Юдковский

Завершив предыдущее эссе, я понял, что существует куда более простой пример, как редукционизм преодолевает разрыв между двумя вроде бы разными сущностями: редукция тепла к движению.

Сегодня, задним числом, эквивалентность тепла и движения многим кажется совершенно очевидной. Раз уж все говорят, что «тепло — это движение», то это убеждение не может быть «странным».

Но когда-то кинетическая теория тепла была крайне спорной научной гипотезой. В научном мире господствовали убеждения о теплороде, невесомом веществе, перетекающем из горячих объектов в холодные. А до того основной теорией тепла было: «потому что флогистон

Представьте, что вы изучили кинетическую теорию и теорию теплорода совершенно независимо. Теперь вы знаете кое-что о движении: столкновение, упругий отскок, импульс, кинетическая энергия, гравитация, инерция, траектория свободного движения. Также, без какой-либо связи с предыдущим, вы знаете кое-что о тепле: температура, давление, горение, тепловые потоки, двигатели, таяние, испарение.

Такое состояние знаний не просто возможно. Примерно такие знания были у Сади Карно, который, исходя исключительно из теории теплорода, придумал идею цикла Карно — тепловой машины максимально возможной эффективности, из существования которой следует второй закон термодинамики. И это в 1824 году, когда кинетика была уже высокоразвитой наукой.

Представьте, что, как и Карно, вы знаете многое о движении и знаете многое о тепле, но для вас это разные сущности. Для вас это разные части знания — в вашем мозге есть отдельные корзины для убеждений о движении и для убеждений о тепле. Но изнутри при таком состоянии кажется, будто в окружающем мире есть движущиеся объекты и горячие объекты, будто в окружающем мире движение и тепло — независимые свойства материи.

И вдруг к вам является физик из будущего и говорит: «Где тепло, там и движение, и наоборот. Вот почему, например, два предмета нагреваются при трении друг о друга».

Есть (как минимум) две возможные интерпретации утверждения: «Где тепло, там и движение, и наоборот».

Во-первых, вы можете предположить, что движение и тепло существуют отдельно друг от друга. Что теория теплорода верна, однако среди законов нашей вселенной существует «связывающий закон», согласно которому, когда объекты быстро двигаются, возникает теплород. И наоборот, другой связывающий закон утверждает, что теплород может давить на объекты и заставлять их двигаться, и именно поэтому горячий газ оказывает больше давления на своё окружение (таким образом, позволяя паровой машине использовать пар, чтобы двигать поршень).

Во-вторых, вы можете предположить, что тепло и движение в некотором, хотя и пока ещё таинственном смысле, — это буквально одно и то же.

«Бессмыслица», — скажет Первый Мыслитель, — «у слов „тепло“ и „движение“ — разные значения. Поэтому мы и используем два разных слова. Мы знаем, как определить, стоит ли рассуждать о наблюдаемом явлении как о «тепле»: тепло может плавить объекты или воспламенять их. Мы знаем, как определить, что объект „быстро двигается“: он меняет своё положение в пространстве, и когда он столкнётся с препятствием, он может треснуть или деформироваться. Тепло имеет отношение к изменению вещества, движение же — к изменению местоположения и формы. Утверждать, что эти два слова имеют одно и то же значение, значит, банально вводить себя в заблуждение».

«Невозможно», — скажет Второй Мыслитель. — «Не исключено, что в нашем мире тепло и движение связывают какие-то законы, в смысле, существуют законы физики, согласно которым движение создаёт тепло и наоборот. Но я легко могу вообразить мир, где трение не нагревает предметы, а газы при высоких температурах не создают больше давления. И раз существуют возможные миры, где тепло и движение не связаны, то тепло и движение должны быть разными свойствами — это истинно априори».

Первый Мыслитель путает цитату и референт. 2 + 2 = 4, но «2 + 2» ≠ «4». Строка «2 + 2» содержит пять символов (включая пробелы), а строка «4» содержит лишь один. Если ввести обе строки в интерпретатор языка Python, они выведут один и тот же результат >>> 4. Таким образом, если вы видите строки «2 + 2» и «4», нельзя заключить, что из различия этих строк следует, что они должны иметь различное «значение» согласно интерпретатору Python.

Можно сказать, что слова «тепло» и «кинетическая энергия» «указывают на» одно и то же явление, даже если мы пока не знаем, как именно тепло сводится к движению. В смысле, пусть мы не знаем, какие именно объекты находятся по ссылкам, но это совпадающие объекты. Можете вообразить идеальный всеведущий интерпретатор науки, который выведет один и тот же результат, когда мы вводим в командную строку «тепло» и «кинетическая энергия».

Я использую метафору интерпретатора науки, чтобы акцентировать внимание на том, что для разыменовывания указателя приходится выйти за пределы мышления. Конечным результатом разыменовывания является нечто, находящееся в реальности, не в чьём-либо уме. Так можно сказать «настоящий референт», но нельзя непосредственно вычислить значение этих слов изнутри собственной головы. Нельзя мыслить, используя настоящий референт тепла. Если бы вы размышляли, используя настоящее тепло, то мысль «один миллион Кельвинов» тут же испарила бы ваш мозг. Однако, формируя убеждение о своём убеждении о тепле, вы можете рассуждать о вашем убеждении о тепле, и делать утверждения вида: «Возможно, что мое убеждение о тепле не слишком соответствует настоящему теплу». Вы не можете по-настоящему сравнить своё убеждение о тепле и настоящее тепло внутри своего разума, но вы можете рассуждать об этом сравнении.

Таким образом, вы можете сказать: «Мои убеждения о тепле и движении — это разные убеждения, но, возможно, что настоящие тепло и движение — это одно и то же явление». Приведу аналогию: можно додуматься до идеи, что «утренняя звезда» и «вечерняя звезда», вероятно, одна и та же планета, и при этом понимать, что нельзя это определить точно, лишь анализируя свои убеждения, — вам потребуется найти телескоп.

Аналогично можно разобрать ошибку Второго Мыслителя. Физик сказал ему: «Где тепло, там и движение», и мыслитель воспринял это утверждение как физический закон: «наличие теплорода порождает движение». Физик же на самом деле подразумевал что-то похожее на дедуктивное правило: «если вам говорят, что где-то есть „тепло“, автоматически выводите наличие там „движения“ ».

Из подобной проекции многоуровневой модели на многоуровневую реальность вытекает ещё одна, отдельная ошибка: неспособность отделить умозрительную возможность от логической. Сади Карно мог допустить существование другого мира, где тепло и движение не связаны друг с другом. Для Ричарда Фейнмана, точно знающего, как из уравнений движения выводятся уравнения тепла, такая идея не просто невообразима, но и настолько внутренне противоречива, что попытка её представить может взорвать мозг.

Отдам должное философам — некоторые из них упоминали подобные проблемы. Например, Хилари Патнэм, автор мысленного эксперимента «Земля-Близнец», писал12:

Как только мы открыли, что вода (в действительном мире) есть H2O, ни один мир, где вода не есть H2O, не может рассматриваться как возможный. В частности, если «логически возможное» утверждение — это утверждение, истинное в некотором «логически возможном мире», то утверждение «вода не есть H2O» не является логически возможным.

С другой стороны, вполне можно представить себе, что опыт убедит нас (и придаст рациональный характер нашей вере в то), что вода не есть H2O. В этом смысле мыслимо, что вода не есть H2O. Мыслимо, но не логически возможно! Быть мыслимым не значит быть логически возможным.

Мне кажется, что слово «вода» в этих двух параграфах используется в разных смыслах — в одном случае «вода» относится к данным, которые мы вводим в интерпретатор науки, а в другом «вода» относится к тому, что мы получим из интерпретатора науки, введя туда слово «вода». В первом параграфе, Хилари, как я понимаю, утверждает, что после того, как были произведены эксперименты и обнаружено, что вода это H2O, вода немедленно переопределяется так, чтобы и означать буквально H2O. Но вы могли бы непротиворечиво поддерживаться иной позиции касательно того, означает ли слово «вода» «H2O» или же «то, что на самом деле находится в этой бутылке», до тех пор пока вы используете свои определения последовательно.

Полагаю, вышенаписанное тоже уже неоднократно повторялось? Так или иначе…

Вполне вероятно, что если в мире существует некая единая сущность, которая принимает достаточно различные формы, а вы при этом недостаточно разбираетесь в редукции, то вам будет казаться, что в мире присутствуют две разных сущности. Знания, относящиеся к этим двум разным явлениям, вероятно, отнесут к разным учебным дисциплинам и их будут изучать два разных научных направления, расположенные в разных зданиях вашего университета.

Чтобы вспомнить, насколько разными когда-то казались тепло и движение, приходится настраиваться на соответствующий исторический контекст. Не исключено, что есть способ легче — в зависимости от того, сколько вы уже знаете, — если вы в состоянии игнорировать давление привычного (например, фраза «тепло — это движение» сейчас звучит не странно, а «тепло — это не движение» — странно). В смысле предположим, что завтра физики объявят: «В популярных книгах о науке всегда было одно ложное утверждение. На самом деле тепло не имеет ничего общего с движением». Смогли бы вы доказать, что они неправы?

Сказать: «Возможно, тепло и движение — это одно и то же!» — легко. Сложно — объяснить, как это. Нужно очень много знаний, чтобы дойти до того уровня, когда вы уже не сможете представить мир, в котором эти два явления могут существовать по отдельности. Редукция не дёшева, и потому она даёт столь многое.

Или, возможно, стоит переформулировать так: «Редукционизм — это легко, редукция — вот что сложно». Но весьма помогает быть редукционистом, когда дело доходит до поиска редукции.

  • 1. Hilary Putnam, “The Meaning of Meaning,” in The Twin Earth Chronicles, ed. Andrew Pessin and Sanford Goldberg (M. E. Sharpe, Inc., 1996), 3–52.
  • 2. Русский перевод цитируется по изданию Патнэм Х. «Философия сознания» — М.: Дом интеллектуальной книги, 1999, перевод Макеевой Л. Б., Назаровой О. А., Никифорова А. Л. — Прим.перев.
Перевод: 
Горилла В Пиджаке, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
216
Оцените качество перевода: 
Средняя оценка: 4.5 (4 votes)

Прорыв в исследованиях мозга! Он состоит из нейронов!

Элиезер Юдковский

Удивительный научный прорыв! Международная группа учёных под руководством нобелевского лауреата Сантьяго Рамона-и-Кахаля объявила, что мозг представляет собой поразительно сложную сеть крохотных клеток, соединённых друг с другом очень маленькими нитями и ответвлениями.

Международная группа, в которую также входят знаменитый механик Антони ван Левенгук, и, вероятно, Имхотеп, ставший богом медицины в Египте, выпустила заявление:

«Наше открытие стало итогом многолетних исследований, показавших, что мягкая штуковина с извилинами, которая находится внутри наших черепов, даже сложнее, чем кажется на первый взгляд. Благодаря применению Кахалем новой техники окрашивания, разработанной Камилло Гольджи, мы теперь понимаем, что мозг — это не непрерывная сеть вроде кровеносной системы. На самом деле он состоит из множества крошечных клеток или „нейронов“, связанных друг с другом тончайшими нитями.

Другие многочисленные свидетельства, начиная от исследований греческого врача Алкмеона Кротонского и, в частности, работы Поля Брока о нарушениях речи, показывают, что мозг является вместилищем разума.

Немезий, епископ Емесский, ранее утверждал, что ткани мозга — слишком мирские, чтобы служить посредником между телом и душой, и потому органы мышления расположены в желудочках мозга. Однако, если это верно, то непонятно, почему у этого органа появилась столь невыразимо сложная внутренняя структура.

Чарльз Бэббидж независимо от других исследователей предположил, что из множества малых механических устройств можно собрать „Аналитическую машину“, способную к таким видам деятельности, которые, согласно распространённому мнению, требуют работы мысли, — например, арифметике. Работы Луиджи Гальвани и Германа фон Гельмгольца показывают, что взаимодействие нейронов имеет электрохимическую природу, а не механическую, как считалось ранее. Тем не менее, на основании аналогии с „Аналитической машиной“ Бэббиджа мы считаем, что очень сложная сеть нейронов может демонстрировать схожие мыслительные свойства.

Там, где должен быть расположен разум, мы обнаружили чрезвычайно сложную материальную систему. Мы полагаем, что наши исследования являются сильным экспериментальным свидетельством в пользу того, что Бенедикт Спиноза был прав, а Рене Декарт ошибался. Разум и тело имеют общую природу.

В сочетании с работами Чарльза Дарвина, которые показывают, как в принципе такой орган мог возникнуть в результате процессов, которые сами по себе неразумны, основная масса научных свидетельств указывает на то, что разум не является онтологически фундаментальной сущностью и что он появился в некоторый момент времени. Этот вывод всерьёз противоречит теориям, которые утверждают онтологическую фундаментальность разумных сущностей или объявляют их первопричиной. В частности он противоречит всем существующим на данный момент религиям.

Потребуется значительная работа, чтобы определить, как именно связаны электрохимическое взаимодействие между нейронами и мысль. Тем не менее, мы уверены, что наше открытие позволяет считать, что наука в будущем сможет полностью описать, как устроена мысль. Да, эта задача не решена, но её можно решить».

К сожалению, Рамон-и-Кахаль и большинство других исследователей, участвовавших в Проекте, более недоступны для комментариев.

Перевод: 
sepremento, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
217
Оцените качество перевода: 
Средняя оценка: 4.6 (9 votes)

Когда антропоморфизм стал глупым

Элиезер Юдковский

Оказывается, большинство вещей во вселенной неразумны.

Это утверждение вызвало бы недоверие во множестве ранних культур. В те времена был распространён анимизм: вера в то, что деревья, камни, реки и холмы — всё имеет души, потому что, а почему бы собственно и нет?

Если эти куски плоти, называемые людьми, способны мыслить, то почему то же самое не могут делать и куски дерева?

Мои мышцы двигаются согласно моей воле, а вода течет по реке. Кто может утверждать, что река не повелевает движением воды? Река вытекает из берегов и затапливает место стоянки моего племени. Почему бы не предположить, что река разозлилась, раз она направила часть себя, чтобы навредить нам? Ведь именно это мы подумаем, когда чей-то кулак ударит в наш нос.

Нет никакой очевидной (для охотника-собирателя) причины, почему это невозможно. Это может показаться глупой ошибкой, только если путать глупость со странностью. Естественно, убеждение, что у рек есть духи, кажется нам «странным», ведь в нашем племени нет таких убеждений. Но нет ничего очевидно глупого в том, чтобы считать, что в движущейся воде есть духи, как и в движущихся кусках плоти.

Если бы эта идея была очевидно глупой, никто бы в неё и не поверил. Как, например, долгое время никто не верил в очевидно глупую идею, будто бы Земля движется, хотя всё выглядит так, будто она совершенно неподвижна.

Разве это так уж очевидно, что деревья не могут мыслить? Не будем забывать, что деревья вообще-то наши дальние родственники. У нас есть общий предок с папоротником, надо просто отойти подальше в прошлое, чтобы его найти. Если куски плоти могут мыслить, то почему не могут куски дерева?

Чтобы было очевидным, что древесина не может мыслить, нужно принадлежать к культуре, у которой есть микроскопы. Причём хорошие микроскопы.

Аристотель считал, что мозг — это орган для охлаждения крови. (Хорошо, что наши убеждения о работе нашего мозга практически не влияют на его работу).

Египтяне выкидывали мозг в процессе мумификации.

Вместилищем интеллекта мозг назвал Алкмеон Кротонский, пифагореец пятого века до нашей эры. Он отследил путь оптического нерва от глаза к мозгу. Но при тех свидетельствах, которыми он располагал, это была всего лишь догадка.

Когда центральная роль мозга перестала быть лишь догадкой? Я не знаю историю достаточно хорошо, чтобы ответить на этот вопрос. Вероятно, даже нельзя выделить какую-то ключевую точку. Быть может, стоит объявить ей тот миг, когда кто-то проследил анатомию нервов и заметил, что отделение их от мозга приводит к потере способности двигаться и чувствовать?

Но даже в этом случае причиной остаётся лишь таинственный дух, движущийся по нервам. Кто может утверждать, что древесина и вода, пусть даже они и не содержат этих маленьких нитей, которые есть в человеческом теле, не способны переносить этот мистический дух каким-то другим способом?

Я потратил некоторое время на поиски в Сети, чтобы выяснить точно, когда кто-то обратил внимание на очень запутанную внутреннюю структуру нейронов мозга и воскликнул: «Эй, спорим, этот гигантский клубок занимается обработкой сложной информации!» Я не преуспел в своих поисках. (Это не Камилло Гольджи — связность нейронов была известна и до него). Возможно, здесь также не было единственного переломного момента.

Однако я бы сказал, что антропоморфизм постепенно начал становиться ошибочным именно с открытия этой связности, а также с появлением теории естественного отбора Чарльза Дарвина и идеи, что мышление — это вычисление.

Именно в это время стало возможным посмотреть на дерево и сказать: «Я не вижу в биологии дерева органа, который занимался бы обработкой сложной информации. По поведению дерева тоже не заметно, что у него есть подобный орган. А если он спрятан настолько, что не влияет на поведение дерева, как естественный отбор мог бы привести к его появлению?»

Именно в это время стало возможным посмотреть на реку и сказать: «В воде нет элементов, которые воспроизводились бы на протяжении множества поколений с некоторыми отличиями, которые могли бы обеспечить естественный отбор. Откуда у реки может появиться структура, сравнимая с мозгом по сложности и функциям?»

Именно в это время стало возможным посмотреть на атом и сказать: «Злость кажется очень простым явлением, но на самом деле она устроена сложно. В таком простом объекте как атом для неё нет места, разве что внутри кварков существует целая неизведанная вселенная субчастиц. Но даже в таком случае, раз мы никогда не наблюдали каких-либо признаков атомной злости, эта вселенная никак не влияла бы на известные нам высокоуровневые явления».

Именно в это время стало возможным посмотреть на щенка и сказать: «Родители щенка могут прижать его к земле, когда тот совершит что-то неправильное, но это не значит, что щенок способен на размышления о морали. Согласно нашим нынешним теориям эволюционной психологии, способность к моральным рассуждениям возникает, как ответ на более сложные социальные испытания. Развитая мораль, которая появилась у нас, — это результат естественного отбора в результате словесных споров о политике племени».

Именно в это время стало возможным посмотреть на камень и сказать: «Тут нет даже простейших поисковых деревьев, какие есть в шахматной программе. Откуда у камня может появиться намерение катиться вниз, как когда-то считал Аристотель?»

Есть известная притча:

Чжуан-цзы и Хуэй-цзы прогуливались по мосту через реку Хао. Чжуан-цзы сказал:
— Как весело играют рыбки в воде! Вот радость рыб!
— Ты ведь не рыба, — возразил Хуэй-цзы. — Откуда тебе знать, в чём радость рыб?
— Но ведь ты не я, — ответил Чжуан-цзы. — Откуда же ты знаешь, что я не знаю, в чём заключается радость рыб?1

Теперь мы знаем.

  • 1. Цитируется перевод с китайского В. В. Малявина по книге Чжуан-Цзы, «Даосские каноны». — Прим.перев.
Перевод: 
Горилла В Пиджаке, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
218
Оцените качество перевода: 
Средняя оценка: 4.7 (7 votes)

Априори

Элиезер Юдковский

Традиционная Рациональность сформулирована на языке социальных норм. Нарушение норм трактуется как жульничество: если ты нарушаешь правила, и никто другой этого не делает, значит, ты предаёшь первым, что делает тебя плохим, очень плохим человеком. Для байесианцев, мозг –– это машина для достижения точности: если нарушать принципы рациональности, машина просто не работает — независимо от того, нарушает ли правила кто-то ещё.

Предположим, что Традиционные философы столкнулись с проблемой бритвы Оккама. Если две гипотезы одинаково хорошо удовлетворяют одним и тем же наблюдениям, почему мы должны считать, что с большей вероятностью истинной окажется более простая из них? Наверное, кто-нибудь скажет, что бритва Оккама работала в прошлом и, таким образом, скорее всего, продолжит работать и в будущем. Но, судя по всему, такой аргумент сам является предсказанием на основании бритвы Оккама: предположение «бритва Оккама работает вплоть до 8 октября 2027 года, а затем перестаёт работать» –– более сложная гипотеза, но она также удовлетворяет всем наблюдаемым свидетельствам.

Кто-нибудь скажет, что бритва Оккама — это разумное распределение априорных вероятностей. Но какое распределение оказывается «разумным»? Почему бы не назвать «разумным» очень сложное априорное распределение, при котором бритва Оккама работает во всех предыдущих случаях, но выдаёт ошибки в будущем?

Итак, похоже, не существует способов оправдать использование бритвы Оккама иначе как путём апелляции к бритве Оккама. То есть вряд ли этот аргумент убедит какого-либо судью, который изначально не признает бритву Оккама. (Что общего в словах, выделенных курсивом?)

Если вы философ, который ежедневно лишь пишет статьи, критикует статьи других людей и отвечает на их критику своих статей, вы можете просто взглянуть на бритву Оккама и пожать плечами. Оправдания, споры и риторика здесь заканчиваются. В своём написании статей вы заключаете перемирие: пока ваши приятели-философы не требуют от вас обоснований для ваших не подкреплённых аргументами убеждений, вы не требуете от них обоснований для их не подкреплённых аргументами убеждений. И в качестве символа вашего перемирия — вашего белого флага — вы используете фразу «истинно априори».

Но для байесианца, живущего в нашу эпоху когнитивных наук, эволюционной биологии и Искусственного Интеллекта, слово «априори» совершенно не объясняет, почему мозг-машина работает. Если мозг содержит в себе удивительную «фабрику априорных истин», которая действительно работает, производя точные убеждения, становится любопытно, почему мучимый жаждой охотник-собиратель не может использовать «фабрику априорных истин», чтобы обнаружить источник питьевой воды. Становится любопытно, почему вообще эволюция привела к появлению глаз, если уж существует способ производить точные убеждения без необходимости смотреть на что-либо.

Джеймс Ньюман сказал: «Факт, что яблоко, добавленное к ещё одному яблоку, всегда даёт два яблока, помогает обучать арифметике, однако никак не связан с истинностью равенства 1 + 1 = 2». Согласно Интернет Энциклопедии Философии, априорными называются утверждения, познаваемые независимо от опыта. Википедия цитирует Юма1: к отношениям между идеями «можно прийти благодаря одной только мыслительной деятельности, независимо от того, что существует где бы то ни было во вселенной»2. Можно увидеть, что 1 + 1 = 2, всего лишь подумав об этом и безо всяких яблок.

Но в нашу эру нейронаук следует понимать, что мысли объективно существуют во вселенной. Мысли — это деятельность мозга. Материальные мозги — реальные объекты вселенной — состоят из кварков согласно единой математической физике, законы которой внутри и вне вашего черепа одинаковы.

Когда вы мысленно складываете 1 + 1 и получаете 2, эти мысли представляют собой активацию нейронов. В принципе, мы могли бы экспериментально наблюдать те же самые материальные явления в чужом мозгу. Такой эксперимент потребует некоторого прогресса в вычислительной нейробиологии и нейрокомпьютерных интерфейсах, но, теоретически, он реализуем. Вы могли бы увидеть, как чья-то чужая машина работает в рамках цепочек материальных причин и следствий, чтобы «чисто умозрительно» вычислить, что 1 + 1 = 2. Чем же наблюдение за принципом работы чужого мозга как способ познания отличается от наблюдения за собственным мозгом, решающим ту же задачу? Когда «чистый разум» говорит вам, что 1 + 1 = 2, «независимо от опыта или наблюдений», вы на самом деле наблюдаете за работой вашего мозга в качестве свидетельства.

Если это кажется контринтуитивным, попробуйте рассмотреть разум/мозг как машину, сталкивающую нейронный шаблон единицы с нейронным шаблоном единицы и получающую нейронный шаблон двойки. Если двигатель работает правильно, то он должен производить абсолютно те же самые выходные данные, как если бы он наблюдал (при помощи глаз и сетчатки) за таким же мозгом-машиной, производящей такое же столкновение и копировал себе итоговый шаблон. Проще говоря, для любого априорного знания, полученного силой «чистого разума», вы узнали бы то же самое, если бы пронаблюдали активацию нейронов чужого мозга, в котором нейроны активируются таким же образом. Машины эквивалентны, результаты их работы эквивалентны, убеждения сцеплены с реальностью в той же степени.

Нет ничего, что вы могли бы знать «априори», и при этом не могли бы узнать с тем же уровнем правдоподобия, наблюдая за выбросом нейротрансмиттеров в чьём-то мозгу. Сами-то вы кто, дорогой читатель?

Именно поэтому вы можете предсказать результат сложения 1 яблока и 1 яблока, мысленно представив сначала такое сложение, или же ввести «3 х 4» в калькулятор, чтобы предсказать результат воображения 4 рядов с 3 яблоками в каждом из них. Вы и яблоки существуете в рамках единого универсального физического процесса, и одна его часть может отражать состояние другой.

Являются ли все активации нейронов, которые философы называют «априорными убеждениями», произвольными? Многие алгоритмы ИИ работают лучше с «регуляризацией», сдвигающей пространство решений в пользу более простых решений. Но регуляризованные алгоритмы сложнее сами по себе. Они содержат лишнюю строчку кода (а может и 1000 строчек), по сравнению с нерегуляризованными алгоритмами. Человеческий мозг предвзят в пользу простоты и таким образом мы мыслим более эффективно. Если на данном этапе нажать кнопку «Пренебречь», мы получим сложноустроенный мозг, существующий и работающий без каких-либо причин. Так что не следует называть априорные убеждения произвольными –– они формируются явно не путём генерации случайных чисел. (Что вообще означает слово «произвольный»?)

Даже если другие философы затрудняются с тем, чтобы обосновать свои утверждения, это не позволяет вам называть свои утверждения «истинными априори». Факт, что философ не в состоянии что-то объяснить, не может как обеспечить холодильник электроэнергией, так и создать волшебную фабрику по производству точных убеждений. Пока вы не поймёте, почему машина работает, не может быть ни перемирий, ни белых флагов.

Если выкинуть из головы «обоснования» и «аргументы», становится очевидным, почему бритва Оккама работает на практике: мы живём в простом мире, во вселенной с низкой энтропией, и в ней можно найти простые объяснения. «Но» - воскликнете вы, - «почему сама вселенная устроена таким образом?» Этого я не знаю, но своё незнание я воспринимаю, как следующую тайну, которую необходимо понять. Этот вопрос отличается от: «Как я могу обосновать бритву Оккама для гипотетического собеседника, который её ещё не принял?»

Возможно, вы не сможете убедить в чём бы то ни было гипотетического собеседника, не принимающего бритву Оккама, как не сможете убедить в чём-нибудь камень. Разуму необходимо некоторое количество динамической структуры, чтобы быть способным воспринимать аргументы. Если разум не поддерживает modus ponens, он может целый день принимать «A» и «A → B», но так и не вывести из этого «B». Как можно обосновать modus ponens для разума, который его не поддерживает? Как можно убедить камень стать мозгом?

Мозги эволюционировали из не-мозговой материи путём естественного отбора. Их существование не было оправданно в процессе спора с идеальным студентом философии абсолютной пустоты. Это не делает наши заключения бессмысленными. Мозг-машина может корректно работать, производя точные убеждения, даже если он был всего лишь собран, — не важно, человеческими руками или же совокупным стохастическим естественным отбором — а не появился во вселенной как результат дискуссии. Но чтобы удовлетвориться этим ответом, необходимо воспринимать рациональность на языке машин, а не аргументов.

  • 1. Юдковский ссылается на англоязычную статью, но в настоящее время она тоже не содержит упомянутой цитаты. — Прим.перев.
  • 2. Цитируется перевод С. И. Церетели. — Прим.перев.
Перевод: 
Горилла В Пиджаке, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
219
Оцените качество перевода: 
Средняя оценка: 4.3 (11 votes)

Редуктивная отсылка

Элиезер Юдковский

Основной тезис редукционизма (в моей формулировке) состоит в том, что человеческий разум ради эффективности использует многоуровневую карту, в рамках которой мы думаем об «атомах» и «кварках», «руках» и «пальцах», «тепле» и «кинетической энергии», как об отдельных сущностях. В то же время, реальность состоит из одного уровня. Атомы не являются некой дополнительной сущностью, чьё влияние на цепочку причин и следствий выходит за рамки влияния кварков.

Сади Карно сформулировал предшественника Второго Закона термодинамики, используя теорию теплорода, в которой тепло считалось жидкостью, перетекающей из горячих тел в холодные. Теплород создавался огнём и заставлял газы расширяться. До того, как люди додумались до редукции, свойства тепла изучались отдельно от кинетики. Если вам нужно спроектировать паровой двигатель, суммарный эффект всех этих крошечный вибраций и столкновений, что мы называем «теплом», можно представить значительно проще, чем при помощи полного квантово-механического описания каждого отдельного кварка. Люди думают лишь об относящихся к задаче величинах, которые действительно влияют на результат, и благодаря этому производят эффективные вычисления.

Однако реальность, судя по всему, использует всю квантовую механику кварков. Как-то раз я общался с человеком, который считал, будто использование общей теории относительности для решения задачи с малыми скоростями (например, скоростями артиллерийского снаряда) приведёт к неверному ответу. Не просто потребует больше вычислений, а даст ошибочный с точки зрения эксперимента результат — потому что при низких скоростях, артиллерийские снаряды подчиняются ньютоновской механике, а не ОТО. Но физика не работает таким образом. Реальность продолжает пользоваться теорией относительности, даже когда разница окажется лишь в четырнадцатом знаке после запятой, что человек воспринял бы как бессмысленную трату вычислительных ресурсов. Физика делает всё при помощи грубой силы. Ещё никто никогда не замечал, чтобы физика упрощала свои вычисления (если, конечно, Повелители Матрицы не стирали свидетелям память).

Таким образом, наша карта очень сильно отличается от территории. Наши карты — многоуровневые, а территория — одноуровневая. И раз представление столь отлично от обозначаемого объекта, в каком смысле убеждения вида: «Я ношу носки» могут быть истинными? Ведь сама реальность состоит лишь из кварков.

На случай, если вы забыли, что значит слово «истинный», я напомню классическое определение Альфреда Тарского:

Утверждение «снег белый» истинно тогда и только тогда, когда снег белый.

В случае, если вы забыли, в чём разница между утверждениями «Я верю в то, что снег белый» и « „Снег белый“ – истина», перечитайте эссе «Качественное замешательство». Нельзя получить истину лишь путём размышлений: если вы хотите, например, узнать, является ли истинным утверждение: «утренняя звезда = вечерняя звезда», вам потребуется телескоп. Изучить лишь сами убеждения недостаточно.

Именно это упускают постмодернисты, вопрошающие: «Но откуда вы можете знать, что ваши убеждения истинны?» Когда вы проводите эксперимент, вы на самом деле выходите за пределы собственной головы. Вы вступаете в сложное взаимодействие, результат которого с точки зрения причин и следствий определён предметом рассуждения, а не одними только вашими убеждениями о нём. Однажды я определил «реальность» так:

Даже когда у меня есть простая гипотеза, которая прекрасно согласуется со всеми известными мне данными, всё равно что-нибудь может меня удивить. Так что мне нужно по-разному называть те штуки, которые определяют мои предсказания, и ту штуку, которая определяет результат опыта. Первое я называю «убеждениями», а второе — «реальностью».

Интерпретация вашего эксперимента по-прежнему зависит от ваших исходных убеждений. Я не собираюсь сейчас рассматривать вопрос о том, Откуда Берутся Исходные Убеждения, так как это было бы отступлением от темы эссе. Суть в том, что истина определяется как идеальное сопоставление между убеждением и реальностью. Если мы понимаем, что планеты отличны от убеждений о планетах, мы можем провести такой эксперимент, что позволит проверить, является ли убеждение «утренняя звезда и вечерняя звезда – это одна и та же планета» истинным. Этот эксперимент будет включать в себя использование телескопов, а не одну лишь интроспекцию, так как мы понимаем, что «истина» подразумевает сравнение внутреннего убеждения и внешнего факта. Поэтому мы используем инструмент — телескоп, — наблюдения через который, насколько нам известно, зависят от внешней действительности — планеты.

Убеждение, что телескоп способен помочь нам определить «истинность» убеждения «утренняя звезда = вечерняя звезда» основывается на нашем предшествующем убеждении о том, как телескоп взаимодействует с планетой. Повторюсь, я не собираюсь рассматривать проблему исходных убеждений в данном эссе, разве что процитирую одну из моих любимых строчек Рэймонда Смаллиана: «Если более умудрённый читатель возразит, что данное утверждение является всего лишь тавтологией, то пусть хотя бы отдаст ему должное за внутреннюю непротиворечивость». Аналогично, я нахожу использование телескопа примером не порочного логического круга, а самосогласованности: для любого систематического способа получения истинных убеждений должно существовать рациональное объяснение того, как он работает.

Вопрос, интересующий нас сейчас: как мы можем рассуждать об истинности утверждения «снег белый», если в реальности существуют лишь кварки?

Наши убеждения о «снеге» и «белизне» порождаются определёнными наборами нейронных связей — пусть даже мы не в состоянии точно представить, как эти связи выглядят. Нейронные связи сами по себе воплощены в виде некоторого набора кварков, о котором мы знаем и того меньше. Где-то во внешнем мире существуют молекулы воды, температура которой достаточно низка, и молекулы организуются в виде повторяющейся мозаичной структуры. Эта структура совершенно не похожа на переплетение нейронов. В каком смысле сравнение одного (непостоянного) набора кварков с другим делает убеждение «снег белый» истинным?

Очевидно, ни я, ни кто-либо другой не может предложить Функцию Идеального Кваркового Сопоставления, которая для утверждения «снег белый» принимает на вход кварковые описания заключённого в нейронах убеждения (а также всего остального мозга) и снежинки (а также законов оптики), а в качестве результата возвращает «истинно» или «ложно». Да и не факт, что фундаментальный уровень — это действительно поля частиц.

С другой стороны, выкидывать на помойку все наши убеждения из-за того, что они не представлены в виде гигантского набора характеристик кварков, с которым всё равно невозможно работать и который мы не можем получить… кажется, не слишком разумно. Это не лучший способ достигнуть наших целей.

Мне представляется, что такие слова как «снег» или «белый» можно считать чем-то вроде долговой расписки. Нам не известно точно, какие именно физические конфигурации кварков считаются «снегом», однако, тем не менее, что-то вы зовёте снегом, а что-то — нет, и, даже если вы иногда ошибаетесь (например, относительно искусственного снега), Идеальный Всезнающий Научный Интерпретатор увидел бы сконцентрированный кластер в центре и перерисовал бы границы так, чтобы получить определение проще.

В одноуровневой вселенной, чей нижний уровень неизвестен наверняка или же слишком обширен для решения наших задач, концепции в многоуровневом разуме можно воспринимать как что-то вроде долговых расписок. Мы не знаем, чему точно они соответствуют. Однако, судя по всему, мы способны отличать положительные примеры от отрицательных, способны на этом основании делать предсказания, поэтому мы предполагаем (возможно, несколько обобщая при этом), что в кварках есть некоторое различие, что существуют какие-то отличия на фундаментальном уровне, объясняющие отличия в наших ощущениях и, в конце концов, приводящие к тому, что мы говорим «снег» или «не снег».

Я вижу эту белую субстанцию, в разных ситуациях она оказывается одной и той же, поэтому я предполагаю, что в окружающей среде есть какая-то стабильная неявная причина её существования. И я называю эту белую штуку «снег». «Снег» — это долговая расписка, описывающая простую мысленную границу, которая содержит в себе незримые причины моего опыта.

Мысленный эксперимент Хилари Патнэма (в котором вода это не H2O, а некая иная субстанция, обозначаемая XYZ, со всеми известными нам свойствами, характерными для воды) и последующий за ним философский спор, помогает пристальнее рассмотреть этот вопрос. У «снега» нет известного нам логического определения. Скорее это полученный эмпирически указатель на логическое определение. Такое рассуждение остаётся истинным, даже если вы считаете, что снег это кристаллы льда, которые в свою очередь являются сочетанием молекул воды при низкой температуре. Молекулы воды состоят из кварков. Что если окажется, что кварки состоят из чего-то ещё? Чем в таком случае окажется снежинка? Вы не знаете, но она останется снежинкой, а не превратится в огнетушитель.

И, конечно же, эти абзацы, которые я только что написал, находятся куда выше уровня кварков. «Воспринимать белую субстанцию на уровне чувств, отнести её к какой-то категории и подумать:“снег“ или „не снег“ » — это тоже рассуждения, которые находятся гораздо выше кварков.

Таким образом, мои мета-убеждения также являются долговыми расписками, и Идеальный Всезнающий Научный Интерпретатор знал бы какая конфигурация кварков (или чего бы там ни было), приводит мой мозг в состояние, соответствующее убеждению «верить в то, что снег белый».

Но тогда вся доступная нам реальность состоит из таких долговых расписок. Кто-то мог бы назвать это порочным кругом, я же предпочитаю называть это самосогласованностью.

Балансировать на шаткой эпистемологической жёрдочке — в отношении убеждений как о реальности, так и о рефлексии — где-то высоко-высоко над неизвестной фундаментальной реальностью и надеяться не свалиться может быть несколько пугающим занятием.

Впрочем, если подумать, то сложно представить иной вариант событий.

Таким образом, утверждение «реальность не содержит руки как фундаментальные сущности, существующие дополнительно и независимо от кварков» совершенно не то же самое, что «рук не существует» или «у меня нет рук». Нет никаких фундаментальных рук. Руки состоят из ладони и пальцев, которые в свою очередь состоят из мышц и костей, и так далее вплоть до полей элементарных частиц, которые, насколько нам известно, являются фундаментальными причинностными сущностями.

Это не то же самое, что утверждение «рук не существует». Не то же самое, что «слово „руки“ — это долговая расписка, которая никогда не будет оплачена, так как не существует эмпирического кластера, ему соответствующего». Или же «расписка „руки“ никогда не будет оплачена, потому что логически невозможно согласовать все необходимые характеристики». Или «утверждение „люди имеют руки“ логически непротиворечиво, но это не то состояние, в котором находится реальность».

Просто там, где мы видим «руки», на самом деле существуют конфигурации элементарных частиц. У этих конфигураций есть общие свойства, но они не фундаментальны.

Если бы я действительно не имел рук — если бы реальность внезапно перешла в то состояние, которое мы бы описали как «у Элиезера нет рук» — вскоре бы реальность соответствовала состоянию, которое мы бы описали как «Элиезер кричит, а кровь хлещет из обрубков его кистей»

И это истинно, даже несмотря на то, что в предложении выше не были указаны какие-либо положения кварков.

Соответственно, предыдущее предложение мета-истинно.

Карта содержит множество уровней, территория — всего лишь один. Это не значит, что более высоких уровней «не существует», аналогично дракону в гараже, которого там нет, или миражу в пустыне, который приводит к ожиданию питьевой воды там, где пить нечего. Высшие уровни вашей карты не ложны, не лишены референта: их референты находятся в единственном уровне физики. Если бы «крылья самолета» не существовали, самолет бы упал. «Крылья самолета» явно существуют в многоуровневой модели самолета в голове инженера, а также не явно в квантовой физике реального самолета. Неявное существование не то же самое что несуществование. Точное описание этой неявности нам не известно — оно не представлено в явном виде на нашей карте. Но это не мешает нашей карте работать или даже быть истинной.

Каждое понятие и убеждение в вашем мозгу, включая мета-убеждения о том, как ваш мозг работает и почему вы в состоянии формировать точные убеждения, находятся намного-намного выше реальности. И понимание этого несколько пугает…

Перевод: 
Горилла В Пиджаке
Номер в книге "Рациональность: от ИИ до зомби": 
220
Оцените качество перевода: 
Средняя оценка: 4.8 (9 votes)

Зомби! Зомби?

Элиезер Юдковский

«Зомби» в философском значении этого слова — это гипотетическое существо абсолютно во всём подобное нам: такое же поведение, речь, мозг. Каждый атом и кварк находится точно в том же месте и движется согласно тем же законам механики. Отличие лишь в том, что зомби не имеет сознания.

Более того, утверждается, что если зомби «возможны» (понятие, остающееся предметом баталий), то, исходя исключительно из нашего знания об этой «возможности», мы можем a priori сделать вывод о вне-физической природе сознания — в значении, описанном далее. Стандартное определение для такой точки зрения — «эпифеноменализм».

(Для тех, кто не знаком с зомби, обращаю внимание, что это не «чучело»1. См., например, статью в Стэнфордской философской энциклопедии о зомби. «Возможность» зомби признана существенной частью — вероятно, большинством — академических представителей философии сознания.)

Я где-то прочитал: «Вы не тот, кто произносит свои мысли — вы тот, кто слышит их». В иврите величайшая душа — та, которую Бог вдохнул в Адама — называется Н’шама, «слышащий».

Если вы мыслите себе «сознание» как исключительно пассивное слушание, понятие «зомби» изначально кажется легко представимым. Это некто, лишённый «слышащего».

(Предупреждение: это очень длинное эссе на 5800 слов, в котором рассматриваются идеи Дэвида Чалмерса. Это можно считать моим наглядным контрпримером к Спору с Элиезером, часть 2, где Ричард Чапелл обвиняет меня в том, что я не связываюсь со сложными аргументами настоящих философов.)

Когда вы открываете холодильник и видите, что апельсиновый сок закончился, вы думаете: «Черт, я остался без сока». Звучание этих слов, вероятно, воспроизводится в слуховом отделе коры вашего головного мозга, как будто вы слышите, словно эти слова сказал кто-то ещё. (Почему я так думаю? Потому что носители китайского языка способны запоминать более длинные последовательности цифр, чем носители английского. Китайские числительные все односложные, и говорящие на китайском могут помнить до 10 цифр, в отличие от известного «7±2» для англоговорящих. Кажется, в «оперативной памяти» слухового отдела коры головного мозга существует самозамкнутая петля из повторяющихся звуков, ограничение по длине которой исчисляется в фонемах.)

Предположим, что сказанное верно. В качестве начального условия это не должно составлять трудности для сторонников зомби. Даже если в отношении людей это неверно, кажется нетрудным вообразить ИИ, разработанный на такой основе (а «возможность вообразить» — это суть спора о зомби). Сказанное не только мыслимо в принципе — в ближайшую пару десятилетий вполне возможно, что хирурги смогут подключить сеть рецепторов нервных сигналов к слуховой коре и прочитать разворачивающееся в ней повествование. (Исследователи уже подключились к боковому коленчатому ядру2 мозга кошки и воспроизвели узнаваемые визуальные образы на входе.)

Итак, наш зомби, физически идентичный нам до последнего атома, откроет холодильник и сформирует в слуховой коре образы для фонем «Черт, я остался без сока». До этого момента эпифеноменалисты охотно с нами соглашаются.

Но, говорит эпифеноменалист, внутри зомби некому слышать. Внутреннего слушателя нет. Внутреннее повествование произнесено, но не услышано. Вы не тот, кто высказывает ваши мысли, а тот, кто их слышит.

Они бы сказали, что, кажется, куда проще создать ИИ, который выводит на печать некое внутреннее повествование, чем показывать, что внутренний слушатель слышит его.

Спор о зомби состоит в том, что если Мир Зомби возможен — не обязательно физически возможен в нашей вселенной, лишь «возможен в теории», или «может быть представлен», или что-то в этом роде — тогда сознание должно быть вне-физическим явлением, чем-то вне и сверх обычных атомов. Почему? Потому что даже если вы каким-то образом узнаете положение всех атомов во вселенной, вам все ещё предстоит услышать, как отдельный и дополнительный факт, что люди обладают сознанием — что у них есть внутренний слушатель — что мы, вероятно, не в Мире Зомби.

«Зомбизм» не то же самое, что дуализм. Декарт считал, что существует телесная субстанция и совершенно отличная от нее разумная субстанция, но Декарт также полагал, что эта разумная субстанция есть источник активной причинности, взаимодействующий с телесной субстанцией и управляющий нашей речью и действиями. Лишение человека разумной субстанции породило бы традиционного, шатающегося и завывающего, зомби.

И хотя в иврите самая сокровенная душа названа Н’шама, тот-кто-слышит, я не слышал о рабби, отстаивающем возможность зомби. Большинство рабби, вероятно, почувствовали бы отвращение к идее, что божественная частица, которую Бог вдохнул в Адама, на самом деле бездействует.

Технический термин, обозначающий веру, что сознание присутствует, но не воздействует на физический мир, — эпифеноменализм.

Хотя в споре о зомби есть и другие составляющие (я разберусь с ними далее), думаю, первое, что прельщает в «зомбизме» — это интуитивно понятный тезис о пассивном слушателе. В особенности он прельщает непрофессиональную аудиторию. Ключевое понятие просто и доступно: свет горит, вот только дома никого нет.

Философы обращаются к интуитивно понятному тезису о пассивном слушателе, когда говорят: «Конечно, мир зомби можно представить. Вы в точности знаете, на что он будет похож».

Одно из величайших сражений Войны зомби происходит на почве того, что, в точности, имеют в виду люди, говоря, что зомби «возможны». Ранние философы-зомбисты в 1970-е просто считали, что зомби «возможны» и не трудились определить, какого рода возможность они имели в виду.

Поскольку я поднаторел в математической логике, первое, что приходит мне на ум — это логическая возможность. Если у вас есть набор утверждений вроде {(A ⇒ B), (B ⇒ C), (C ⇒ ¬A)}, то сложное убеждение логически возможно, если для него есть модель — которая, в вышеприведенном простом случае, сводится к поиску таких значений {A, B, C}, что все утверждения {(A ⇒ B), (B ⇒ C), (C ⇒ ¬A)} — истинны. Тогда ответом будет {A = B = C = 0}, а так же {A = 0, B = C = 1} или {A = B = 0, C = 1}.

Нечто будет казаться возможным — «концептуально возможным» или «представимым» — если вы рассматриваете подборку утверждений, не замечая противоречий. Но, как правило, наибольшая трудность — именно обнаружить противоречия или, с другой стороны, разработать полную и точную модель! Если вы ограничиваетесь простыми Булевыми утверждениями вида((А или В или С) и (В или ~С или D) и (D или ~A или ~C) …), конъюнкциями или дизъюнкциями трех переменных, тогда это очень известная задача под названием 3-SAT, одна из первых задач, для которой была доказана NP-полнота3.

Итак, то, что вы не видите противоречий в Мире зомби с первого взгляда, не означает, что противоречий не существует. Это как не видеть с первого взгляда противоречий в гипотезе Римана. От концептуальной возможности («не вижу трудности») к строгой логической возможности — огромный скачок. Легко сделать так, что это будет скачок к NP-полноте, а с использованием теорий первого порядка4, даже для ограниченных задач вычисление можно сделать сколь угодно трудным. И именно логическая, а не концептуальная возможность Мира зомби необходима, чтобы предположить, что логически всезнающий разум может знать положение всех атомов во вселенной — и все же ему нужно сообщить как дополнительный, не вытекающий из его знания факт то, что у нас есть внутренний слушатель.

Само по себе то, что вы пока не видите противоречие, не даёт гарантии, что вы не увидите противоречие в следующие 30 секунд. «Все нечётные числа — простые. Доказательство: 3 — простое, 5 — простое, 7 — простое…»

Поэтому давайте ещё немного поразмыслим над Спором о зомби. Можем ли мы придумать контрпример к утверждению «Сознание не имеет причинного воздействия на мир, которое может быть обнаружено извне»?

Если вы закроете глаза и сконцентрируетесь на вашей внутренней осведомлённости, в вашем внутреннем повествовании будут появляться мысли из ряда «Я сознаю…», «Моё осознание отдельно от моих мыслей», «Я не тот, кто высказывает мои мысли, но тот, кто их слышит», «Поток моего сознания не есть моё сознание» и «Кажется, существует часть меня, которую я могу представить уничтоженной без перемен в моем внешнем поведении».

Вы даже можете произнести эти фразы вслух, пока размышляете. В принципе, некто со сверхчувствительным томографом мог бы прочитать фонемы в вашей слуховой коре. Однако произнести вслух значит устранить все сомнения насчёт того, вошли ли вы в мир проверяемости и физических следствий.

Определённо кажется, что внутренний слушатель ловится в акте слушания той вашей частью, что создаёт внутреннее повествование и приводит в движение язык.

Представьте, что таинственная инопланетная раса посетила вас и оставила в подарок таинственный чёрный ящик. Вы тыкаете и пинаете ящик, но (насколько можете сказать) ничего не происходит. Вы не можете вынудить ящик отсыпать вам золотых монет или ответить на вопросы, и делаете вывод, что ящик причинно неактивен. «Для всех Х чёрный ящик не делает Х». Чёрный ящик — результат, но не причина; он эпифеноменален, не имеет причинной способности. Размышляя, вы проверяете эту общую гипотезу, чтобы понять, истинна ли она в некоторых пробных случаях, и она кажется истинной — «Превращает ли ящик свинец в золото? Нет. Кипятит ли ящик воду? Нет.»

Но вы можете видеть чёрный ящик. Он поглощает свет и веско оттягивает вашу руку. Это также часть танца причинности. Если бы чёрный ящик был всецело за пределами причинной вселенной, вы бы не могли его видеть, вы никак не могли бы узнать о его существовании, вы не могли бы сказать: «Спасибо за ящик!» Вы бы не думали об этом контрпримере, формулируя общее правило. «Все Х: Чёрный ящик не делает Х». Но он всё время был здесь.

(На самом деле, инопланетяне оставили вам и другой чёрный ящик, на этот раз совершенно эпифеноменальный, и у вас нет ни малейшего намека, что он здесь, в вашей комнате. Они так пошутили.)

Если вы можете закрыть глаза и ощутить, что вы ощущаете — если вы можете осознавать себя сознающего, и думаете «Я сознаю, что я сознаю» — и говорите это вслух — то ваше сознание не бездействует в отношении вашего внутреннего повествования или ваших шевелящихся губ. Вы можете видеть себя видящим, и ваше внутреннее повествование отражает это, так же, как ваши губы — если вы решите сказать об этом вслух.

Я не встречал приведённый выше аргумент — «слушатель, пойманный в акте слушания» — сформулированным именно так, хотя это, конечно, может быть кем-то уже высказано.

Но общепринятым моментом является то — и философы-зомбисты это признают! — что философы Мира зомби, до последнего атома идентичные нашим философам, пишут те же труды по философии сознания.

С этого момента Мир зомби перестаёт быть интуитивно понятным следствием идеи пассивного слушателя.

Философы, пишущие о сознании, окажутся хотя бы одним воздействием сознания на мир. Вы можете придумать изощрённые причины, почему это не так, но вам придётся постараться.

Интуитивно вы предположите, что если бы ваша внутренняя осведомлённость исчезла, мир бы изменился так, что ваше внутреннее повествование более не включало бы фразы вроде «Внутри меня есть таинственный слушатель», потому что таинственный слушатель исчез. Но обычно ваше внутреннее повествование может сказать «Я осознаю свою осведомлённость» лишь после того, как вы сфокусируете своё сознание на собственной осведомлённости — из этого следует, что если первое так и не произошло, не будет и второго. Вы можете придумать изощрённые причины, почему это не так, но вам придётся постараться.

Вы можете внушить себе веру в то, что «Сознание не воздействует» и не увидите противоречия, пока не поймёте, что разговор о сознании — следствие того, что вы сознаете. Но как только вы заметите связь между общим правилом, что «сознание не воздействует», и его частным приложением, что сознание не воздействует на то, как философы пишут труды про сознание — «зомбизм» перестаёт быть интуитивно понятным и начинает требовать, чтобы вы приняли как должное странные вещи.

Первая странность, которую вы должны принять — существование Повелителя зомби, бога Мира зомби, который тайно управляет зомби-философами и заставляет их говорить и писать о сознании.

Повелитель зомби не кажется невозможным. Люди часто не вполне последовательны, говоря о сознании. Наверное, нетрудно исказить их рассуждения до уровня, скажем, обывателя, разглагольствующего в баре. Можно взять за основу болтовню тысячи обывателей на тему сознания, скормить её не сознающему, но хитроумному ИИ — продвинутому, но не самообучающемуся — и получить на выходе рассуждения о «сознании», звучащие так же здраво, как рассуждения большинства людей — то есть, вполне бредово.

Но эти рассуждения о «сознании» не будут произвольными. Они не созданы внутри ИИ — это будет записанная имитация чьей-то речи, просто симуляция5, в которой ведущий ИИ озвучивает неигровых персонажей. Это не то, что имеется в виду, когда говорят о Мире зомби.

Предположим, Мир зомби до последнего атома совпадает с нашим миром, за исключением того, что его обитатели лишены сознания. Далее, атомы в Мире зомби движутся по тем же физическим законам, что и в нашем мире. Если есть «законы сопряжения», определяющие, какие соединения атомов пробуждают сознание, то эти законы неизвестны. Но, гипотетически, различие и не может быть установлено экспериментально. Когда речь идёт о кварке, движущемся так или этак или воздействующем на соседние кварки — о том, что можно измерить в рамках эксперимента —действуют те же законы физики.

В Мире зомби нет места для Повелителя зомби, потому что последнему придётся управлять движением зомбьих губ, а такое управление, в принципе, можно обнаружить экспериментально. Повелитель зомби движет губами — следовательно, у него есть наблюдаемые следствия. Это может быть точка, в которой электрон по знаку Повелителя движется туда, а не сюда. (Если не принимать, что Повелитель на самом деле находится внутри мира, понимаемого как структура из кварков — но тогда Мир зомби не совпадает с нашим до последнего атома, если вы не думаете, что Повелитель зомби присутствует и в нашем мире.)

Когда философ в нашем мире пишет: «Я думаю, что Мир зомби возможен», его пальцы последовательно нажимают клавиши З-О-М-Б-И. В этих нажатиях можно отследить цепь причинности: сокращение мышц, возбуждение нервов, команды, посылаемые через спинной мозг двигательной областью коры головного мозга — и далее в менее известные области мозга, где внутреннее повествование философа впервые заговорило о «сознании».

И зомби-двойник философа нажимает те же клавиши, вследствие тех же факторов с точки зрения причинности. В цепи объяснений того, почему философ пишет именно так, нет причины, которой бы отсутствовала в отношении его зомби-двойника. У двойника также есть внутреннее повествование о «сознании», которое продвинутый томограф мог бы считать из его слуховой коры. И какие бы другие мысли, или иные подобные мотивы, ни вели к такому внутреннему повествованию, они в точности те же как в нашей вселенной, так и в Мире зомби.

Итак, вы не можете сказать, что философ пишет о сознании вследствие сознания, в то время как зомби-двойник пишет о сознании по знаку Повелителя зомби или ИИ. Когда вы отслеживаете цепь причинности от клавиатуры к внутреннему повествованию, отзывающемуся в слуховой коре, и к причине повествования, вы должны найти такое же физическое объяснение в нашем мире, как и в мире зомби.

Как пишет самый убежденный защитник зомбизма Дэвид Чалмерс6:

Подумайте о моем зомби-двойнике в соседней вселенной. Он все время говорит о сознательном опыте — по сути, он кажется одержимым. Он тратит абсурдное количество времени, сгорбившись за компьютером и строча главу за главой о тайнах сознания. Он часто говорит об удовольствии, которое он получает от неких свойств чувственного опыта7, питая особую любовь к темно-зелёному и багровому. Он часто ввязывается в споры с зомби-материалистами, заявляя, что их позиция несправедлива к реалиям сознательного опыта.

И в то же время у него нет сознательного опыта вообще! В его вселенной материалисты правы, а он ошибается. Большая часть его утверждений о сознательном опыте — попросту ложь. Но, несомненно, есть физическое или физиологическое объяснение, почему он утверждает то, что утверждает. В конце концов, его вселенная всецело подчиняется законам, в ней нет чудес — следовательно, должно быть какое-то объяснение и его утверждениям.

…Любое объяснение поведения моего двойника равно будет считаться объяснением моего поведения, так как процессы внутри его тела в точности соответствуют процессам внутри моего. Основание под его утверждениями, очевидно, не зависит от существования сознания, ведь в его мире сознания не существует. Следовательно, объяснение моих утверждений также не зависит от существования сознания.

Чалмерс не выдвигает аргументы против зомби. Таковы его подлинные убеждения!

Эта парадоксальная ситуация одновременно радует и пугает. Она не обязательно станет приговором убеждениям не-редукционизма, но, по крайней мере, с ней нам придётся сцепиться.

Я на самом деле полагаю, что эта пилюля горчайшая из всех, что нам вовеки пришлось проглотить. Таков мой сомнительный комплимент Дэвиду Чалмерсу. Менее горькая не помогла бы прояснить все следствия, позволила бы уйти от столкновения с ними или рационализировать причину, почему все не так страшно.

Почему кто бы то ни было решил проглотить такую пилюлю? Почему кто-то выдвинул утверждение о бессознательных зомби, которые пишут труды о сознании точно по той же причине, что и наши, несомненно наделённые сознанием, философы?

Я писал не об интуитивно ясном понятии пассивного слушателя. Интуиция в этом случае может подсказать, что зомби могут водить машину, заниматься математикой или даже влюбиться — но она не говорит, что зомби пишут философские труды о своём пассивном слушателе.

Спор о зомби покоится не только на понятии пассивного слушателя. Если б дело было только в нем, думаю, спор бы уже затих. Интуитивное представление, что «слушателя» можно устранить без последствий, исчезло бы, как только вы осознаете, что ваше внутреннее повествование, по-видимому, связывается со слушателем в каждом акте слушания.

Нет, побуждение проглотить эту пилюлю исходит из совершенно иного интуитивного представления — состоящего в том, что, сколько бы атомов вы ни добавили, сколько бы масс и электрических зарядов ни взаимодействовали, они с необходимостью никогда не вызовут субъективного ощущения таинственной красноты красного. То, что расположение таких-то атомов в таком-то порядке вызывает ощущение красноты, (по Чалмерсу) может быть фактом нашей физической вселенной — но если это верно, то без данного факта можно обойтись и объяснить [это явление], не вовлекая движение атомов.

Но если вы рассмотрите второе интуитивное представление само по себе, без понятия пассивного слушателя, трудно понять, почему оно предполагает зомбизм. Возможно это всего лишь иной род вещества, отличный от атомов и дополняющий их, который не является причинно пассивным — душа, которая на самом деле порождает вещество и на самом деле играет роль причинности, когда мы пишем о «таинственной красноте красного». Уберите душу и…хм, предполагая, что вы не впадёте в кому, вы точно не напишете новых трудов о сознании.

Это точка зрения Декарта и большинства других древних мыслителей. Душа имеет иную природу, но она взаимодействует с телом. Точка зрения Декарта известна как вещественный дуализм — существует вещество-мысль, вещество-разум, и оно отлично от атомов; но оно причинно действенно, взаимодействует с нашей вселенной и оставляет на ней различимый отпечаток.

Зомбисты же привержены дуализму свойств — они верят не в обособленную душу, а в то, что материя в нашей вселенной имеет дополнительные свойства, не относящиеся к физическим.

«Не относящиеся к физическим?» Что это значит? А то, что дополнительные свойства здесь, но они не влияют на движение атомов, в отличие от параметров электрического заряда или массы. Дополнительные свойства не обнаруживаются сторонним экспериментом. Вы осознаете, что наделены сознанием, изнутри ваших дополнительных свойств, но ни один учёный не может непосредственно обнаружить это извне.

Итак, дополнительные свойства здесь, но они не являются причинно активными. Они не перемещают атомы и поэтому не могут быть обнаружены извне.

И поэтому мы (якобы) можем представить вселенную в точности, как эта, где все атомы на тех же местах, но дополнительные свойства отсутствуют, и все происходит так же, как раньше, только никто не наделён сознанием.

Мир зомби может быть физически невозможным, — скажут зомбисты, — так как установлено, что вся материя в нашей вселенной имеет дополнительные свойства, либо подчиняется «законам сопряжения», пробуждающим сознание — но Мир зомби возможен логически: законы сопряжения могли бы оказаться иными.

Но если вы осознаете, что мыслимость и логическая возможность не одно и то же, и что Мир зомби не так уж интуитивно понятен — почему вы говорите, что Мир зомби логически возможен?

Почему, почему вы говорите, что дополнительные свойства эпифеноменальны и не могут быть обнаружены?

Мы можем сделать эту дилемму ещё жёстче. Чалмерс верит, что существует нечто, называемое сознанием, и что это сознание воплощает подлинную и неописуемую сущность таинственной красноты красного. Это может быть свойство, не связанное с массой и зарядом, но оно есть, и это — сознание. Сказав все это, Чалмерс далее определяет, что сущность сознания эпифеноменальна и не является причинно действенной — но почему он так решил?

Как можно сказать, что возможно устранить самую суть сознания и оставить все атомы на своих местах и в том же состоянии? Если это верно, нам нужно отдельное физическое объяснение для всего того, что Чалмерс говорит о «таинственной красноте красного». То есть, одновременно существуют вне-физическая таинственная краснота красного и совершенно отдельная физическая причина того, что Чалмерс способен говорить о «таинственной красноте красного».

Чалмерс признает, что эти две вещи, по-видимому, должны быть связаны, но послушайте, зачем нам сразу обе? Почему бы не выбрать ту или другую?

Если вы утверждаете, что существует таинственная краснота красного, почему бы не сказать, что она взаимодействует с вашим внутренним повествованием и побуждает вас говорить о ней?

Не проще ли подход, выбранный Декартом — в строгом смысле?

Зачем заявлять о вне-материальной душе — и тут же о том, что эта душа не воздействует на физический мир — а затем вводить ужасно таинственный материальный процесс, который побуждает ваше внутреннее повествование говорить о сознательном опыте?

Почему бы не заявить об истинной материи сознания, к которой простые бездушные атомы в любом количестве не смогут ничего добавить — и только потом, зайдя так далеко, позволить этой материи сознания обладать свойствами причинности вроде тех, что позволяют философам говорить о сознании?

Я не одобряю подход Декарта. Но я хотя бы понимаю, из чего исходил Декарт. Сознание кажется таинственным, и вы заявляете о таинственной материи сознания. Прекрасно!

Но теперь зомбисты заявляют, что эта таинственная материя ничего не делает, так что вам необходимо абсолютно новое объяснение того, почему вы можете сказать, что наделены сознанием.

Это не витализм. Это нечто столь причудливое, что виталисты подавились бы кофе. «Когда огонь горит, он высвобождает флогистон. Но флогистон не оказывает экспериментально подтверждённого воздействия на нашу вселенную, так что вам придётся искать отдельное объяснение, почему огонь плавит снег». Вы шутите?

Полагают ли приверженцы «дуализма свойств», что, если они заявят о новой действующей силе, которая оказывает причинное воздействие на наблюдаемые объекты, они высунут голову слишком далеко?

Что до меня, я бы сказал, что если вы заявляете о таинственном, дополнительном, отдельном, сугубо умозрительном свойстве сознания, не связанном с положениями и скоростями в пространстве, вы уже высунули голову дальше некуда. Сначала заявить о материи сознания, а потом о том, что она ни на что не влияет — во имя няшных котят, за что?

Это даже не является очевидным карьерным мотивом. «Привет, я философ сознания. Мой предмет исследования — самая важная штука во вселенной, и мне нужна наилучшая финансовая поддержка, понимаете? Хм, мило, что вы это сказали, но на самом деле явление, которое я изучаю, вообще ни на что не влияет». (Аргумент от карьеры несостоятелен, но я его привёл, чтобы оставить путь к отступлению.

Чалмерс критикует вещественный дуализм на том основании, что не видно новой физической теории или нового вещественного взаимодействия, которые могли бы объяснить сознание. Но у дуализма свойств те же проблемы. Неважно, о каком роде двойных свойств вы говорите — как именно он объясняет природу сознания?

Когда Чалмерс заявляет о дополнительном свойстве, которым является сознание, он перепрыгивает необъяснимое. Как это поможет его теории определить далее, что это дополнительное свойство ни на что не влияет? Почему бы просто не придать ему причинность?

Если б я разозлился, именно сейчас я бы вытащил на свет дракона — притчу Карла Сагана о драконе в гараже. «У меня в гараже дракон!» Отлично! Пойдём посмотрим! «Ты его не увидишь — это невидимый дракон». Тогда я бы хотел его услышать! «Извини, дракон не слышен». Тогда я измерю прирост концентрации углекислоты! «Он не дышит». Я распылю в воздухе мешок муки, чтобы обрисовать его форму. «Дракон проницаем для муки».

Один из мотивов для попытки сделать свою теорию принципиально нефальсифицируемой — то, что в глубине души вы боитесь подвергнуть её проверке. Сэр Роджер Пенроуз (физик) и Стюарт Хэмерофф (невролог) — вещественные дуалисты, полагающие, что в квантах протекает нечто таинственное, что Эверетт неправ и что «коллапс волновой функции» физически реален — что именно там обитает сознание, и таким образом оно оказывает причинное воздействие на ваши губы, когда вы произносите «Я мыслю, следовательно, я существую». Убеждённые в этом, они предсказывают, что нейроны сопротивляются декогеренции достаточно долго, чтобы поддерживать макроскопические квантовые состояния.

В данный момент эта гипотеза подвергается проверке, и пока что исследования не подтверждают точку зрения Пенроуза…
… но само поведение Пенроуза достойно уважения с точки зрения науки. Может, оно не соответствует байесовым критериям, но всё же имеет здоровые корни. Он выступил с бредовой гипотезой — указал, как её проверить — вышел и действительно попытался проверить её.

Я сказал Стюарту Хэмероффу: «Думаю, гипотеза, которую вы проверяете, совершенно безнадёжна, и ваши эксперименты определённо заслуживают финансирования. Даже если вы не найдёте в точности то, что ищете, вы ищете там, где до вас никто не искал — и можете обнаружить что-нибудь интересное».

Итак, устранение эпифеноменализма будет неприятно тем, что зомбисты побоятся говорить о действующем веществе-сознании, ведь учёные могут отправиться искать эти дополнительные свойства — и не найти их.

Хотя я не думаю, что это справедливо в отношении Чалмерса. Если бы Чалмерсу недоставало честности к себе, он мог бы многое сделать намного проще.

(На случай, если Чалмерс читает это и действительно боится фальсификации, я укажу, что, если эпифеноменализм ложен, то существует другое объяснение так называемому сознанию, и оно будет в итоге найдено — тогда теория Чалмерса обрушится. Так что, если Чалмерса заботит его место в истории, у него нет причин поддерживать эпифеноменализм, разве что он действительно считает его истинным).

Чалмерс — один из самых обескураживающих философов, которого я знаю. Иногда мне интересно, не готовит ли он нечто вроде «Побеждённого атеизма». Чалмерс проводит действительно тонкий анализ… и в последний миг сворачивает в тупик. Он показывает все неувязки сценария с Миром зомби — и тут же, выбросив все свои доводы на свалку, смиренно принимает этот сценарий.

Чалмерс делает то же самое, когда подробно объясняет, почему нельзя оправдать нашу собственную веру в сознание тем, что наш зомби-двойник ошибается, говоря те же вещи по тем же причинам.

По поводу теории Чалмерса — его слова о вере в сознание не имеют причинного обоснования; вера не может быть вызвана фактом как таковым. В отсутствие сознания Чалмерс писал бы те же труды по тем же причинам.

Насчёт эпифеноменализма — высказывание Чалмерса о вере в сознание не обосновано тем, что это результат процесса, систематически выдающего верные убеждения, поскольку зомби-двойник пишет те же труды в результате того же систематического процесса — и ошибается.

Чалмерс признает это и, на самом деле, объясняет в своей книге каждый довод очень подробно. Так получается, Чалмерс прочно доказал, что его вера в эпифеноменальное сознание не обоснована? Нет, он пишет:

Опыт сознания находится в центре нашей эпистемологической вселенной; у нас есть прямой доступ к нему. Отсюда вопрос: что, как не причинная связь с этим опытом и не механизмы формирования убеждений, обосновывает наше доверие к этому опыту? Думаю, ответ ясен: обладание опытом обосновывает доверие к нему. Например, сам факт, что у меня есть опыт красного, обосновывает мое убеждение, что у меня есть опыт красного…

Поскольку мой зомби-двойник лишён опыта, его эпистемологическая ситуация сильно отличается от моей, и его суждения лишены соответствующего обоснования. Тянет возразить, что, если мое убеждение относится к области физического, его обоснование также должно относиться к этой области — но это non sequitur8. Из отсутствия обоснований в области физического можно сделать вывод, что не обосновано убеждение моей физической части (скажем, мозга). Но вопрос в том, обосновано ли мое убеждение, а не убеждение моего мозга — ведь, если дуализм свойств верен, то я — нечто большее, чем мой мозг.

Итак — если я верно понял этот тезис — есть «подлинный я», где-то за пределами моего мозга, который верит, что он не зомби, и непосредственно ощущает опыт зомби-небытия — и это обосновывает его веру.

Но Чалмерс лишь написал все это в своей очень даже физической книге, и то же сделал Чалмерс-зомби.

Чалмерс-зомби не смог бы написать книгу благодаря тому, что за пределами мозга есть «подлинное зомби-я» — должна быть совершенно иная причина в рамках законов физики.

Следовательно, даже если существует скрытая часть Чалмерса, сознающая и верящая в сознание прямо и непосредственно, также существует отделимое подпространство Чалмерса — закрытая для причинности познающая подсистема, действующая всецело в рамках физики — именно это «внешнее я» проговаривает чалмерсово внутреннее повествование и пишет труды о сознании.

Не вижу способа избежать обвинения, что, исходя из его же собственной теории, этот отделимый внешний Чалмерс сошёл с ума. Это часть Чалмерса, которая одинакова в этом мире и в Мире зомби, и в каждом из миров она пишет философские труды о сознании без веских причин. Его философские труды не исходят из внутреннего ядра осведомлённости и убеждения в осведомлённости, они исходят из обычной физики внутреннего повествования, которое заставляет пальцы Чалмерса нажимать на клавиши компьютера.

И этот безумный внешний Чалмерс пишет философские труды, которые вдруг оказываются совершенно верными, по отдельной и дополнительной чудесной причине. Чудо не является логически необходимым (тогда был бы логически невозможен и Мир зомби). Это физически возможное чудо, которое оказывается верным в том, что мы полагаем нашей вселенной, даже несмотря на то, что наука не может различить нашу вселенную и Мир зомби.

Или по меньшей мере так покажется исходя из того, что говорит нам безумный, по его собственному признанию, внешний Чалмерс.

Думаю, я говорю за всех редукционистов, когда произношу: «Э-э-э…?»

Это не эпициклы. То есть: «Движение планет следует этим эпициклам — но эпициклы на самом деле ничего не делают — что-то ещё, что я не могу объяснить, движет планеты так, как это описывают эпициклы — и, я бы сказал, даже если б не было никаких эпициклов».

У меня нестандартный взгляд на философию, поскольку я смотрю на всё глазами разработчика ИИ; конкретнее — самосовершенствующегося сильного ИИ со стабильной структурой мотивации.

Когда я думаю о разработке ИИ, я рассматриваю такие принципы, как теория вероятности, байесовы представления о свидетельстве как дифференциальной диагностике и, прежде всего, согласованность мышления. Любой самосовершенствующийся ИИ, начинающий работу в состоянии несогласованного мышления, долго не протянет.

Допустим, что самосовершенствующийся ИИ обратится к той части себя, которая выводит «Б» из при наличии А — то есть, записывает в память «Б», если истинно условие А. Исследовав эту часть, ИИ определяет, каким образом она (причинно) действует в контексте большей вселенной, и решает, что эта часть систематически записывает в память ложные данные. В этом случае ИИ обнаружил нечто, похожее на баг, и изменит себя так, чтобы не записывать «Б» в область убеждений при наличии А.

Любая эпистемологическая теория, не принимающая во внимание согласованность мышления — не лучшая теория, чтобы строить на её основе самосовершенствующийся ИИ. С моей точки зрения, это сокрушительный аргумент, принимая во внимание, для чего я на самом деле собираюсь применять философию. Так что, в любом случае мне придётся разработать теорию, предусматривающую согласованность мышления. И когда я это сделаю — ей-богу, согласованность мышления обретёт интуитивно понятный смысл.

Таков необычный аспект, в котором я предполагаю рассматривать все эти вопросы. А теперь вернёмся к Чалмерсу.

Причинно замкнутый «внешний Чалмерс» (на которого никак не влияет «внутренний Чалмерс» со своими отдельными, дополнительными знаниями и убеждениями) должен осуществлять некое систематически ненадёжное, недозволенное действие, которое необъяснимым образом побуждает внутреннее повествование порождать убеждения о «внутреннем Чалмерсе» — правильные без какой-либо на то причины, логичной в нашей вселенной.

Но у внешнего Чалмерса или *любого ИИ с последовательным мышлением и самодиагностикой *нет возможных оснований, чтобы верить в эту чудесную правильность. Хорошо спроектированный ИИ, думаю, выглядит как последовательно мыслящий разум, воплощённый в системе причинности, с проверяемой теорией того, как эта система причинности систематически порождает точные убеждения, решая при этом поставленные перед ней задачи.

Итак, ИИ вглядится в Чалмерса и увидит познавательную систему с замкнутыми причинными связями, выдающую бессмысленное внутреннее повествование. Бессмыслица, по-видимому, существенно влияет на то, что, по мысли Чалмерса, должно считаться морально целостной личностью.

Эту проблему не нужно решать теоретикам дружественного ИИ — сложность возникает, лишь если вы эпифеноменалист. Если верить редукционистам (сознание возникает в пределах атомарной структуры, или вещественным дуалистам (сознание представляет собой причинно действенную нематериальную сущность), говорящий о сознании говорит о чем-то реально существующем, и последовательно мыслящий байесианский ИИ может понять это, отследив цепь причин, побуждающих человека говорить о «сознании».

По Чалмерсу, познавательная система с замкнутыми причинными связями, порождающая чалмерсово внутреннее повествование, работает с (таинственными) искажениями, поскольку чудесным образом — не с необходимостью, а случайно и только в нашейвселенной — выдаёт верные ответы. Более того, внутреннее повествование утверждает, что «внутреннее повествование, работает с (таинственными) искажениями, но чудесным образом верно отражает обоснованные представления эпифеноменального внутреннего ядра»

Да неужели!

Не пора ли вам уже отбросить эту идею? Не пора ли, на самом грубом интуитивном уровне, прийти к мысли: «О чем я только думал?»

Человечество накопило обширный опыт того, как выглядят верные представления о мире. Они выглядят совсем не так.

«Аргумент от недоверия», — вы говорите. Отлично, вы хотите, чтобы я это сказал? Указанная чалмерсианская теория заявляет о множественных необъяснимых сложных чудесах. Это обрушивает её изначальную вероятность, согласно правилу конъюнкции вероятностей и бритве Оккама. Следовательно, над ней берут верх, самое малое, две теории, которые предусматривают меньше чудесного, а именно:

  1. вещественный дуализм:
  • «существует еще не понятая материя сознания, необычайная сверх-физическая материя, которая оказывает видимое воздействие на наш мир; именно эта материя побуждает нас говорить о сознании».
  1. Не-вполне-основанный-на-вере редукционизм:
  • так называемое «сознание» возникает в рамках физики не понятым пока образом, в точности как последние три тысячи раз, когда человечество сталкивалось с чем-то таинственным.

  • интуитивное представление, что вещество не может, теоретически, быть частью сознания, — неверно. Точное знание причин, почему вы можете рассуждать о сознании, могло бы подтолкнуть вас к пониманию вещей, о которых вы не имеете пока никакого представления; и впоследствии вы бы осознали, что ваши доводы о том, что в физике нет места сознанию, имели изъян.

Сравните с эпифеноменальным дуализмом свойств:

  • У вещества есть дополнительные свойства, обусловленные сознанием, которые мы пока не понимаем. Эти свойства эпифеноменальны по отношению к экспериментальной физике — они не воздействуют на движение частиц.

  • Отдельно существует ещё не понятая физическая причина, по которой философы могут говорить о сознании и выдумывать теории двойных свойств.

  • Чудесным образом, когда философы говорят о сознании, законы сопряжения с нашим миром в точности таковы, что рассуждения о сознании оказываются верными, хотя они и возникают вследствие неисправности (логически не допустимых выводов) в познавательной системе с замкнутыми причинными связями, которая строчит философские труды.

Знаю, что мои слова основаны на ограниченном опыте. Но исходя из моего ограниченного опыта «Спор о зомби» может быть кандидатом на самую безумную идею в философии.

Временами вы как рационалист вынуждены верить в вещи, кажущиеся вам странными. Странными кажутся относительность, квантовая механика, естественный отбор.

Но эти странности подкреплены солидными свидетельствами. Есть разница между верой в что-то странное, но в полной мере подтверждённое наукой…

…и верой в утверждение, которое кажется совершенно безумным, поскольку большой сложный философский спор крутится вокруг неопределённых чудес и громадных слепых пятен, даже не претендующих на постижимость…

…и даже после того, как вы примете на веру все, что вам говорят, явление все ещё будет казаться тайной и останется таким же удивительно непроницаемым, каким было изначально.

Если бы все аргументы Дэвида Чалмерса по отдельности казались правдоподобными — а они таковыми мне не кажутся — то рационалисту уместно было бы сказать:

«Ладно… Признаю, что не знаю, как работает сознание… может, я неверно подхожу к проблеме как таковой или задаю неверные вопросы…но эта тема с зомби не может быть здравой. Аргументы недостаточно хорошо стыкуются, чтобы вынудить меня во все это поверить — особенно когда я понимаю, что не стану оттого менее озадаченным. На уровне чутья, она просто не похожа на то, как действительность могла бы работать на самом-самом деле

Обратите внимание, я не говорю, что это заменит аккуратное аналитическое опровержение тезиса Чалмерса. Система 1 не заменит Систему 2, хотя она может направить к цели. Вам все же придётся найти, в чем именно загвоздка.

Чалмерс написал толстую книгу, не полностью доступную в бесплатном анонсе Гугла. Я не воспроизвёл длинные цепи аргументов, которые Чалмерс обстоятельно выдвигает против себя. Я лишь взялся за окончательное опровержение последних доводов Чалмерса в свою защиту, которые он ещё не противопоставил моим знаниям — чтобы загнать мяч на его поле, где он и был.

Но на глубинном уровне — да, при виде аргументов в пользу зомби разумно сказать: «Это не может быть верно», — и начать поиск ошибки.

  • 1. Понятие «чемпион» (steel man) используется, когда обращаются к наиболее сильной форме позиции или аргумента противника. «Чучело» (straw man)- это искажение позиции или аргумента оппонента с тем, чтобы их было легко опровергнуть. — Прим.перев.
  • 2. Боковое коленчатое ядро — одно из двух клеточных ядер таламуса, расположенных на концах каждого из оптических трактов, из которых зрительные пути идут к полосатой области затылочной коры. — Прим.перев.
  • 3. NP — класс задач, решения для которых можно быстро проверить. NP-полная задача — задача, умея решать которую, можно решить любую NP-задачу. — Прим.перев.
  • 4. Теория первого порядка — теория, в которой можно формулировать утверждения про объекты ее модели, но не про множества объектов. — Прим.перев.
  • 5. Holodeck — Holographic Environment Simulator (Голографический симулятор окружающей среды) — система виртуальной реальности для экипажей космических кораблей вселенной Star Trek. — Прим.перев.
  • 6. Chalmers, The Conscious Mind.
  • 7. Qualia (квалиа) — термин, используемый в аналитической философии сознания для обозначения сенсорных, чувствительных явлений любого рода. В более точных философских терминах квалиа — это свойства чувственного опыта. — Прим.перев.
  • 8. С лат. — »не вяжется» https://ru.wikipedia.org/wiki/Non_sequitur – Прим.перев.
Перевод: 
Son_goku
Номер в книге "Рациональность: от ИИ до зомби": 
221
Оцените качество перевода: 
Средняя оценка: 4.4 (14 votes)

Замечания про зомби

Элиезер Юдковский

Я сегодня немножко не в форме, потому что вчера до трёх утра писал эссе о зомби почти на шесть тысяч слов, поэтому сегодня лишь отвечу Ричарду и заполню вновь замеченный пробел.

(А) Ричард Чаппелл пишет:

Замечание по терминологии (во избежание ненужного замешательства): то, что вы называете «мыслимым», другие назовут всего лишь «по-видимому мыслимым»

Разница между «я пока не вижу противоречий» и «это логически возможно» настолько велика (это NP-полная задача даже в некоторых кажущихся простыми случаях), что полезно иметь для этого два разных термина. Поскольку спор о зомби разросся настолько, что эта огромная разница может быть погребена под грудой мелких терминологических отличий, я считаю, что будет правильно говорить «мыслимо» вместо «логически возможно», или даже сделать ещё более заметное различие. Я не могу подобрать серьёзный термин, который уже устоялся, а в данном случае, предпочёл бы вообще не использовать таковой.

Возможно, я буду говорить «по-видимому мыслимо» в отношении такой информации, которую сторонники зомби получают, воображая Миры Зомби, а «логически возможно» в отношении такой информации, которая возникает после представления завершенной модели или логического доказательства. Обратите внимание на разницу между информацией, которую можно получить, закрыв глаза и представив себе зомби, и информацией, которая необходима для построения аргумента к тезису эпифеноменализма.

Таким образом, вашу позицию можно отнести к материализму типа А, а именно: зомби (поистине) немыслимы, не говоря уже о метафизической возможности.

Материализм типа А — это большой пакет. Не следует сопоставлять этот пакет со мной, пока не увидите, что я согласен с каждой его частью. Я считаю, что задающийся вопросом «Что есть сознание?», задаёт правомочный вопрос и движим жаждой откровения. Вовсе необязательно, ответ будет похож на «Вон та штука, обладающая всеми свойствами, которые обычно присущи сознанию по тем-то и тем-то причинам». Но ответ может в какой-то степени состоять из озарений, которые приведут к пониманию, что сам вопрос был задан неверно.

Всё это не про одно лишь сознание. Всё это про реалистичные ожидания того, какие озарения могут возникать при столкновении с задачей, которая (1) кажется, будто должна иметь какое-нибудь решение, (2) кажется, будто не может иметь никаких решений и (3) обсуждать её приходится с опорой на не до конца понятную ad-hoc модель человеческого мышления.

(1) Насколько я могу судить, вы до сих пор не установили какого-либо логического противоречия в описании мира зомби. Вы лишь указали, что он типа странный. Однако существует множество возможных чудных миров. Это не причина постулировать внутреннее противоречие. Поэтому мне до сих пор совершенно не ясно, о каком таком противоречии шла речь.

Хорошо, я распишу всё с позиции материалиста:

  1. Мир зомби, по определению, содержит все части нашего мира, которые входят в замыкание множества наблюдаемых явлений относительно связей «вызвано тем-то» или «является эффектом того-то». В частности, это замыкание содержит причину моего зримого высказывания «я мыслю, следовательно, существую».

  2. Если я сосредоточу внутренний взор на своём внутреннем взоре, то впоследствии замечу, как мой внутренний рассказчик скажет: «я сосредотачиваю свой внутренний взор на своём внутреннем взоре» и при желании могу произнести это вслух.

  3. Интуитивно кажется, будто эта моя внутренняя сосредоточенность заставляет внутреннего рассказчика произносить определённые вещи, а внутренний рассказчик может заставить мои губы произносить некоторые вещи.

  4. Слово «сознание», если оно вообще что-либо значит, отсылает к тому-что-есть или к тому-что-есть-причина или к тому-что-заставляет-меня-говорить-что-у-меня-есть внутренний взор.

  5. Из пунктов 3 и 4 должно следовать, что если мир зомби замкнут и включает в себя причины, которые заставляют меня говорить «я мыслю, следовательно, существую», тогда мир зомби содержит нечто, на что мы ссылаемся, когда говорим про «сознание».

  6. По определению, мир зомби не содержит сознания.

  7. Мне кажется, что пункт 3 весьма вероятно должен быть эмпирически истинным. Поэтому я присваиваю высокую вероятность тому, что мир зомби логически невозможен.

Мир Зомби можно спасти, дозволив чему-то иному, а не сознанию, быть той причиной, вынуждающей моего внутреннего рассказчика говорить «я мыслю, следовательно, существую». В сочетании с допущением, что сознание всё же существует, эта мысль кажется мне чокнутой.

Но если всё вышеуказанное мыслимо, то разве нельзя помыслить себе и Мир Зомби?

Нет, ведь в этих двух способах конструирования Мира Зомби слово «сознание» будет отсылать к эмпирически различающимся референтам — как слово «вода», означающая H2O в нашем мире, и XYZ на патмэновской Земле-Двойнике1. Для того, чтобы Мир Зомби был логически возможен, недостаточно заявить, учитывая накопленные нами знания об устройстве эмпирического мира, что слово «сознание» может отсылать к некоторому эпифеномену, совершенно непохожему на сознание, которое известно нам. В Мире Зомби отсутствует сознание, а не «сознание» — это мир без H2O, а не мир без «воды». Именно это необходимо для поддержания эмпирического утверждения: «Можно удалить нечто, подразумеваемое под словом ”сознание” из нашего мира, оставив все атомы на том же месте».

Иначе говоря: я считаю эмпирическим фактом, что если выяснить, к чему на самом деле отсылает слово «сознание», то логически невозможно удалить сознание, не потревожив при этом ни единого атома. Я не собираюсь рассуждать, что будет означать удаление из мира «сознания», а не сознания.

(2) Заявление, что соответствие наших квалий физическому миру «чудесно» (с точки зрения вещественного дуалиста), вызывает путаницу. В конце концов, это то, что гарантируется законами природы. Это не более чудесно, чем любая другая логически связная закономерная необходимость (например, значения констант в наших законах физики).

Утверждать, что законы природы «чудесны» сами по себе — значит вводить дополнительный сложный и невероятный элемент теории, который не опирается на то, что мы уже знаем. Постулируются, (а) сознательный внутренний мир, (б) неисправный внешний мир, который беспричинно рассуждает о сознании, и (в) что оба мира идеально сосуществуют. Утверждение (в) не следует из (а) и (б), следовательно, это отдельный постулат.

Согласен, что такое использование слова «чудесный» конфликтует с философским пониманием нарушения законов природы. Я использовал его в смысле возникающей из ниоткуда невероятности, как в убеждении о вечном двигателе. В данном контексте это неподходящее слово. Но разве мы не должны интуитивно называть вещи такого рода чудом? Не сознание заставляет вас говорить, что вы обладаете сознанием, а отдельная физическая штуковина, и существует закон, который приводит эти две вещи в соответствие друг другу. Это ведь так же упорото, как печенье, которое заменяет плоть Христа, но при этом выглядит и ведёт себя точь-в-точь как печенье. Это закон природы такой, гарантирующий соответствие двух вещей, понимаете?

Таким образом, Зомби (или «Внешний») Чалмерс фактически не делает никаких выводов, поскольку его разглагольствования бессмысленны. И уж тем более он не делает каких-либо безосновательных выводов. Он просто производит звуки, не более достойные эпистемической оценки, чем пение птиц.

С позиций разработчика ИИ, мне кажется, должна быть возможность создать ИИ, который будет систематически улучшать ту внутреннюю часть себя, которая коррелирует (в терминах общей информации и системных отношений) с окружающей средой, возможно, используя числа с плавающей точкой для выражения того, что я обычно называю «вероятностью», коль скоро они подчиняются внутренним правилам, заданным теоремами Коха, когда ИИ встречается с новой информацией. То есть, прошу прощения, с новыми чувственными вводными.

Вы можете заявить, что до тех пор, пока ИИ это всего лишь транзисторы — до тех пор, он не обладает дуальностью — у ИИ нет убеждений.

Я считаю, что достаточно ясно высказался на эту тему в «Простой истине».

Мне кажется очевидным создавать карты, которые систематически коррелируют с территориями, не обращаясь ни к чему, кроме чистой физической причинности. Допустим, один ИИ создаёт карту Техаса. Другой ИИ пролетает с этой картой над Техасом и проверяет, что шоссе расположены в указанных местах и издаёт сигнал «Истина», обнаружив соответствие и «Ложь», обнаружив несоответствие. Можно отказаться называть это «картой Техаса», но ИИ продолжат подавать сигналы «Истина» или «Ложь». Рассмотрев убеждения Чалмерса об эпифеноменальном внутреннем ядре, вышеупомянутые ИИ дадут сигнал «Ложь», а я с ними соглашусь.

Очевидно, что карту реальности строит исключительно Внешний Чалмерс. Убеждения создаются исключительно байесовской структурой на основе причинно-следственных связей. Внутреннему Чалмерсу остаётся лишь освящать происходящее эпифеноменальной значимостью. И «значимость» здесь никак не связана с отношениями между картой и территорией или с возможностью использовать карту для перемещений по реальности. Поэтому, когда речь заходит о «точности», не говоря уже о «систематической точности», мне кажется, мы можем ориентироваться исключительно на Внешнего Чалмерса.

(Б) Во вчерашнем тексте я оставил допущение, когда писал:

Допустим, что самосовершенствующийся ИИ обратится к той части себя, которая выводит «Б» из при наличии А — то есть, записывает в память «Б», если истинно условие А. Исследовав эту часть, ИИ определяет, каким образом она (причинно) действует в контексте большей вселенной, и решает, что эта часть систематически записывает в память ложные данные. В этом случае ИИ обнаружил нечто, похожее на баг, и изменит себя так, чтобы не записывать «Б» в область убеждений при наличии А.

Однако нет совершенно никакой гарантии, что внешний Чарлмерс или иной рефлексивно согласованный самосовершенствующийся ИИ поверит в эту загадочную правильность. На мой взгляд, хорошо спроектированный ИИ будет рефлексивно согласованным интеллектом, который обладает проверяемой теорией собственной работы как каузальной системы, а следовательно — проверяемой теорией того, как такая каузальная система производит систематически точные убеждения на пути к достижению своих целей.

По сути, необходимо ещё одно допущение, а именно, что «хорошо спроектированный ИИ» (по крайней мере, в моём представлении) модульно рассуждает о собственной рациональности. То есть он обеспечивает свою общую рациональность через обеспечение локальной рациональности. Если обнаружен элемент, который в собственном контексте систематически ненадёжен локально — то есть из набора возможных убеждений «Бi» и условий Аi, в область убеждений добавляется некоторое «Бi» при локальном условии Аi и после рефлексии система показывает, что Бi ложно (или не точно, в случае вероятностных убеждений) при истинности локального условия Ai — то это баг. Такое модульное устройство позволит отслеживать проблемы и именно таким я вижу устройство ИИ первого поколения [Редакция от 2013: То, что я имел в виду здесь, обрело плоть и формализовано в разделе 6 статьи Tiling Agents for Self-Modifying AI.]

Идея в том, что если каузально замкнутая когнитивная система — например, ИИ, запрограммированный использовать только причинно действующие свои части, или ИИ, теория функционирования которого может быть проверена им самим, или внешний Чалмерс, который пишет философские статьи — верит, что у неё есть эпифеноменальное внутреннее «Я», то видимо она делает нечто систематически ненадёжное, поскольку она пришла бы к точно таким же выводам и в Мире Зомби. Разум, все части которого систематически локально надёжны в соответствующих контекстах, будет систематически надёжен в общем. Следовательно, разум, который ненадёжен в общем, содержит как минимум одну ненадёжную локальную часть. Поэтому, проверив свою локальную надёжность, каузально замкнутая когнитивная система обнаружит, что как минимум один шаг в рассуждениях при добавлении убеждения об эпифеноменальном внутреннем «Я» является ненадёжным.

Приглашаю философов указать на иные подходы, в которых разум может быть рефлексивно согласованным, и при этом не затрагивалось бы данное доказательство невозможности веры в зомби.

Всё это нужно было отметить для того, чтобы показать, что иначе можно остановиться на весьма низкокачественной рефлексивной согласованности, в которой ИИ никогда не назовёт себя ненадёжным. Например, если ИИ обнаружит часть себя, которая вычислит $ 2 + 2 = 5$ (в контексте подсчёта овец), то он помыслит: «Так, эта часть работает неправильно и утверждает, что $ 2 + 2 = 5$… однако, какое совпадение, $ 2 + 2 $ и в самом деле равно $5$, или мне так кажется… так что, даже не смотря на кажущуюся систематическую ненадёжность данной части, лучше бы сохранить её как есть, иначе не удастся правильно обработать этот особый случай.» Поэтому я говорю об обеспечении общей надёжности через обеспечение локальной систематической надёжности — если просто сравнивать убеждения в общем с убеждениями в общем, проку не будет.

Отсюда можно извлечь урок: Показывай общую надёжность своих суждений демонстрируя локальную надёжность каждого отдельного шага. Избегай простого сравнения выводов суждения со своей интуицией [Редакция от 2013: обсуждение факта, что валидная логика является валидной локально, ищите в заметке Proofs, Implications, and Models]

(В) Анонимный комментарий:

Оффтоп: мне кажется, что используемая вами этимология слова «н’шама» неверна. Оно связано со словом, обозначающим «дышать», а не «слышать». Корень слова «слышать» содержит букву айин, а н’шама — нет.

Вот что я называю удивительно обманчивым совпадением — несмотря на то, что слово Н’Шама всплыло из совершенно иных соображений, его звучание заставило меня считать, будто оно отсылает к внутреннему слушателю.

Упс.

Перевод: 
ildaar, sepremento, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
222
Оцените качество перевода: 
Средняя оценка: 4.8 (5 votes)

Обобщённый принцип против зомби

Элиезер Юдковский

Пользуясь каждой найденной истиной для нахождения новых.
Рене Декарт, «Рассуждение о методе».1

«Зомби» — это гипотетические создания, идентичные нам на атомном уровне, которые подчиняются тем же наблюдаемым физическим законам, что и мы. Разница лишь в том, что у них нет сознания.

Хотя философия — это сложно, основной довод против зомби прост: если сосредоточить свой внутренний взор на своём внутреннем взоре, то внутренний рассказчик (тихий голос в голове, проговаривающий мысли) вскоре скажет: «я осознаю, что я осознаю», после чего фраза произносится вслух, затем набирается на клавиатуре компьютера и появляется доступный внешнему наблюдателю пост в блоге.

Сознание, чем бы оно ни было — веществом, процессом, обозначающим замешательство словом — не является эпифеноменом. Разум может заметить внутреннего слушателя в момент слушания и произнести услышанное вслух. Сам факт того, что я набрал этот абзац, по крайней мере кажется опровергающим идею, будто бы у сознания отсутствуют экспериментально различимые последствия.

Не хотелось бы говорить «Так что давайте примем это как данность и продолжим» по отношению к столь спорному философскому вопросу, но кажется, подавляющее большинство комментаторов блога Overcoming Bias готовы с этим согласиться. Кроме того, есть и другие выводы, к которым можно прийти только приняв невозможность удалить сознание так, чтобы вселенная казалась точно такой же, как и прежде. Так что давайте примем это как данность и продолжим.

Форма довода против зомби подсказывает, что его можно обобщить до принципа против зомби. Но как же сделать правильное обобщение?

Допустим, кто-то говорит: «Я держу переключатель, который никак не влияет на твой мозг, но если я нажму на кнопку на нём, то твоё сознание исчезнет». Структура аргумента та же самая, справится ли с ним принцип против зомби?

Кажется, что в приведённом выше случае, ответ — «да». В частности, можно утверждать: «Даже после нажатия на кнопку, я продолжу говорить о сознании по тем же самым причинам, что и до нажатия. Если сейчас я обладаю сознанием, то я продолжу обладать им и после нажатия на кнопку».

Философы могут возразить: «Постойте, вы ведь приравниваете сознание и разговоры о сознании! А как быть с Повелителем Зомби — чатботом, который изрыгает перетасованные куски корпуса текстов из любительских рассуждений о сознании?»

Однако я не ставил знак равенства между «сознанием» и вербальным поведением. Основной тезис в том, что настоящий референт «сознания», помимо прочего, является той причиной, по которой люди говорят о внутренних слушателях.

Как я уже (довольно подробно) высказался в цепочке о правильном использовании слов, мы не всегда стремимся при определении слова получить идеальное необходимое-и-достаточное определение по Аристотелю. Иногда нам нужно что-то вроде карты сокровищ, которая приведёт к внешнему референту. Так что, «то, что на самом деле заставляет меня говорить о невыразимой осознанности» — это не необходимое-и-достаточное определение. Но если то, что на самом деле является причиной, по которой я рассуждаю о невыразимой осознанности, не является «сознанием», тогда…

… тогда сам дискурс становится тщетным. Это больше не сногсшибательный довод против зомби — эмпирические вопросы не решаются сложностью дискурса. Однако, при попытке пренебречь принципом против зомби, возникнут проблемы не только с благовидностью дискурса, но и с его смыслом.

Может, определим слово «сознание» как «то, что вызывает у людей разговоры о ”сознании”»? У такого подхода есть огромное преимущество — он гарантирует, что слово «сознание» означает как минимум один реальный факт. Даже если наши убеждения о сознании являются заблуждением, «сознание» будет означать ту когнитивную структуру, которая породила это заблуждение. Однако, утвердив определение мы лишь договариваемся использовать слово последовательно. Это не решает эмпирических вопросов, например: «вызывает ли внутренняя осознанность разговоры о внутренней осознанности?»

Вернёмся к переключателю.

Если допустить, что довод против зомби применим по отношению к примеру с переключателем, то обобщённый принцип против зомби не может гласить просто: «Любое изменение, которое не является в принципе экспериментально обнаружимым (впэо), не может удалить ваше сознание». Нажатие на кнопку экспериментально обнаружимо, однако оно вряд ли удалит сознание.

Быть может, принцип против зомби гласит: «Любое изменение, которое не влияет на вас любым впэо способом, не может удалить ваше сознание»?

Но есть ли у нас основания утверждать, что нажатие на кнопку не влияет на вас никаким впэо способом? Каждая частица переключателя взаимодействует с частицами вашего тела и мозга. Существуют гравитационные эффекты - незначительные, но реальные и впэо. На расстоянии 10 метров гравитационное притяжение переключателя массой в один грамм составит примерно $6×10^{−16} м/с^2$. То есть, около половины диаметра нейтрона в секунду в секунду — гораздо меньше теплового шума, но гораздо выше планковского уровня.

Можно было бы удалиться на расстояние в пару световых лет и нажимать на кнопку оттуда. В таком случае нажатие не оказывало бы на вас мгновенного эффекта (что бы ни означало «мгновенный» в данном случае) (при допущении, что стандартная модель физики верна).

Вряд ли стоит менять из-за этого постановку нашего мысленного эксперимента. Даже если ни к чему не подключенный переключатель находится с вами в одной комнате, то не стоит ожидать, что внутренний слушатель исчезнет после нажатия на кнопку, ведь переключатель «очевидно не затрагивает» того, что является истинной причиной ваших разговоров о внутреннем слушателе. Чем бы вы не являлись, вы не ожидаете, что переключатель с этим провзаимодействует.

Это большой шаг.

Если вы отрицаете, что этот шаг является обоснованным, то лучше бы вам впредь держаться подальше от переключателей. И всё-таки, это большой шаг.

Главная идея редукционизма в том, что наши карты реальности — многоуровневые, что помогает экономить вычислительные ресурсы, но сама реальность, по всей видимости, строго одноуровневая. Весь наш дискурс об устройстве вселенной оперирует понятиями, находящимися гораздо выше уровня элементарных частиц.

Переключатель всё-таки меняет состояние элементарных частиц в теле и мозге. Он отталкивает их на расстояние, сравнимое с диаметром нейтрона, от того места, где они иначе бы находились.

В повседневной жизни мы пренебрегаем столь малыми изменениями со словами, что переключатель «не оказывает влияния». Но это не так. Он всё меняет аж на диаметр нейтрона! Что вообще может остаться прежним после этого? Только те описания, которые соответствуют более высоким уровням организации — клеткам, белкам и импульсам, пробегающим по аксонам нейронов. Поскольку карта гораздо менее подробна, чем территория, то приходится обозначать множество разных состояний одной точкой.

Любое правдоподобное описание мозга человеком в терминах нейронов и шаблонов активности (или даже структур отдельных микротрубочек, составляющих аксоны и дендриты) останется неизменным после нажатия на кнопку в той же комнате. Ядра больше, чем нейтроны; атомы больше, чем ядра. Когда вы дошли до молекулярного уровня, то крохотная гравитационная сила уже исчезла из списка того, за чем вы продолжаете следить.

Однако если сложить достаточно большое число гравитационных сил, то в какой-то момент их сумма выдернет вас из комнаты и разорвёт на части, так что маленький эффект это не полное отсутствие эффекта.

Но может быть, эта крохотная сила притяжения по удивительному совпадению притянет один дополнительный ион кальция ближе к ионному каналу, что приведёт к чуть более быстрому взаимодействию, чем обычно, что приведёт к появлению целого нейронного импульса, которого в противном случае не должно было быть, который повлечёт за собой цепочку мыслей, которые вызовут эпилептический припадок, который убьёт вас и лишит сознания…

Если сложить множество маленьких количественных эффектов, то получится большой количественный эффект — достаточно большой, чтобы повлиять на что угодно. Поэтому не стоит утверждать, что переключатель буквально не никакого оказывает влияния.

Однако сила воздействия одного-единственного переключателя значительно меньше термодинамической неопределенности, не говоря уже о квантовой неопределенности. И раз уж мы не ожидаем, что сознание будет пропадать и появляться под действием хаотического теплового колебания частиц, то определённо не стоит ожидать, что оно исчезнет из-за чьего-то чиха вдалеке.

Внимательный байесианец заметит, что я только что сделал утверждение об ожиданиях, состояниях знания, обоснованных убеждениях относительно вещей, которые способны или не способны выключать сознание.

Вовсе необязательно, что это разрушит довод против зомби. Вероятности не являются несомненными фактами, однако законы вероятности являются теоремами. Когда рациональность показывает, что нельзя верить во что-либо при данной информации, то это не предположение, а закон.

И всё же, такая формулировка довода против зомби слабее. В ней нет ясной, понятной и совершенно однозначной установки вида: «невозможно удалить сознание, оставив все атомы на точно тех же местах.» (Вместо «все атомы» можно сказать «все причины, приводящие к в принципе экспериментально обнаружимым эффектам», а вместо «те же места» — «та же волновая функция», и так далее)

Однако, новая формулировка довода против зомби по прежнему применима. Можно сказать: «Я не знаю, что такое сознание и допускаю, что я полностью заблуждаюсь в данном вопросе. Но если это слово хоть чему-то соответствует, то это что-то, помимо прочего, является и причиной, по которой я говорю о сознании. Я не знаю, почему я говорю о сознании, но это происходит внутри моего черепа и я ожидаю, что это как-то связано с генерацией нейронных импульсов. Возможно, если бы я на самом деле понял сознание, я бы сейчас говорил о ещё более базовых вещах, вроде микротрубочек или распылённых в синаптических щелях нейромедиаторов. И тем не менее, уровень влияния на нейромедиаторы и микротрубочки от нажатия на кнопку на том самом переключателе будет существенно ниже, чем тепловой шум при температуре 310K. Поэтому, чем бы ни была истинная причина разговоров о сознании, я не ожидаю, что гравитационное притяжение переключателя окажет на это громадное влияние. Возможно, это будет крохотно бесконечно малое влияние. Но я точно не ожидаю исчезновения сознания. Я ожидаю, что буду продолжать говорить о сознании почти точно тем же самым образом и по почти точно тем же самым причинам.»

Такое применение принципа против зомби — слабее. Но, в то же время, оно гораздо более общее. А ещё оно верно с позиции простого здравого смысла.

Вообще-то, есть две разные версии вышеуказанного утверждения, одно для редукциониста и другое для вещественного дуалиста. Редукционист добавит к сказанному: «Что бы не заставляло меня говорить о сознании, скорее всего, наиважнейшие части этого работают не на уровне ядер атома, а на гораздо более высоком уровне. Если понять сознание, то можно абстрагироваться от работы отдельных нейронов и говорить о высокоуровневых когнитивных структурах, но сохранить способность описывать то, как возникают мысли вроде ”я мыслю, следовательно, существую”. Поэтому перемещение тел на расстояние, сравнимое с диаметром нейтрона, не должно влиять на моё сознание (за исключением, возможно, весьма малых вероятностей или весьма малых величин или только после существенных задержек до начала влияния).»

Вещественный дуалист добавит к исходному утверждению: «Что бы не заставляло меня говорить о сознании, оно выходит за рамки известной нам вычислительной физики, что возможно означает, что нужно принять во внимание квантовые эффекты. Однако моё сознание не пропадает и не появляется при каждом чихе вдалеке, иначе я бы это заметил. Это было бы похоже на выпадание из реальности на несколько секунд, или на ощущение пробуждения после общего наркоза, или может я периодически говорил бы ”я не мыслю, следовательно, не существую”. Поэтому, раз тепловые колебания не нарушают мою осознанность, то я не ожидаю, что к этому приведёт нажатие на кнопку.»

Так или иначе, не следует ожидать исчезновения осознанности при произнесении слова «Абракадабра», даже если это слово и окажет бесконечно малый физический эффект на мозг —

Но постойте! Когда вы слышите, что кто-то произнёс слово «Абракадабра», то это уже весьма заметное влияние на мозг — настолько большое, что даже мозг может это заметить. Это может изменить ваш внутренний нарратив — вы можете задуматься: «почему этот человек только что произнёс ”Абракадабра”?»

Однако, при этом вы ожидаете, что продолжите говорить о сознании почти точно тем же самым способом по почти точно тем же самым причинам.

Повторюсь, речь не о приравнивании «сознания» к «тому, что заставляет говорить о сознании». Речь о том, что сознание, помимо прочего, является причиной разговоров о сознании. Следовательно, то, что заставит сознание исчезнуть, должно заставить прекратить разговоры о сознании.

Если с вами сделать что-то такое, что, на ваш взгляд, никак не может повлиять на внутренний нарратив — тот самый голос в голове, который иногда говорит «я мыслю, следовательно, существую» и чьи слова вы, при желании, произносите вслух — то это не должно лишить вас сознания.

Это же верно, даже если внутренний нарратив останется «почти таким же» и причины его возникновения останутся почти такими же. Среди этих почти тех же самых причин находится нечто, что вы называете «сознанием».

Если вы не понимаете, к чему всё это и почему так важно столь подробно обсуждать казалось бы очевидный обобщенный принцип против зомби, представьте себе следующий разговор:

Альберт: Предположим, что я заменил все нейроны в вашей голове крохотными искусственными робо-нейронами, которые точно так же локально обрабатывают входные и выходные сигналы, обладают аналогичными внутренними состояниями и правилами обучения, а так же образуют те же самые связи.

Бернис: Это же ужасно! Я перестану быть существом, обладающим сознанием.

Чарльз: Ну, существо, обладающее сознанием, всё-таки останется, но это уже буду не я.

Сэр Роджер Пенроуз: Предлагаемый вами мысленный эксперимент невозможен. Нельзя воспроизвести поведение нейронов не столкнувшись с квантовой гравитацией. Поэтому не вижу смысла дальше участвовать в этом разговоре. (Уходит.)

Альберт: Предположим, что замена происходит по одному нейрону за раз и это происходит настолько быстро, что это не влияет на работу мозга в целом.

Бернис: Но как такое вообще возможно?

Альберт: Маленький робот подплывает к нейрону, окружает его, сканирует, учится воспроизводить его, а затем внезапно, в промежутке между импульсами, производит подмену. При этом имитация столь хороша, что внешнее поведение остаётся почти таким же, как в случае отсутствия вмешательства. Может быть не точно таким же, но влияние значительно меньше теплового шума при температуре 310K.

Чарльз: Ну и что?

Альберт: Разве твои убеждения не противоречат обобщенному принципу против зомби? Случись вышеописанное, это не изменило бы твой внутренний нарратив! Ты продолжила бы говорить о сознании по точно тем же самым причинам, что и раньше.

Бернис: Эти маленькие роботы являются Повелителем Зомби. Они заставят меня говорить о сознании, даже несмотря на то, что сознания у меня нет. Мир зомби возможен, если допустить присутствие внешнего, экспериментально обнаружимого Повелителя Зомби — тех самых роботов.

Чарльз: О, это не так, Бернис. Маленькие роботы не намерены имитировать фальшивое сознание и или выдавать строчки из корпуса человеческих текстов. Они делают всё то же самое, что и настоящие нейроны, просто сделаны из кремния, а не из углерода.

Альберт: Подожди, ты что, только что согласился со мной?

Чарльз: Я не говорил, что полученная личность не будет обладать сознанием. Я сказал, что это буду не я.

Альберт: Очевидно, что принцип против зомби достаточно общ для утверждения, что данная процедура не повлияла на истинную причину разговоров о вот этой «Я»-штуке.

Чарльз: Неа! Эта процедура совершенно точно повлияла на истинную причину моих разговоров о сознании. Она заменила одну причину другой — роботами. Поэтому, не смотря на то, что оказалось, что новая причина тоже обладает сознанием — т.е., говорит о сознании исходя из того же самого обобщенного принципа — это не означает, что это та же самая причина, что и раньше.

Альберт: Но мне даже не придётся сообщать тебе обо всей этой процедуре с роботами. Ты этого не заметишь. Если ты, основываясь на внутренних свидетельствах, считаешь, что ты на самом деле «та же личность», что и пять минут назад, а я сделаю что-то, что не изменит доступных тебе внутренних свидетельств, то твоё заключение о том, что ты та же самая личность, что и пять минут назад, будет столь же обоснованным, что и раньше. Разве обобщенный принцип против зомби не утверждает, что ты обязан как-то заметить, если я сделаю нечто, что изменит твоё сознание и тем более превратит в совершенно иную личность?

Бернис: Не замечу, если ты заменишь меня Повелителем Зомби. Тогда некому будет замечать.

Чарльз: Интроспекция не совершенна. В мозге происходит много такого, чего я не замечаю.

Альберт: Вы постулируете эпифеноменальные факты о сознании и идентичности!

Бернис: Вовсе нет! Я могу экспериментально определить разницу между нейронами и роботами.

Чарльз: Вовсе нет! Я могу экспериментально определить момент, когда новая личность заменит прежнего меня.

Альберт: Ну да, а я могу определить щелчок переключателя! Вы определите нечто, что не приводит к значимым переменам в истинной причине разговоров о сознании и идентичности. В подтверждение этому, вы будете говорить точно таким же образом и после подмены.

Бернис: Это всё из-за робо-Повелителя Зомби!

Чарльз: То, что два человека говорят об «личной идентичности» по схожим причинам, не делает их одной и той же личностью.

Я думаю, что обобщенный принцип против зомби подкрепляет позицию Альберта, но об этом в следующих эссе. Мне нужно ещё поработать над предпосылками, да и это эссе уже слишком длинное.

Но осознаёте ли вы важность вопроса: «Насколько сильно можно обобщить аргумент против зомби, чтобы он оставался действенным?»

От ответа на этот вопрос может зависеть облик будущих галактических цивилизаций…

  • 1. Пер. Г.Г. Слюсарева и А.П. Юшкевича — Прим. перев.
Перевод: 
sepremento, ildaar, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
223
Оцените качество перевода: 
Средняя оценка: 5 (4 votes)

Обобщённый принцип против зомби и гигантская таблица поиска

Элиезер Юдковский

В «Невообразимой нелепости зомби» Дэниел Деннетт пишет1:

Уже несколько философов заявили, что планируют принять мой вызов и выдвинуть неоспоримую защиту концепции зомби. Единственная известная мне на данный момент защита постулирует нечто фантастическое, но «логически возможное» и восходящее к придуманной Недом Блоком гигантской таблице поиска.

На жаргоне программистов гигантская таблица поиска — это реализация функции в виде гигантской таблицы аргументов и результатов, которая обычно вводится с целью сокращения вычислений. Например, для того, чтобы узнать результат произведения двух аргументов со значениями от 1 до 100, я могу реализовать алгоритм умножения, который будет вычислять результат каждый раз при вызове функции, а могу предвычислить гигантскую таблицу поиска из 10000 ячеек с двумя индексами. В некоторых случаях (умножение не в их числе) это имеет смысл: например, если аргументов у функции немного, а вызывать её придётся часто, либо если процессорное время обходится дёшево во время инициализации и очень дорого во время исполнения.

Гигантские таблицы поиска (ГТП) очень быстро становятся очень большими. ГТП, содержащая все возможные диалоги из двадцати реплик по десять слов каждая и использующая только базовый английский словарь на 850 слов, должна включать в себя $7,6×10^{585}$ записей.

Чтобы заменить мозг человека гигантской таблицей поиска всех возможных сенсорных входов и моторных выходов потребуется (по сравнению с какой-нибудь подробной схемой цифровой обработки сигналов) огромный объём памяти. Однако «в принципе», как любят говорить философы, это реализуемо.

ГТП не является зомби в классическом смысле, потому что отличается от человека на микрофизическом уровне. (По сути, ГТП и не может действовать на основе той же физики, что и человек — она слишком велика для нашей вселенной. Во имя философии мы проигнорируем этот факт и допустим наличие бесконечного объёма памяти).

Вообще, является ли ГТП зомби? То есть, ведёт ли она себя точно так же, как человек, не обладая при этом сознанием?

Язык ГТП-ированного тела говорит о сознании. Пальцы его пишут философские статьи. С какой стороны не посмотри, пока не заглянешь под крышку черепа, ГТП выглядит как человек… что определённо похоже на зомби: ведёт себя как человек, но внутри никого нет.

Если только сама ГТП не обладает сознанием, ведь в таком случае пример будет неподходящим.

Не помню, чтобы хоть кто-нибудь заявлял о наличии сознания у ГТП. (Признаюсь, что я не профессионал в этой области, поэтому не стесняйтесь меня поправлять.) Даже люди, обвиняемые в том, что они (о, ужас) функционалисты, не утверждают, что у ГТП есть сознание.

ГТП это доведённая до абсурда идея, что сознание — всего лишь схема входов и выходов, которая позволяет придерживающимся её не волноваться о том, что происходит внутри.

Что обобщенный принцип против зомби может сказать о гигантской таблице поиска?

На первый взгляд кажется, что ГТП это самый типичный Повелитель Зомби — отдельная, дополнительная, обнаружимая, бессознательная система, которая оживляет зомби и заставляет его говорить о сознании по чуждым ему причинам.

ГТП представляет из себя всего лишь простую компьютерную программу, сопоставляющую входы и выходы. В данном случае термин «простая компьютерная программа» будет даже переусложнением. ГТП это скорее ПЗУ, чем ЦПУ. Вместо «программы» можно точно с тем же успехом рассуждать про набор железнодорожных путей со стрелками, по которым вагоны перекатываются с одного места на другое и… Всё. Вот и всё, чем занимается ГТП.

Представитель организации «Люди за этичное обращение с зомби» заметит: «Ага, вот все вы анти-механисты так говорите! При взгляде на мозг вы видите лишь горстку нейромедиаторов, которые открывают ионные каналы, не так ли? Если ионные каналы могут обладать сознанием, то чем катящиеся вагоны и рычаги хуже?»

«Дело не в рычагах», — ответит функционалист, — «дело в том, что в ГТП заложена неправильная схема из рычагов. Требуются такие рычаги, которые реализуют, например, формирование убеждений об убеждениях или моделирование самих себя… Чёрт, да в конце концов нужна возможность записывать что-нибудь в память, чтобы вычислять процессы, протекающие во времени. Если только вы не считаете, будто бы можно запрограммировать сознание на Haskell».

«Я в этом не разбираюсь», — скажет представитель зомбизащитной организации, — «но зато знаю, что так называемые зомби пишут философские статьи на тему сознания. Что же порождает эти философские статьи, если не сознание?»

Отличный вопрос! Давайте рассмотрим его повнимательнее.

В физике существует такая игра, называется «Следи за энергией». Маленький Ричард Фейнман играл в неё с отцом:

Такие вопросы любил мой отец: «Что приводит это в движение? Да всё движется, потому что солнце светит». И мы бы веселились, обсуждая это.
— Нет, игрушка работает, потому что пружина заведена, — сказал бы я.
— А почему заведена пружина? — спросил бы отец.
— Я ее завёл.
— А почему ты можешь двигаться?
— Потому, что я ем.
— А пища получается только потому, что солнце светит.
Так родилось бы понимание того, что движение — это просто преобразованная солнечная энергия.2

Когда чуть подрастёшь, то узнаёшь, что энергию можно сохранять, но не создавать или уничтожать. Поэтому нет смысла вообще говорить о тратах энергии. Никоим образом нельзя изменить общее количество энергии, так в каком же смысле её можно потратить?

Подросшие физики учатся играть в новую игру под названием «Следи за негэнтропией» — это практически та же игра, что и раньше. Только правила более математичны, сама игра полезнее, а её принципы сложнее понять.

Рационалисты же учатся играть в продвинутую версию игры «Откуда ты знаешь?» под названием «Следи за невероятностью». Правило игры таково: каждое убеждение, которое кажется невероятным, требует соответствующего количества подкрепляющих свидетельств. (Правила этой игры поразительно похожи на правила «Следи за негэнтропией»).

Если кто-то нарушает правила игры рационалистов, то в его рассуждении можно обнаружить место, где некоторое количество невероятности возникает из воздуха. А это такой же признак проблемы, как и, скажем, хитроумное устройство из колёсиков и шестерёнок, способное к вечному движению.

Пусть некто подходит к вам и говорит: «Я твердо и несокрушимо верю, что в поясе астероидов находится объект сантиметров тридцати в поперечнике и полностью состоящий из шоколадного торта. И ты не сможешь доказать, что это невозможно.» Однако, если только у него нет доступа к некому свидетельству для этого убеждения, будет крайне невероятно, чтобы правильное убеждение возникло спонтанно. Значит, либо он может указать на это свидетельство, либо же убеждение не может оказаться верным. «Но ты не сможешь доказать, что мой мозг совершенно не способен спонтанно сформировать правильное убеждение!». Не смогу, однако появление такого внезапного убеждения является совершенно невероятным. Примерно как превращение яичницы в яйцо.

По правилам «Следи за невероятностью» считается крайне подозрительным даже упоминать какую-либо конкретную гипотезу, не обладая достаточным количеством свидетельств для сокращения пространства возможных гипотез. Почему вы не уделяете столько же внимания дециллиону других столь же вероятных гипотез? Чтобы выделить гипотезу «шоколадный торт в поясе астероидов» в пространстве гипотез, необходимо существенное свидетельство — в противном случае нет причин уделять ей больше внимания, чем триллионам других, вроде «В поясе астероидов находится деревянный комод» или «Летающего Макаронного Монстра стошнило на мои кроссовки».

Правилами «Следи за невероятностью» запрещается вытаскивать из рукава большую сложную конкретную гипотезу, не имея уже на руках соответствующего количества свидетельств, потому что будет нереалистично предполагать, кто-то начнёт излагать верную гипотезу по чистой случайности.

Философ говорит: «В черепе этого зомби находится гигантская таблица поиска со всеми входами и выходами некоторого человеческого мозга.» Это довольно-таки невероятно. Потому вы спрашиваете: «Как произошло это невероятное событие? Откуда взялась ГТП?»

Вообще, это не слишком-то похоже на стандартную процедуру философских мысленных экспериментов. Обычно дозволено вводить вещи вроде «Допустим, вы оседлали луч света…» и не переживать по поводу физической возможности, не говоря уже о какой-то там невероятности. Однако в нашем случае, происхождение ГТП имеет значение, а потому важно понимать основной вопрос: «Что является источником этой невероятности?»

Напрашивающийся ответ: кто-то взял вычислительную спецификацию человеческого мозга и с её помощью получил значения гигантской таблицы поиска. (Породив при этом бесчисленные гуголы людей, часть которых мучилась от нестерпимой боли, а подавляющее большинство сходило с ума в хаотической вселенной, где входы не имеют никакого отношения к выходам. Впрочем, к чёрту этику, всё это ради философии.)

В данном случае ГТП пишет статьи о сознании из-за алгоритма, обладающего сознанием. ГТП — не более зомби, чем телефон, из которого доносятся речи о сознании, а сам он при этом остаётся всего лишь небольшим потребительским электронным устройством. Телефон просто передаёт философские речи существа на другой стороне линии. ГТП, созданная на основе исходной спецификации человеческого мозга, занимается тем же самым.

«Ладно», — скажет философ, — «ГТП была создана случайным образом и, так уж получилось, что связи её входов и выходов совпадают с такими же связями у некоторого человека, выбранного за образец».

А каким именно случайным образом была создана ГТП?

«Мы использовали источник истинной случайности — квантовый механизм.»

Но ведь квантовый механизм просто реализует инструкцию двунаправленного ветвления. Детерминистическим результатом генерации одного бита информации при помощи источника квантовой случайности, будет локально связанное облако амплитуд. В одном наборе ветвей вселенных из данного облака значение бита равно 1, а в другом - 0. Повторите процедуру 4 раза и получите 16 наборов вселенных.

Так что, данное высказывание эквивалентно утверждению, что ГТП создали, выписав все возможные варианты последовательностей нулей и единиц размером с ГТП, поместив эти записи в гигантскую корзину, а затем вытянув каким-то образом из корзины именно такую ГТП, которая оказалась соответствующей спецификации человеческого мозга. Откуда взялась невероятность в данном случае?

Поскольку, если это не просто совпадение, а у вас была какая-то функция залезть-в-корзину, которая намеренно, а не по случайности, вытянула ГТП, соответствующую человеку — тогда вот эта функция залезть-в-корзину, вероятно, и обладает сознанием, а ГТП это опять телефон, а не зомби. Теперь ГТП подключена к человеку не за один ход, а за два, но это всё равно телефон! Неплохая попытка скрыть источник невероятности!

Приготовьтесь узреть, к чему привела нас «Следи за невероятностью»: где та причина, которая заставляет язык данного тела говорить о своём внутреннем слушателе? Сознанием обладает не поисковая таблица. Сознанием обладает не фабрика, на которой производят эти поисковые таблицы. Сознанием обладает то, что указало на некоторую уже произведённую поисковую таблицу и сказало: «Используй именно эту!»

Теперь должно быть понятно, почему я рассказал об игре «Следи за невероятностью». Обычно при разговоре с человеком мы имеем склонность принимать нечто внутри черепа за «вместилище сознания». И только сыграв в «Следи за невероятностью» становится понятно, что настоящая причина вести разговоры, подобные этому, заключается в том-что-отвечает-за невероятность таких разговоров, как бы далеко в пространстве и времени оно при этом не находилось. Как и Солнце, приводящее в движение заводную игрушку.

«Нет, нет!» — вскричит философ, — «В данном мысленном эксперименте не было ничего похожего на создание множества ГТП с последующим выбором напоминающей человека таблицы при помощи обладающего сознанием алгоритма! Я уточняю, что в данном мысленном эксперименте из непостижимо гигантской корзины с ГТП совершенно случайным образом достают одну таблицу, которая идентичная входам и выходам человеческого мозга! Вот так вот! Я загнал тебя в угол! Больше не получится сыграть в ”Следи за невероятностью”!»

Ох. Так это уточнение и есть источник невероятности.

Сыграв ещё раз «Следи за невероятностью», мы выйдем за пределы мысленного эксперимента и приглядимся к самому философу.

Получается, что среди огромного числа вариантов на ту самую ГТП, что ведёт разговоры о сознании, указывает… человек с сознанием, который предлагает вам представить себе подобный сценарий. А ещё — наш собственный мог, который заполняет пробелы в размышлении на тему: «Как такая ГТП ответит на сигнал „Поговори о своём внутреннем слушателе“?»

Мораль этой истории: если отследить дискурс о «сознании» до его истоков, обыкновенно вы обнаружите сознание. Оно не всегда окажется прямо на виду. Иногда оно хитроумно припрятано. Но оно есть. Отсюда следует обобщённый принцип против зомби.

В случае, когда Повелитель Зомби существует в форме чатбота, который обрабатывает и перетасовывает человеческий дискурс о «сознании», сознанием обладают люди, которые создали исходный корпус текстов.

Если однажды вы поймёте сознание и заметите, что можно написать программу, генерирующую путанный философский дискурс, ужасно похожий на тот, что производят люди, но при этом не обладающую сознанием — то ответом на вопрос «Как получилось, что эта программа напоминает человека?» будет «Вы сами написали её так, чтобы она напоминала человека, обладающего сознанием. Никакого другого образца у вас не было». Это не значит, что ваш маленький Повелитель Зомби обладает сознанием, зато это значит, что я смогу найти сознание где-то во вселенной, отследив цепочку причинно-следственных связей. Это в свою очередь значит, что мы всё-таки не в Мире Зомби.

Но допустим, кто-то действительно залез в ГТП-корзину и в самом деле случайно вытянул такую ГТП, что пишет философские статьи.

Ну, тогда она не будет обладать сознанием. По моему скромному мнению.

Я имею в виду, должно быть что-то большее, чем просто входы и выходы.

Иначе даже ГТП обладала бы сознанием, не так ли?

О, а если вам интересно, как всё это относится к моей повседневной работе…

В нашем деле можно встретить огромное число людей, которые считают, что слепо созданный мощный ИИ будет обладать «моралью». Они не согласны друг с другом в том, как такое может произойти и даже в том, что такое «мораль», но все соглашаются, что нет необходимости в разработке теории дружественного ИИ. А если спросить их, как на схеме слепо созданного ИИ возникнут моральные выходы, то услышишь хитроумные рационализации относительно таких ИИ, которых они считают «моральными». Здесь кроется куча проблем, но главная из них такова: «Уверены ли вы, что ИИ будет следовать той же самой линии рассуждения, которую вы ввели для аргументации человеческой морали, если учесть, что в ИИ, в отличие от вас, не заложено знание о том, что именно вы хотите, чтобы ИИ рационализировал?». Можно назвать такой контр-принцип «Следи за информацией, необходимой для принятия решений» или вроде того. Можно полагать, что ИИ будет делать невероятно хорошие вещи, если вы расскажете мне, как выбрать устройство ИИ из гигантского пространства возможностей. В противном случае вы добавляете невероятность из ниоткуда — хоть это и очень тщательно скрывается, через рационализацию посылок для рационализации.

Я написал уже целые серии эссе играя сам с собой в «Следи за невероятностью». Тогда я ещё не сформулировал правила явным образом, поскольку в то время эссе по термодинамике не были завершены…

Напоследок хочу отметить: поразительно, как много моих эссе по чистому совпадению в итоге оказываются содержащими идеи, которые удивительно подходят для обсуждения теории дружественного ИИ… если вы верите в совпадения.

  • 1. Daniel C. Dennett, “The Unimagined Preposterousness of Zombies,” Journal of Consciousness Studies 2 (4 1995): 322–26.
  • 2. Цитата из книги Ричарда Фейнмана «Вы, конечно, шутите, мистер Фейнман!» в переводе Н. А. Зубченко, О. Л. Тиходеевой, М. Шифмана — Прим. перев.
Перевод: 
sepremento, ildaar, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
224
Оцените качество перевода: 
Средняя оценка: 5 (4 votes)

Подразумеваемая невидимость

Элиезер Юдковский

Может появиться искушение обобщить аргумент против зомби в виде: «То, что нельзя увидеть, — не существует». Однако так делать не стоит.

Это очень заманчивое обобщение. В таком виде аргумент против зомби стал бы гораздо проще и применять его в будущем было бы легче. Однако, к сожалению, это не байесианский аргумент.

Допустим, я пошлю фотон в бесконечность. При этом я не буду целиться ни в одну звезду, ни в одну галактику, а направлю его в один из громадных промежутков между сверхскоплениями галактик. Другими словами, исходя из знаний стандартной физики, я не ожидаю, что фотон столкнётся с чем-нибудь по пути. Фотон движется со скоростью света, и потому я не смогу его догнать и схватить вновь.

Если, как утверждает современная космология, Вселенная расширяется с ускорением, то начиная с некоторого момента в будущем я ожидаю, что у меня не будет даже принципиальной возможности взаимодействовать с этим фотоном. После этого я ожидаю, что световой конус фотона не пересечётся с моей мировой линией. Даже если фотон поймают пришельцы и поспешат рассказать нам об этом, они не смогут путешествовать достаточно быстро, чтобы преодолеть ускоряющееся расширение Вселенной.

Следует ли мне верить, что в тот миг, когда я теряю даже принципиальную возможность взаимодействовать с фотоном, фотон исчезает?

Нет.

Это нарушило бы закон сохранения энергии. И второй закон термодинамики. И почти любой другой закон физики. И, возможно, все три закона робототехники. Ведь такое поведение означало бы, что фотон знает, что я думаю о нём, и знает, когда именно исчезнуть.

Это очень глупая идея.

Однако если можно верить, что фотоны не исчезают, хотя они уже принципиально не обнаружимы экспериментально, то разве это не даёт право верить в невидимое?

(Если вы хотите подумать над этим вопросом самостоятельно, займитесь этим сейчас и лишь потом читайте дальше…)

В своё время я читал, что когда кто-то впервые предположил, что Млечный Путь — это наша галактика, в смысле, что вот эта расплывчатая река света в ночном небе состоит из миллионов (или даже миллиардов) звёзд, против этой гипотезы использовали бритву Оккама. Потому что, видите ли, эта гипотеза значительно умножала количество «сущностей» в предполагаемом устройстве Вселенной. Впрочем, сейчас я не смог нагуглить источник. Возможно, бритву Оккама использовали против предположения, что «туманности» — расплывчатые пятна, видимые в телескоп — это галактики из множества звёзд.

Lex parsimoniae: Entia non sunt multiplicanda praeter necessitatem.

Это исходная формулировка Оккама, закон бережливости: Сущности не должно умножать сверх необходимого.

Постулируя миллиарды звёзд, в которые никто раньше не верил, вы умножаете сущности, верно?

Нет. Существует два способа сформулировать бритву Оккама байесианским образом: индукция Соломонова и принцип минимальной длины описания. Ни один из них не запрещает галактикам быть большими.

И правильно делают! Один из уроков истории учит нас, что то-что-мы-зовём-реальностью продолжает расти всё больше и больше. Помните, как Земля была центром Вселенной? Помните время до изобретения числа Авогадро? Если бы принцип бритвы Оккама постоянно использовали против умножения сущностей, пришлось бы усомниться в нём самом, ведь он бы систематически оказывался неверным.

В индукции Соломонова сложность модели — это количество кода компьютерной программы, требуемой для симуляции этой модели. Именно кода — не памяти, и не времени, требуемых на вычисления. Модель Вселенной, которая содержит миллиарды галактик с миллиардами звёзд, что состоят из миллиардов триллионов дециллионов кварков потребует огромного количества памяти для исполнения. Однако код должен лишь описать поведение кварков, а звёзды и галактики смогут крутиться самостоятельно. Я здесь пишу полу-метафорически — существуют и иные элементы Вселенной помимо кварков — но суть в том, что дополнительные миллиарды галактик не учитываются в размере кода, если вы описали хотя бы одну. Вам потребуется лишь чуть больше памяти, а бритве Оккама плевать на память.

Почему? Возможно, вам поможет это понять принцип минимальной длины описания, который практически эквивалентен индукции Соломонова. Если нужно сообщить кому-то, как устроена ваша модель Вселенной, необязательно уточнять местоположение каждого кварка в каждой звезде каждой галактики. Достаточно написать несколько уравнений. Количество объектов, которые подчиняются этим уравнениям, никак не влияет на время, необходимое, чтобы записать эти уравнения. Если записать уравнения в файл и файл окажется длиной в 100 бит, то это значит, что возможны $2^{100}$ других моделей, которые можно записать в файл примерно такой же длины и вам необходимо примерно 100 бит подкрепляющих свидетельств. У вас получилось ограниченное количество вероятностной массы и априори вы обязаны разделить эту массу среди всех сообщений, которые возможно послать. Таким образом, указав на модель из пространства в $2^{100}$ альтернатив, вы вынуждены взять на себя штраф в $2^{-100}$ в априорной вероятности. Однако дополнительные галактики не меняют размер этого штрафа.

Длина сообщения, которым описывается общее поведение всех галактик, не изменится, если вы скажете, что этих галактик — миллиарды и они состоят из миллиардов звёзд. Вероятность того, что ваши уравнения правильно описывают множество сущностей, не падает, когда этих сущностей становится больше. (Во всяком случае до тех пор, пока точность начальных условий не влияет на предсказательную способность вашей модели. Если для работы вашей модели потребуется знать точное местоположение каждого кварка, то каждый дополнительный кварк будет снижать вероятность.)

Предполагая, что фотон исчезает, когда вы на него больше не смотрите, вы вводите в свою модель Вселенной дополнительный закон. Именно такие законы — это «сущности», за которые нужно платить согласно закону бережливости. А дополнительные кварки бесплатны.

Получается, можно заявить: «Я верю, что фотон продолжает существовать, даже если он улетел в бесконечность, потому что мои априорные знания указывают, что ему проще и дальше существовать, а не исчезать»?

Сначала я именно так и подумал, но затем пришёл к выводу, что это не совсем верно. (И не только потому, что так открывается путь к очевидным злоупотреблениям.)

Я бы хотел подчеркнуть различие между убеждением в невидимости, которая подразумевается, и убеждением в дополнительной невидимости.

Если вы убеждены, что фотон продолжает существовать по мере удаления в бесконечность, то вы не считаете это убеждение за дополнительный факт.

Вы верите (присваиваете какую-то вероятность) в набор простых уравнений. Вы считаете, что эти уравнения описывают Вселенную. Вы верите в эти уравнения, потому что это самые простые уравнения, описывающие Вселенную, которые вы смогли найти. Эти уравнения легко проверить экспериментально. Они объясняют огромные массивы свидетельств в прошлом и предсказывают результаты наблюдений в будущем.

Вы верите в эти уравнения, и из них логически следует, что фотон продолжит существовать по мере удаления в бесконечность. Поэтому вы в это тоже верите.

Ваши априорные знания и даже ваши вероятности не упоминают фотон напрямую. Вы присваиваете вероятность не существованию фотона, а истинности общих законов. Когда вы присваиваете вероятность истинности законов физики, известным на данный момент, вы автоматически присваиваете ту же самую вероятность тому, что фотон не исчезнет по мере удаления в бесконечность. Если, конечно, вы верите в логические следствия ваших убеждений.

Ваши убеждения о невидимом проистекают не из рассуждений о невидимых штуках. Просто свидетельства из экспериментов поддерживают убеждения об определённых законах и из этих законов логически вытекает существование объектов, с которыми невозможно взаимодействовать. Это убеждение в невидимости, которая подразумевается.

И наоборот, если вы считаете, что фотон проглотит Летающий Макаронный Монстр — возможно, лишь в этом конкретном случае, — или вы без какой-то причины считаете, что фотон столкнётся с пылинкой, то ваше убеждение основывается на каком-то дополнительном невидимом событии. Если вы считаете, что такие события происходят постоянно, то это предполагает действие какого-то дополнительного невидимого закона. Это убеждение в дополнительной невидимости.

Чтобы понять, зачем иногда нужно думать о подразумеваемой невидимости, представьте, что вы хотите отправить космический корабль в далёкое скопление галактик со скоростью, близкой к скорости света. К тому моменту, когда корабль доберётся до места и образует колонию, Вселенная будет расширяться с такой скоростью, что он уже не сможет послать сообщение домой. Считаете ли вы разумным основывать такую колонию — исключительно ради блага людей, которые будут в ней жить и процветать? Или вы считаете, что космический корабль исчезнет до прибытия в конечную точку? Когда-нибудь этот вопрос может стать весьма насущным.

Да, вероятно, всё было бы гораздо проще, если бы можно было исключать существование того, с чем нельзя провзаимодействовать. Вселенная переставала бы существовать за пределами, доступными нашим телескопам. Но для этого нам нужно быть очень глупыми.

Лучше сказать, что нет нужды в дополнительных убеждениях относительно невидимых вещей. Что вы верите только в те невидимые явления, которые логически следуют из общих проверяемых законов, и вы убеждены только в таких их свойствах, которые тоже следуют из общих проверяемых законов. Кажется, такое утверждение, если его применять правильно, позволяет исключить все злоупотребления верой в невидимое.

Возможно, вместо «Не верьте в невидимое» мне стоило сказать: «Дополнительным невидимым явлениям следует назначать исходную априорную вероятность». Но если рассматривать убеждение как некоторую дополнительную сущность, как нечто, о чём есть смысл думать и изучать разные аргументы за и против, то возникает вопрос: стоит ли вообще иметь какие-то дополнительные убеждения о дополнительных невидимых явлениях.

Некоторые экзотические примеры ломают эту теорию. (Например: за тобой следят эпифеноменальные демоны, и, если ты когда-нибудь произнесёшь слово «Ниблик», они год будут пытать 3↑↑↑31 невинных жертв, но ты не сможешь это проверить.) Однако я не могу придумать пример, когда бы эта теория подвела в повседневной практике.

Перевод: 
sepremento, Alaric, ildaar
Номер в книге "Рациональность: от ИИ до зомби": 
225
Оцените качество перевода: 
Средняя оценка: 5 (6 votes)

Зомби: теперь в кино!

Элиезер Юдковский

Военный штаб. За столом сидят несколько человек в офицерской форме. Во главе стола — командир базы генерал Фред, грузный мужчина с резкими чертами лица.

Генерал Фред: Сообщения подтвердились. Нью-Йорк заполонён… зомби.
Полковник Тодд: Опять?! И это 28 дней спустя после того как уже была эпидемия зомби!
Генерал Фред: Эти зомби… они другие. Это философские зомби.
Капитан Мадд: Преисполнены ли они неудержимой агрессии, заставляющей кусаться?
Полковник Тодд: Теряют ли они всякий разум?
Генерал Фред: Нет. Они ведут себя точно также, как и мы… Но у них нет сознания.

Гнетущая тишина.

Полковник Тодд: О, боже.

Генерал Фред встаёт и подходит к большому экрану на стене.

Генерал Фред: Это — Нью-Йорк две недели назад.

На экране сменяются кадры: шумная многолюдная улица, ресторан с обедающими посетителями, работники, загружающие мусорный контейнер в грузовик.

Генерал Фред: А это — Нью-Йорк… сегодня.

На экране — станция метро в час пик, шумная компания студентов в парке, парочка, гуляющая по набережной.

Полковник Тодд: Это гораздо хуже, чем я мог себе представить.
Капитан Мадд: Откуда такая уверенность?
Полковник Тодд: Я никогда в жизни не видел чего-то, так ужасающе обыденного.

К столу подходит учёный в лабораторном халате.

Учёный: Заболевание уничтожает сознание, при этом не вызывая каких-либо изменений в мозгу. Мы постарались определить пути распространения. Заболевание поражает дуальные свойства обыкновенной материи, а это значит, что оно само должно действовать за пределами нашей Вселенной. Мы имеем дело с эпифеноменальным вирусом.
Генерал Фред: Вы уверены?
Учёный: Насколько вообще возможно при полном отсутствии свидетельств.
Генерал Фред: Так. Составьте отчёт по каждому случившемуся эпифеномену. Где, как и с кем. Мне нужен полный список всего ненаблюдаемого за последние 50 лет.
Капитан Мадд: Если вирус эпифеноменальный, как мы узнали, что он существует?
Учёный: Так же, как узнали, что мы обладаем сознанием.
Капитан Мадд: М-м… окей.
Генерал Фред: Какие успехи с эпифеноменальным лекарством?
Учёный: Мы перепробовали каждое известное плацебо. Всё бестолку. Они обладают всего лишь воздействием.
Генерал Фред: Пробовали подключить к работе гомеопатов?
Учёный: Мы пытались найти их, сэр! Но нам не удалось найти хоть чего-то!
Генерал Фред: Отлично. А даосов?
Учёный: Они отказываются что-либо делать!
Генерал Фред: Значит, у нас ещё есть шанс.
Полковник Тодд: А что насчёт Дэвида Чалмерса? Разве он не должен быть здесь?
Генерал Фред: Чалмерс… он был одной из первых жертв.
Полковник Тодд: Чёрт…

===========================================================================

Медицинский изолятор со стенами из пуленепробиваемого стекла. Дэвид Чалмерс бесцельно бродит из угла в угол. К изолятору подходит доктор.

Доктор: Дэвид! Дэвид Чалмерс! Слышите ли вы меня?
Чалмерс: Да.
Медсестра: Бесполезно, доктор.
Чалмерс: Я в полном порядке. Я наблюдал за своими мыслями и чувствами, и не заметил никаких изменений. Знаю, именно это вы и ожидаете от меня услышать, но…

Доктор отворачивается от стекла в ужасе.

Доктор: Он больше не может вкладывать в свои слова какой-либо смысл.
Чалмерс: Это какое-то безумное извращение моих философских идей. То, о чём вы говорите не может случиться на самом деле!
Доктор: Почему это?
Чалмерс: Потому что…

===========================================================================

Смена плана на двух полицейских, охраняющих грунтовую дорогу, ведущую к внушительным стальным воротам гигантского бетонного комплекса. На их униформе значок с надписью «АГЕНТСТВО ПО ОБЕСПЕЧЕНИЮ ЗАКОНОДАТЕЛЬСТВА МОСТОВ».

Первый полицейский: Хрен опознаешь этих ублюдков. Выглядят как люди, разговаривают как люди, до последней молекулы не отличаются от людей. Но они — не люди.
Второй Офицер: Уроды…

Вдалеке раздаётся рёв двигателя. Появляется человек на белом мотоцикле. Он в чёрных очках, в строгом чёрном кожаном костюме с чёрным кожаным галстуком, и в серебристых ботинках. Седая борода развевается на ветру. Человек в костюме резко останавливается у ворот. Полицейские подбегают к нему.

Первый полицейский: Какие у вас основания здесь находиться?
Человек в костюме: Здесь содержится Дэвид Чалмерс?
Второй полицейский: Вам-то что, он ваш друг?
Человек в костюме: Не могу сказать, что да. Но даже у зомби есть права.
Первый полицейский: Предъявите ваши квалиа.
Человек в костюме: У меня их нет.

Второй полицейский выхватывает пистолет.

Второй полицейский: Допрыгался, зомби!
Первый полицейский: Стой. Зомби утверждают, что у них есть квалиа.
Второй полицейский: Значит, он обыкновенный человек?
Первый полицейский: Нет, обыкновенные люди также утверждают, что у них есть квалиа.

Полицейские останавливаются в замешательстве.

Второй полицейский: Эм-м…
Первый полицейский: Кто вы?
Человек в костюме: Я Дэниел Деннет, твари!

Словно из ниоткуда Деннет выхватывает меч и со звонким лязгом разрубает пистолет Второго полицейского. Первый полицейский тянется за своим пистолетом, но Деннет внезапно оказывается у него за спиной и ребром ладони бьёт его в основание шеи. Первый полицейский падает без сознания. Второй полицейский в панике пятится.

Второй полицейский: Это невозможно! Что это было?!
Деннет: Я един со своим телом.

Следующим ударом Деннет сбивает с ног Второго полицейского. После этого он поворачивается к огромному строению и крепче сжимает в руке меч.

Деннет (тихо, сам себе): Ложка существует.

===========================================================================

Генерал Фред: Только что получили рапорт. Мы потеряли Детройт.
Капитан Мадд: Не хочу быть тем, кто сказал «Скатертью дорожка», но…
Генерал Фред: Население Австралии было редуцировано до простых атомов.
Полковник Тодд: Эпифеноменальный вирус распространяется всё быстрее. Мы можем потерять человеческую цивилизацию, какой мы её знаем. Судьба всего человечества зависит от нас.
Капитан Мадд: Мы можем попытаться договориться с ними…
Генерал Фред: Мы пытались связаться с ними несколько раз, и получили только один ответ.
Капитан Мадд: Какой же?
Генерал Фред: Скоро узнаем.

Входит секретарь с конвертом в руках и передаёт его генералу. Тот распечатывает конверт, достаёт листок бумаги и молча смотрит на него.

Капитан Мадд: Что они пишут?
Генерал Фред: Они написали… «Это у вас вирус».

Гробовая тишина. Полковник Тодд медленно поднимает руки к глазам.

Полковник Тодд: О боже, это правда. Это правда. Я… — Слеза скатилась по его щеке. — Я ничего не чувствую.

Экран темнеет.

Звук затихает.

Фильм продолжается как ни в чём не бывало.

Перевод: 
Дмитрий Федорков
Номер в книге "Рациональность: от ИИ до зомби": 
226
Оцените качество перевода: 
Средняя оценка: 4.8 (18 votes)

Исключая сверхъестественное

Элиезер Юдковский

Порой кто-нибудь заявляет, что креационизм нельзя преподавать в школе, — особенно как гипотезу, конкурирующую с теорией эволюции, — поскольку креационизм апеллирует к «сверхъестественному» и потому его априори автоматически следует исключить из сферы научного рассмотрения.

То есть… эти люди утверждают, что, возможно, креационисты правы, но даже будь креационизм правдой, его всё равно следовало бы запретить в научно-образовательных учреждениях, поскольку наука имеет дело только с «естественным»?

Очевидно, такое представление родилось из стремления избежать конфронтации между наукой и религией. Нельзя же просто так взять и заявить, что наука не учит Религиозному Убеждению X, потому что X протестировали научным методом, и оно оказалось ложным. Так что вместо этого можно… скажем… заявить, что наука исключает гипотезу X априори. В этом случае не приходится обсуждать, как эксперимент показал ложность X апостериори.

Разумеется, подобная аргументация играет на руку креационистам. Они получают возможность утверждать, что наука предвзята в пользу атеизма и несправедливо относится к теории Разумного Замысла, не обращая внимания на свидетельства. Если бы наука априорно отвергала гипотезу Разумного Замысла, такое негодование было бы вполне справедливым!

Но давайте вернёмся немного назад. Вот кто-то приходит и говорит: «Разумный Замысел отвергается наукой априори, потому что он „сверхъестественнен“, а наука имеет дело только с „естественными“ объяснениями».

Что конкретно подразумевается под «сверхъестественным»? Является ли любое объяснение, придуманное кем-то по фамилии Коэн, сверхъестественным? Короче, если мы хотим выкинуть некоторое множество гипотез из области научного, то какие именно гипотезы предполагается исключать?

Пока что лучшее услышанное мной определение «сверхъестественному» принадлежит Ричарду Кэрриеру: «сверхъестественное» объяснение прибегает к онтологически базовым разумным сущностям, то есть таким разумным сущностям, которые не могут быть сведены к неразумным.

Именно в этом, например, заключается разница между утверждением «Вода течёт вниз, потому что хочет быть внизу» и дифференциальными уравнениями, которые описывают только движение, но не желания. В этом разница между утверждением, что дерево отращивает листья благодаря духу дерева, и изучением биохимии растений. Когнитивная наука переносит битву со сверхъестественностью на поле разума.

Чем замечательно это определение сверхъестественного? За полной аргументацией я отсылаю вас к Ричарду Кэрриеру. Однако, для примера: допустим, вы обнаружили что-то похожее на духа, живущего в дереве — дриаду, которая материализуется внутри и снаружи дерева, на чистом английском говорит, что ей нужно защищать её дерево, и так далее. А затем, предположим, мы навели микроскоп на эту дриаду, и оказалось, что она состоит из частиц — не из особых неизъяснимых духовных частиц типа материи желаний или ткани убеждений, а из обыкновенных частиц типа кварков и электронов, частиц, поведение которых определяется движением, а не сознанием. Разве это тут же не низвело бы дриаду в разряд унылых и обыденных вещей?

Но если мы принимаем определение сверхъестественного, которое предложил Ричард Кэрриер, то у нас возникает дилемма: мы хотим объективно оценивать религиозные утверждения, но у нас, кажется, есть серьёзные основания исключить сверхъестественные объяснения априори.

Ведь как выглядела бы вселенная, если бы редукционизм был ложной идеей?

Ранее я определил тезис редукционистов так: человеческое сознание создаёт многоуровневые модели реальности, причём разные уровни этих моделей разделяются явным образом. Физику знакомо и уравнение гравитации Ньютона, и уравнение гравитации Эйнштейна, и то, как первое выводится из второго, будучи его приближением для низких скоростей. Но все эти три отдельных представления существуют лишь для удобства человеческого познания. Нельзя сказать, что в реальности существует закон тяготения Ньютона, который правит на низких скоростях, закон гравитации Эйнштейна, который правит на высоких скоростях, и «закон-перемычка», который сглаживает их стык. Сама по себе реальность имеет только один уровень — Эйнштейновскую гравитацию. Лишь ошибка проецирования ума заставляет некоторых людей говорить так, словно высокоуровневые представления существуют сами по себе. Разные уровни структуры могут быть по разному представлены на картах людей, но территория — это единый низкоуровневый математический объект.

Теперь представим, что всё это неверно.

Представим, что ошибка проецирования ума ведёт не к ошибочным, а к верным выводам.

Представим, что Боинг 747 имеет собственное фундаментальное физическое существование, независимое от кварков, которые его составляют.

Какие экспериментальные наблюдения вы ожидали бы получить, окажись вы в такой вселенной?

Если вы не можете придумать хороший ответ, то это не наблюдение, опровергающее «нередукционистские» убеждения, а логическая несостыковка. Если вы не знаете, какие предсказания делает «нередукционистская» модель, как вы поймёте, что экспериментальные данные её опровергают?

Мой тезис таков: нередукционизм — это лишь путаница в головах у людей. Но когда ты считаешь некоторую идею лишь следствием путаницы, становится сложно представить, как выглядела бы вселенная, если на самом деле никакой путаницы нет. Возможно, моя многоуровневая модель мира состоит во взаимно-однозначном соответствии с порождающими её физическими элементами. Но почему, при заданных правилах, модель не могла бы оказаться отображением ещё и какого-нибудь другого списка фундаментальных штук и их взаимосвязей? Должно ли всё, что я вижу в модели (вроде Боинга 747 или человеческого разума), оказаться отдельной настоящей сущностью? Однако, что если я вижу шаблон в этой новой суперсистеме?

Вера в сверхъестественное — это частный случай нередукционизма. Только в этом случае оказывается несводимым к первоэлементом не Боинг, а лишь (некоторые) вымышленные объекты. Религия — это частный случай веры в сверхъестественное, где нередуцируемыми объектами являются Бог(и) и души. А также грехи, ангелы, карма и так далее.

Рассмотрим идею могущественной сущности, способной наблюдать и изменять любой элемент нашей наблюдаемой вселенной, однако сводимой к неразумным частицам, которые взаимодействуют с элементами нашей вселенной по общим законам. Если я предположу, что эта сущность чего-то хочет, однако это «хотение» обусловлено мозгом, состоящим из частиц и полей, то это окажется не религией, а лишь натуралистической гипотезой о натуралистической Матрице. Если завтра разверзнутся небеса, явится огромная светящаяся бесформенная фигура и провозгласит вышеприведённое описание мира, это не будет значить, что фигура непременно говорит правду. Впрочем, я бы показал видеозапись этого явления на уроке естествознания и попытался вывести проверяемые следствия из провозглашённой теории.

С другой стороны, религии проигнорировали открытие древней бестелесной сущности — присутствующей в каждом творении природы и в каждом падающем листе, не созданной разумным замыслом, а возникшей из физических законов. Она огромна как поверхность планеты, и ей миллиарды лет. Не имея мозга, она создала всю жизнь на Земле и человеческий разум. Естественный отбор, открытый Дарвином, так никто и не провозгласил долгожданным Создателем — он не был фундаментально разумным.

И теперь мы столкнулись с дилеммой: если стандартное, нормальное, общепринятое, скучное понимание физики и мозга верно, то человек в принципе не может ни помыслить, ни сделать экспериментально проверяемые предсказания об альтернативной вселенной, в которой нематериальные сущности несводимы к материальным. Ведь если старая добрая скучная, нормальная модель верна, значит наши мозги сделаны из кварков, и поэтому мы можем породить только такие представления и гипотезы, какие могут породить кварки. То есть любая модель, которую вы способны вообразить, заведомо порождена взаимодействием простых частиц.

Люди, живущие в редукционистской вселенной не могут вообразить в деталях нередукционисткие вселенные. Они могут произнести по слогам «не-ре-дук-ци-о-нист-ский», но не могут это представить.

Люди часто склонны к антропоморфизму. Сверхъестественные объяснения им кажутся более простыми, чем они есть на самом деле. Это вызвано тем, что ваш мозг использует себя как непрозрачный черный ящик, чтобы предсказывать поведение других объектов, помеченных как «сознательные». Поскольку у вас уже есть большая сложная нейронная сеть, которая осуществляет вашу способность «хотеть», мы с лёгкостью описываем воду как нечто «желающее» течь вниз. Самих только слов «хотеть/желать» уже достаточно, чтобы привести в действие всю сложную механику вашего мозга, которая за это отвечает.

Или же вы представляете, что Богу нравятся красивые вещи, и поэтому он создал цветы. Ваше собственное чувство прекрасного определяет, что прекрасно, а что нет. Но у вас нет диаграммы ваших собственных синапсов. Вы не можете описать неразумную систему, которая решит, что «красиво», а что «некрасиво», также как вы. Не можете написать компьютерную программу, которая спрогнозирует ваши собственные оценки. Но это лишь изъян в вашем собственном знании. Из этого не следует, что мозг непознаваем.

Если «скучный» взгляд на реальность верен, то вы никогда не сможете предсказать что-либо нередуцируемое, поскольку вы сами редуцируемы. Вы никогда не сможете получить байесовское подтверждение гипотезе о нередуцируемости, поскольку абсолютно любое ваше предположение окажется предположением редуцируемой штуки — вашего мозга.

У нашего мышления есть пределы, за которые действительно нельзя выйти. Если наша вселенная и в самом деле вычислима машиной Тьюринга, то мы никогда не сможем представить себе что-либо, невычислимое машиной Тьюринга. Наши математики могут описывать машины с оракулом любого класса сложности для разрешения проблемы останова, однако мы всё равно не сможем предположить такой результат работы этой машины, который был бы достоверно отличим от результата, вычислимого обычной машиной Тьюринга.

Конечно, всё это верно, только если верна «скучная» точка зрения. Насколько вы верите, что теория эволюция верна, настолько же вы должны ожидать, что сильного свидетельства против эволюции не найдётся. Насколько вы убеждены в том, что теория редукционизма верна, настолько же вы должны ожидать, что нередукционистские гипотезы окажутся непоследовательными и ложными. Насколько вы убеждены в ложности сверхъестественного, настолько же вы должны ожидать, что оно окажется невообразимым.

С другой стороны, если обнаружится, что гипотеза о сверхъестественном верна, то, предположительно, также обнаружится, что сверхъестественное не является невообразимым.

Итак, вернёмся теперь снова к проблеме разумного замысла (далее РЗ).

Следует ли признать, что теория РЗ априори является нефальсифицируемой, и вычеркнуть её из круга научных вопросов на основании того, что эта теория апеллирует к сверхъестественному и, таким образом, ставит себя вне натурфилософии?

Мой ответ: «Конечно же, нет». Нередуцируемость разумного создателя не является необходимой частью гипотезы РЗ.

И поскольку сами сторонники гипотезы РЗ редуцируемы, то для каждого предполагаемого нередуцируемого бога найдётся предполагаемый редуцируемый инопланетянин с абсолютно таким же поведением. Насколько я уверен (а я весьма и весьма уверен) в том, что теория редукционизма и вправду верна, настолько же я должен ожидать, что для любой мыслимой гипотезы о сверхъестественном найдётся соответствующая ей редукционистская формулировка.

Если мы обратимся к археологическим данным, чтобы проверить, действительно ли воды Красного моря расступились только из-за желания Иеговы продемонстрировать свои сверхъестественные способности, то нам не важно, был ли Иегова базовой онтологической сущностью, или инопланетянином с нанотехнологиями, или Тёмным Повелителем Матрицы. Вы проводите какое-то количество раскопок, не находите на дне Красного моря ни скелетов, ни оружия, зато находите записи, что Египет управлял большей частью территории Ханаана. Так что вы помечаете соответствующую историческую запись в Библии как «опровергнуто» и продолжаете жить дальше. Эта гипотеза непротиворечива, фальсифицируема и неверна.

Аналогично биологические свидетельства показывают, что лисы сконструированы так, чтобы ловить кроликов, кролики — чтобы убегать от лис, но ни те, ни другие не сконструированы, чтобы «сохранять свой вид» или «сохранять гармонию в природе». Можно вспомнить и о вывернутом наизнанку устройстве сетчатки глаза, в которой светочувствительные клетки расположены на самом нижнем, удалённом от центра глаза, слое. И так далее. Есть тысячи примеров случайного, безнравственного, непродуманного устройства. Библейская модель нашего чуждого бога непротиворечива, фальсифицируема и неверна — непротиворечива до тех пор, покуда вас не заботит, является ли Бог базовой онтологической сущностью или просто пришельцем.

Просто преобразуйте сверхъестественные гипотезы в соответствующие естественные. Просто делайте такие же предсказания таким же образом, но без привлечения каких-либо нематериальных базовых онтологических сущностей. Консультируйтесь с «чёрным ящиком» в своей голове, чтобы строить предположения. Допустим, вы рассуждаете о «разгневанном боге», и у вас нет полноценного «разгневанного ИИ», чтобы отличить «разгневанное» поведение от «не разгневанного». Делайте предсказание самостоятельно или сверяйтесь с предсказаниями древних теологов, у которых не было доступа к результатам экспериментов. Если эксперимент противоречит вашим предсказаниям, то справедливо будет заявить, что данное религиозное утверждение было научно опровергнуто. Утверждению был дан шанс на выживание, но оно было отвергнуто. Апостериори. Не априори.

В конечном счёте, редукционизм — это всего лишь неверие в сложные базовые штуки. Если словосочетание «сложные базовые штуки» звучит для вас как оксюморон… ну, вот поэтому я и считаю доктрину о нередуцируемости скорее путаницей в головах, чем одним из возможных вариантов мироустройства. Если вы обнаруживаете, что допускаете существование сложных базовых сущностей, лучше будьте осторожней.

Самое главное правило науки — смотреть и видеть. Даже если бы Бог оказался громом в горах, все равно было бы что-то, что можно найти и увидеть.

Вывод: любой кандидат в разработчики сильного искусственного интеллекта, который уважительно отзывается о религиозных убеждениях, определённо не является экспертом в редуцировании ментальных объектов до нементальных. Совершенно точно он очень мало знает о самых основах, и крайне маловероятно, что такой человек окажется стоящим специалистом в искусстве разработки ИИ. Разве что мы имеем дело со случаем крайнего савантизма. Или разве что он явно лжёт. В общем, небольшое заблуждение тут точно исключено.

Перевод: 
Kelegorm, Aelryn, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
227
Оцените качество перевода: 
Средняя оценка: 4.7 (6 votes)

Паранормальные способности

Элиезер Юдковский

В последнем эссе я писал:

Если «скучный» взгляд на реальность верен, то вы никогда не сможете предсказать что-либо нередуцируемое, поскольку сами вы редуцируемы. Вы никогда не сможете получить байесовское подтверждение гипотезе о нередуцируемости, поскольку абсолютно любое ваше предположение окажется предположением редуцируемой штуки — вашего мозга.

Беня Фалленштайн прокомментировал:

Я считаю, что хотя действительно невозможно провести эксперимент, исход которого логически докажет нередуцируемость, нет оснований полагать, что невозможно придумать эксперимент, возможный исход которого в нередуцируемом мире сделает нередуцируемость субъективно гораздо более вероятной (если мы полагаем априорно верной бритву Оккама).

Отвлечёмся от вопроса редуцируемости и нередуцируемости. Вообразим, что законы Вселенной позволяют построить гиперкомпьютер, который, например, умеет оперировать произвольными вещественными числами. Нашим мозгам это не поможет, ведь их-то можно прекрасно симулировать с помощью обыкновенной машины Тьюринга…

Это очень разумный аргумент, Беня Фалленштайн. Но у меня есть сокрушительный ответ на этот аргумент. Как только я его представлю, вы откажетесь от дальнейших споров со мной на эту тему.

Вы правы.

Увы, я не заслуживаю похвалы за скромность, потому что после публикации вчерашнего поста я и так понял, что в моих рассуждениях есть упущение примерно того же рода. Оно касается бритвы Оккама и паранормальных способностей:

Если убеждения и желания — нередуцируемые онтологически базовые сущности, или у них есть онтологический базовый компонент, не учитываемый современной наукой, то гораздо более вероятно существование онтологического закона, управляющего взаимодействием разумов — взаимодействием в обход обыкновенных «материальных» средств связи известных науке, вроде звуковых волн.

Если же верен натурализм, то гипотетически можно построить редукционистскую модель, которая будет делать о телепатии те же предсказания, что и любые парапсихологи.

Более того, если верен натурализм, то мы воспринимаем собственные убеждения как «фундаментальные» исключительно по причине нехватки знаний о собственных нейронах. Хитрая рефлексивная архитектура разума показывает нам класс «убеждение», однако скрывает механизм его реализации.

Тем не менее, модели со сверхъестественным (содержащие онтологически базовые сущности, связанные с сознанием) с гораздо большей вероятностью предсказывают, что кто-нибудь откроет передачу информации между мозгами в отсутствие любой известной материальной связи между ними. Просто потому что в этом случае гораздо проще ввести новый закон о взаимодействии убеждений в разных разумах — по сравнению со «скучной» моделью, где убеждения — это результат сложного взаимодействия нейронов.

Надежда на существование паранормальных способностей возникает из отношения к убеждениям и желаниям как к достаточно фундаментальным сущностям. Сущностям, которые связаны с реальностью напрямую. Если же убеждения — это результат взаимодействия нейронов, образованных из известных материалов, где на вход подаётся информация от органов вроде глаз, образованных из известных материалов, а выход подаётся на мускулы, которые тоже образованы из известных материалов, и всего этого достаточно для описания всех сил разума человека, то нет причины ожидать чего-то ещё. Нет причин утверждать, что есть ещё какие-то связи между разумами. Поэтому редукционисты не ожидают обнаружить паранормальные способности. А следовательно, наблюдение паранормальных способностей стало бы сильным свидетельством сверхъестественного по Ричарду Кэрриеру.

Бритва Оккама подсчитывает в модели количество онтологически базовых классов и онтологически базовых законов. Модель с большим числом сущностей получает штраф. Если верен натурализм, то попытка учесть «убеждение» или «связь между убеждением и реальностью» как базовую сущность — просто ошибочный антропоморфизм. Хитрая внутренняя архитектура мозга подталкивает нас думать подобным образом. Однако, придерживаясь этого ошибочного пути, можно назначить гораздо более высокие вероятности паранормальным способностям, чем при использовании натурализма, поскольку реализация таких способностей на первый взгляд потребует более простых законов.

Поэтому из обнаружения паранормальных способностей будет следовать, что наивное понимание бритвы Оккама лучше откалибровано, чем сложная натуралистическая формулировка бритвы Оккама. Окажется, что редукционисты в своей попытке разобрать мозг на части всё это время были неправы. То, что казалось простейшим уровнем, действительно было простейшим уровнем. Наивные дуалисты были правы с самого начала, и именно поэтому их древнейшие желания в конце концов осуществились.

Поэтому и телепатия, и способность влиять на события силой мысли, и предвидение в случае открытия станут сильными байесианскими свидетельствами в пользу гипотезы, что убеждения — это онтологически фундаментальные сущности. Не логическим доказательством, а сильным байесианским свидетельством.

Если редукционизм верен, то любое произведение из научной фантастики, где есть паранормальные способности, может быть создано системой простых элементов (а именно, мозгом автора). Однако если мы и в самом деле откроем паранормальные способности, то станет гораздо более вероятным, что к созданию рассказа было причастно нечто, неописуемое редукционистским моделями.

Можно выразиться так: существование паранормальных способностей — выделенное вероятностное утверждение, порождённое нередукционистским взглядом на мир. Нередукционисты придумали и выдвинули это предсказание вопреки редукционистским ожиданиям.

Поэтому, по законам науки, если паранормальные способности будут открыты, то нередукционизм выигрывает.

И поэтому я уверен в отсутствии паранормальных способностей как априори неправдоподобных, несмотря на все заявленные экспериментальные свидетельства в их пользу.

Перевод: 
sepremento, Alaric, ildaar
Номер в книге "Рациональность: от ИИ до зомби": 
228
Оцените качество перевода: 
Средняя оценка: 4.3 (6 votes)

Квантовая механика и множественные миры

В настоящее время квантовая механика — это лучшая имеющаяся в нашем распоряжении модель вселенной. Эту модель подтверждают многие эксперименты последнего столетия. Однако интерпретация, что именно означают результаты экспериментов — как и когда взаимодействуют уравнение Шредингера и правило Борна — тема множества споров. И основное разногласие — это спор между интерпретацией Эверетта и копенгагенской интерпретацией.

Юдковский использует эту научную дискуссию как способ проверить некоторые основные идеи из предыдущих цепочек: разницу между картой и территорией, загадочные ответы, байсианство и бритву Оккама.

Автор: 
Элиезер Юдковский

Квантовые объяснения

Элиезер Юдковский

Часто говорят, что квантовая механика должна быть непонятной. Это плохой подход — как для ученика, так и для преподавателя.

Я же обнаружил, что традиционно «непонятные» предметы обычно проще математики. Особенно если хочется всего лишь понять самые основы, пусть даже и с использованием математики.

Я не физик, а физики, как известно, ненавидят, когда о квантовой механике рассуждают непрофессионалы. Однако у меня есть опыт объяснять то, что традиционно считается «трудным для понимания».

Многие люди жаловались, что теорема Байеса контринтуитивна. Она даже знаменита своей контринтуитивностью. Я написал «Наглядное объяснение теоремы Байеса» и остался недоволен. Уравнение показалось мне недостойным своей страшной репутации. Я попытался изложить его по-своему. Хотя я и не достиг изначальной цели написать текст, понятный первокласснику, мне часто присылают благодарственные письма люди, которые не могли понять теорему раньше: от журналистов до профессоров других областей.

Кроме того, как байесианец, я не верю в явления, которые непонятны по самой своей природе. Замешательство существует в наших моделях мира, а не в самом мире. Если о предмете думают, как о непонятном, а не всего лишь сложном… нельзя с этим ничего не делать. Т