Вы здесь

Разум: введение

Роб Бенсинджер

Вы есть разум, и это приводит к затруднительному положению.

Мало что становится разумом. Вы — тот странный кусочек Вселенной, который может делать предсказания и строить планы, взвешивать и пересматривать убеждения, страдать, мечтать, замечать божьих коровок или внезапно для себя сильно хотеть манго. Вы можете даже нарисовать внутри своего разума картину его же самого. Вы можете рассуждать о собственном процессе рассуждений и стараться, чтобы он лучше соответствовал вашим целям.

Вы есть разум, реализованный на базе человеческого мозга. И так уж получилось, что мозг человека, несмотря на всю его чудесную гибкость, подчиняется законам природы. В нём заложены закономерности и шаблоны. Ваш мозг может действовать по шаблону всю жизнь, даже не замечая этого. И эти шаблоны могут приводить к серьёзным последствиям.

Когда мыслительный шаблон помогает нам, мы зовём его «рациональностью».

Благодаря своим предкам вы — тот, кем являетесь. Вы устроены таким образом, чтобы проявлять определенные иррациональные и рациональные качества. Вы, как и вся земная жизнь, произошли от древних самовоспроизводящихся молекул. Этот процесс воспроизводства был вначале неуклюжим и бессистемным, что привело к различиям между воспроизводителями. Мы называем процесс изменения этих различий «эволюцией».

Поскольку некоторые из таких воспроизводимых различий влияли на само воспроизводство — мы называем это явление «отбором» — эволюция привела к существованию организмов, приспособленных к воспроизводству в средах, в которых жили их предки. Всё, что составляет вас, создано из отголосков борьбы и побед ваших предков.

И вот вы здесь: разум, взращённый из более слабых разумов. Вы хотите понять собственное устройство, ведь его можно улучшить — улучшить, чтобы оно соответствовало вашим целям, а не целям эволюции, которая вас создала. Если мы это понимаем, какие мы можем сделать выводы? Что мы будем делать дальше?

Призраки и машины

Если посмотреть на наш мозг вблизи, изучить, как он работает на «низком уровне», то кажется, что он не слишком отличается от множества других механических систем. Однако же обычно мы рассуждаем о своём разуме не так, как мы рассуждаем о других окружающих нас объектах или органах нашего тела. Основные понятия, которые описывают то, что происходит у нас в голове — убеждение, решение, слово, идея, чувство и так далее — вроде бы довольно сильно отличаются от понятий, используемых для описания физических объектов.

Философы прошлого давно обратили на это внимание. И, опираясь на это наблюдение, они доказывали, что разум и мозг — это фундаментально разные явления. Философ Гилберт Райл назвал такой взгляд «догмой о призраке в машине»12. Современные учёные и философы отказались от этого дуализма, однако с созданием модели, предсказывающей работу разума лучше, возникли сложности. С точки зрения практических рассуждений, наши цели и желания по-прежнему представляются этакими бесплотными духами, отдельным магистерием, не связанным с другими научными знаниями. Мы можем рассуждать о «рациональности», «искажениях», о том, «как менять своё мнение», однако эти идеи неточны, их не ограничивает какая-то всеобъемлющая теория. Наукообразные слова не защитят нас от тех же ошибок, какие совершают люди, рассуждающие о духах и сущностях.

Занимательно, что окружающие разум тайны и загадки мешают нам понять не только человека. Они также цепляются ко всему, что кажется разумным или имеющим цель, и не важно, рассуждаем мы об эволюционной биологии или об искусственном интеллекте. Возможно, если мы не в состоянии разобраться в себе, глядя только на себя, мы сможем что-нибудь понять, используя в качестве зеркала очевидно нечеловечные процессы.

И для этого мы можем изучать множество призраков — прошлого, настоящего и грядущего. Иллюзии эти являются реально существующими когнитивными событиями, явлениями, которые можно изучить и объяснить. Если нечто выглядит, как призрак в машине, то это результат невидимой нам работы машины.

Цель первой цепочки тома «Машины в призраке» — «Простая математика эволюции» — описать несоответствия и различия между историей нашего происхождения, нашей современной биологией и нашими устремлениями. Обычные рассказы об эволюции для не-биологов сводятся к поверхностному описанию свойств естественного отбора. Здесь же мы пойдём несколько глубже.

В третьей цепочке — «Как люди понимают слова» — обсуждаются основные связи между познанием и формированием понятий. А после неё идёт длинное эссе, знакомящее читателей с идеей байесовского вывода.

Связывает эти темы цепочка «Хрупкие цели», где автор абстрагируется от человеческого познания и эволюции и рассуждает об идее разума и целеориентированных системах в целом. Также эти эссе объясняют авторский подход к философии и науке рациональности, на который повлияла его работа в области ИИ.

Воссоздание интеллекта

Юдковский — математик, занимающийся теориями принятия решений. Он работает над фундаментальными задачами в области сильного искусственного интеллекта — над теоретическими основаниями систем принятия решений широкого профиля. Как он отметил в своём первом эссе на Overcoming Bias под названием «Рациональность как боевое искусство», именно работа в этой области подтолкнула его изучать психологию рационального поведения человека:

Я стал лучше понимать рациональность благодаря своим попыткам решать задачи, связанные с сильным искусственным интеллектом (чтобы по-настоящему построить работающего рационалиста из подручных материалов придётся самому овладеть рациональностью на достаточно высоком уровне). Зачастую задачи, связанные с ИИ, требуют намного большего, чем искусство личной рациональности, но иногда этого может хватить. Чтобы овладеть боевым искусством для разума нам нужно научиться в нужное время нажимать на нужные рычаги в гигантской уже существующей думающей машине, внутренности которой мы не в состоянии изменить. Часть этой машины оптимизирована в результате эволюционного отбора для достижения целей, которые противоречат нашим собственным. Мы объявляем, что нас интересует только правда, но в наши мозги зашит механизм рационализации лжи.[…]

Попытка создать искусство личной рациональности, опираясь на науку о рациональности, может показаться глупой. Кто-нибудь скажет, что это всё равно что пытаться изобрести боевое искусство на основе теоретической физики, теории игр и анатомии человека. Однако люди способны к рефлексии. У нас есть природная склонность к интроспекции. Мы в состоянии заглянуть внутрь себя, пусть даже наше внутреннее зрение склонно к систематическим искажениям. Таким образом, нам нужно разобраться, что говорит наука по поводу нашей интуиции, с помощью абстрактных знаний исправить ход наших мыслей и улучшить наши метакогнитивные навыки. Мы не пишем компьютерную программу, чтобы заставить марионетку показывать приёмы боевых искусств. Мы должны заставить двигаться «конечности» нашего собственного мозга. Для этого нам нужно связать теорию с практикой. Нужно выяснить, как использовать науку для нас самих, для повседневной работы нашего разума.

Насколько я представляю, с точки зрения Юдковского, говорить о рациональность человека, не упоминая ИИ, столь же сложно, как говорить об ИИ, не упоминая рациональность.

Юдковский предсказывает, что в долгосрочной перспективе произойдёт «взрыв интеллекта» — так называется сценарий, при котором самомодифицирующийся ИИ будет улучшать свои способности улучшать себя и за счёт этого быстро обгонит человека. Вместо «взрыва интеллекта» иногда говорят «технологическая сингулярность». До января 2013 года MIRI назывался «Институтом сингулярности искусственного интеллекта»3 и проводил ежегодные саммиты сингулярности. С тех пор Юдковский стал предпочитать более старый — предложенный И.Дж.Гудом — термин «взрыв интеллекта», чтобы отделять свои взгляды от предсказаний других футуристов, например, от идеи Рея Курцвейла об экспоненциальном технологическом прогрессе4.

Хорошо это или нет, но технологии вроде ИИ умнее человека, скорее всего, приведут к значительным социальным потрясениям. Чтобы описать область исследований вопроса, как привести предпочтения ИИ в соответствии с предпочтениями человека, Юдковский придумал термин «теория дружественного ИИ». В настоящее время мы плохо представляем, когда будет создан сильный ИИ и какие подходы решат задачу безопасности. Уже сейчас довольно нелегко решать задачу, как проверить правильность работы существующих ИИ. А большинство современных техник вряд ли удастся обобщить на более разумные и лучше приспосабливающиеся к окружению системы. Таким образом, создание «дружественного ИИ» скорее похоже на решение совокупности математических и философских задач, чем на строгое техническое задание программиста.

По состоянию на 2015 год футуристы и исследователи ИИ (как теоретики, так и практики) по-прежнему оспаривают взгляды Юдковского на будущее искусственного интеллекта. На эту тему нет всеобщего консенсуса. Большой обзор моральных и стратегических вопросов, которые поднимает создание ИИ умнее человека, представлен в книге Ника Бострома «Искусственный интеллект»5.

Наиболее известный учебник, подходящий, чтобы познакомиться с темой искусственного интеллекта — это «Искусственный интеллект. Современный подход» Стюарта Рассела и Питера Норвига6. В главе, посвящённой философским и этическим вопросам, связанным с ИИ, авторы отмечают, насколько технически сложно обеспечить хорошее поведение сильного адаптивного ИИ:

[Юдковский] утверждает, что дружелюбие (нежелание вредить людям) должно быть заложено с самого начала. Но создатели должны понимать, что их творения могут содержать ошибки и что робот будет учиться и развиваться. Отсюда следует, что самое сложное — это создать для развивающейся машины систему сдержек и противовесов, и обеспечить, чтобы при любом развитии сценария функция полезности оставалась дружественной. Статичную функцию полезности запрограммировать нельзя, поскольку обстоятельства и наша реакция на эти обстоятельства с течением времени будут меняться.

Развитие ИИ, нанотехнологий, биотехнологий и других областей знаний может повлечь за собой угрозы для человеческой цивилизации. Обеспокоенные этими угрозами Бостром и Чиркович составили первую научную антологию на эту тему — «Риски глобальных катастроф»7. Самые серьёзные из них — это экзистенциальные риски — риски, которые могут повлечь вечную стагнацию или вымирание человечества8.

Люди (и эксперты в том числе) чрезвычайно плохо предсказывают значительные изменения, которые произойдут в будущем (в том числе новые технологии). Юдковский обсуждает рациональность ещё и для того, чтобы выяснить, какие искажения мешают предсказывать крупные потрясения в будущем и подготовиться к ним. Главы в книге «Риски глобальных катастроф» – «Когнитивные искажения, влияющие на оценку глобальных рисков»9 и «Искусственный интеллект как положительный и отрицательный фактор глобального риска»10 объединяют его исследования в областях когнитивных наук и ИИ. Темы, вызывающие беспокойство как в краткосрочной, так и в долгосрочной перспективе обсуждаются Юдковским и Бостромом в главе «Этика искусственного интеллекта» книги «Кэмбриджское руководство по искусственному интеллекту»11.

И хотя «Рациональность: от ИИ до Зомби» посвящена рациональности человека, тема ИИ помогает проиллюстрировать различные аспекты человеческого мышления. К тому же, долгосрочное технологическое прогнозирование — одна из важнейших областей применения байесианской рациональности, позволяющей формировать корректные суждения даже там, где данных недостаточно или они неоднозначны.

Знание устройства может многое сказать о его создателе, а знание создателя может многое сказать о созданном им устройстве.

Поэтому мы начнём с вопроса: «Что наш создатель может сказать нам о нас самих?»

  • 1. Gilbert Ryle, The Concept of Mind (University of Chicago Press, 1949).
  • 2. Часто также встречается перевод «дух в машине». — Прим.перев.
  • 3. Англ. «the Singularity Institute for Artificial Intelligence». — Прим. перев.
  • 4. Irving John Good, «Speculations Concerning the First Ultraintelligent Machine,» in Advances in Computers, ed. Franz L. Alt and Morris Rubinoff, vol. 6 (New York: Academic Press, 1965), 31–88, doi:10.1016/S0065-2458(08)60418-0.
  • 5. Автор ссылается на издание Nick Bostrom, Superintelligence: Paths, Dangers, Strategies (Oxford University Press, 2014). Существует перевод на русский язык. — Прим.перев.
  • 6. Автор ссылается на издание Stuart J. Russell and Peter Norvig, Artificial Intelligence: A Modern Approach, 3rd ed. (Upper Saddle River, NJ: Prentice-Hall, 2010). Существует перевод на русский язык 2-го издания этой книги. — Прим. перев.
  • 7. Bostrom and Ćirković, Global Catastrophic Risks.
  • 8. Как пример возможного экзистенциального риска можно привести сценарий «серой слизи» — молекулярные роботы, сконструированные, чтобы эффективно самовоспроизводится, справляются со своей задачей слишком хорошо, поглощают всё доступное вещество Земли, уничтожая тем самым все живые организмы.
  • 9. Оригинал доступен по ссылке: https://intelligence.org/files/CognitiveBiases.pdf — Прим.перев.
  • 10. Оригинал доступен по ссылке: https://intelligence.org/files/AIPosNegFactor.pdf — Прим.перев.
  • 11. Nick Bostrom and Eliezer Yudkowsky, “The Ethics of Artificial Intelligence,” in The Cambridge Handbook of Artificial Intelligence, ed. Keith Frankish and William Ramsey (New York: Cambridge University Press, 2014).

Перевод: 
sepremento, Alaric
Оцените перевод: 
Средняя оценка: 4.3 (3 votes)
  • Короткая ссылка сюда: lesswrong.ru/582