Как успешно менять своё мнение

«Как успешно менять свое мнение» (How to Actually Change Your Mind)— вторая часть электронной книги Элиезера Юдковского «Рациональность: от ИИ до зомби» (Rationality: From AI to Zombies). Это отредактированная серия блог-постов из числа «Цепочек» («The Sequences»), в которой описана очень высокоуровневая техника мастеров рациональности: преодоление «искажения подтверждения» (confirmation bias) и мотивированного мышления.

«Как успешно менять свое мнение» содержит семь «цепочек» эссе. Все они собраны в книге «Рациональность: от ИИ до зомби», а здесь приведены ссылки на их переводы.

Предыдущая часть: Карта и территория.

Рациональность: введение

Роб Бенсинджер

Во что мне следует верить?

Оказывается, на этот вопрос есть правильный ответ.

Правильный ответ есть, даже если тебя мучает неопределённость, а не только при условии наличия убедительного доказательства. Всегда есть корректное количество уверенности в утверждении, даже если оно выглядит как «личное мнение», а не подтвержденный экспертом «факт».

И все же, мы часто рассуждаем так, будто существование неопределённости или разногласий делает убеждения всего лишь вопросом вкуса. Мы говорим: «Это просто мое мнение», или: «У тебя есть право на личное мнение», как будто утверждения науки и математики существуют на более высоком уровне бытия, чем убеждения, которые всего лишь «личные» и «субъективные». Но, как пишет Робин Хансон (1):

У тебя нет права на личное мнение. Никогда! У тебя нет права даже на «я не знаю». У тебя есть право на желания и, порой, на выбор. Ты можешь распоряжаться выбором, ты можешь выбирать предпочтения, у тебя может даже есть право на это. Но твои убеждения - это не о тебе; убеждения - о мире. Твои убеждения - лучшее, что ты можешь предположить о том, как дела обстоят на самом деле. Все остальное - ложь. [ … ]

Правда, что некоторые вопросы предоставляют экспертам более сильные механизмы для разрешения споров. Когда дело касается других вопросов, наши искажения и сложность мира мешают делать сильные выводы [ … ]

Но не забывай, что на любой вопрос о том, как обстоят дела (или как должны), и при любой информации всегда есть лучшая оценка. Ты имеешь право лишь на возможность приложить все силы для нахождения лучшей оценки; все остальное - ложь.

Предположим, что ты узнаёшь, что один из шести человек влюблен в тебя. Может, ты получаешь письма от тайного обожателя, и не сомневаешься, что это один из тех шести. Твой одноклассник Боб - один из шести кандидатов, но у тебя нет особых свидетельств за и против того, чтобы именно он влюблен. В этом случае шансы на то, что Боб именно тот, кто влюблен в тебя - 1:5.

Шесть возможностей означают, что ты угадаешь один раз верно, а пять - не верно, в среднем. Это и есть то, что мы обозначаем как «шансы 1 к 5». Ты не можешь сказать: «Ну, понятия не имею, кто в меня влюблен; может это Боб, может нет. Так что шансы мои пятьдесят на пятьдесят.» Ты даже не можешь сказать «я не знаю» или «может быть» и остановиться на этом, ответ все еще - 1:5 (2).

Предположим, что ты так же замечаешь, что влюбленные люди в десять раз чаще подмигивают тем, в кого они влюблены. И если Боб подмигивает тебе, то это - новое свидетельство. В данном случае, будет ошибкой по-прежнему сохранять скептицизм по поводу идеи, что Боб - тайный обожатель; шансы 10:1 в пользу «случайный человек, подмигнувший мне, влюблен в меня» перевешивают шансы 1:5 против «Боб влюблен в меня».

Но так же будет ошибкой заявлять: «Это свидетельство такое сильное, что сомневаться глупо! Я просто буду думать, что Боб в меня влюблен!» Сверхуверенность ничем не лучше неуверенности.

По факту, только один ответ математически непротиворечив. Для того, чтобы изменить свое мнение с априорных шансов 1:5, основываясь на свидетельстве с отношениями правдоподобия 10:1, мы умножаем отдельно левые стороны и правые, получая апостериорные шансы 10:5 (т.е. 2:1 в пользу того, что «Боб влюблен в меня»). С учетом наших предположений и доступных свидетельств, догадка, что Боб влюблен в тебя, окажется правдой каждые два раза, и ложью - один раз. Эквивалентно: вероятность, что ты его привлекаешь - 2/3. Любое другое число, выражающее уверенность, в данном случае будет несовместимым.

Наша культура не усвоила пока уроки теории вероятности, что правильный ответ на вопросы вроде «как сильно я могу верить в то, что Боб влюблен в меня?» точно так же логически определены как и и правильные ответы на вопросы из контрольной по алгебре или учебника геологии. Наши шаблоны мышления идут не в ногу с открытием, что «каких убеждений о мне следует придерживаться?» имеет объективно верный ответ, независимо от того, является ли это вопросом вроде «влюблен ли в меня мой одноклассник?» или «есть ли у меня бессмертная душа?» Есть правильный путь изменения своего мнения. И точный.

Как не менять свое мнение?

Однако, пересмотр своих убеждений так же, как и в том (с Бобом) идеальном случае - задача не из легких.

В первом томе «Рациональности: от ИИ до Зомби» мы обсуждали ценность «правильных» убеждений. Нет ничего предосудительного в выражении поддержки тому, что тебя волнует - группе, с которой ты себя идентифицируешь, духовному опыту, который ты находишь превозносящим. Когда мы сталкиваем провозглашения с фактическими убеждениями, однако, эти «недопонятые» провозглашения могут защитить целую идеологию от загрязнения свидетельствами.

Даже те убеждения, что элегантно объясняют наши наблюдения, не обладают иммунитетом от этой проблемы. Слишком уж просто нам воспринимать туманно-научные (так или иначе авторитетные) фразы и делать выводы, что они «объясняют» что-либо, даже если они не меняют шансы, которые мы использовали для косвенной оценки наших ожиданий будущего.

Хуже всего, что даже прозаичные убеждения - те, что принципиально фальсифицируемы, что ограничивают варианты будущих наблюдений - могут застрять в голове, будучи поддержанными сетью иллюзий и искажений.

В 1951 году произошло необычайно жесткая игра между Дартмутом и Принстоном. Психологи Хасторф и Кантрил провели опрос среди болельщиков от каждой школы о том, кто же начал вести жесткую игру первым. Почти все были согласны в том, что это был не Принстон; однако, на 86% студентов Принстона, веривших, что начал Дартмут, приходилось лишь 36% студентов Дартмута, тоже обвинявших Дартмут. (Большинство студентов Дартмута верило, что «обе стороны начали».)

Нет никаких оснований полагать, что это было противоположным настоящим убеждениям провозглашение. Студенты, вероятно, следовали разным убеждениям в разных оценках будущего поведения игроков в будущих играх. И все же, совершенно обычные фактические убеждения Дартмута сильно отличались от совершенно обычных фактических убеждений Принстона.

Можем ли мы винить разницу в доступных источниках информации? Сами по себе искажения в разных источниках новостей, на которые полагаются группы - серьезная проблема.

Однако факторов больше. Когда студентам была показана запись игры и они должны были посчитать количество нарушений, то Дартмутские насчитали в среднем 4.3 нарушения со стороны Дартмута (половина из которых была названа «мягкими»), в то время как Принтсонские - 9.8 нарушений со стороны Дартмута (треть из которых была названа «мягкими»).

Чего уж тут надеяться на согласие конкурирующих фракций по сложным вопросам или моральной философии; студенты, верные разным группам, не могли согласится о том, что они видели (3).

Когда над дорогим нам «чем-то» нависла угроза, - мировоззрением, социальным статусом или чем-либо еще, - наши мысли и даже восприятие спешат на защиту (4) (5). Некоторые психологи сегодня полагают, что наша способность придумывать явные оправдания для наших выводов специально эволюционировала для того, чтобы помогать нам выигрывать споры (6).

Одним из определяющих психологию 20-го века озарений, освещающим всех, от Фрейда до когнитивных психологов наших дней, является идея сложных подсознательных процессов, в значительной степени ответственных за наше поведение, и искаженности (большей, чем кажется на первый взгляд) историй, которые мы рассказываем себе о наших мотивах и поступках.

По факту, мы часто не замечаем сам процесс рассказывания таких историй. Когда кажется, что мы «прямо переживаем» что-то о себе посредством интроспекции, часто бывает, что это основано на незначительных косвенных причинных моделях (7, 8). Когда мы защищаем наши убеждения, то можем выдумывать хрупкие причины, не имеющие никакого отношения к тем, благодаря которым мы действительно пришли к таким убеждениям (9). Вместо того, чтобы судить объяснения на основе их предсказательной силы, мы пытаемся найти смысл в том, что, как нам кажется, мы знаем.

Как мы можем стать лучше? Как мы можем приобрести реалистичный взгляд на мир, если наши умы так склонны к рационализации? Как мы можем реалистично взглянуть на свой внутренний мир, если даже наши мысли под подозрением? Как мы можем снизить искаженность, если даже наша деятельность по исправлению этого имеет свои искажения?

Есть ли твердая кочка в этом болоте?

Математика Рациональности.

На рубеже 20-го века создание простых (например, теоретико-множественных) аксиом для арифметики дало математикам возможность оценивать корректность их выводов. Если человек или калькулятор выдает «2+2=4», теперь мы можем сказать больше, чем просто «интуитивно это кажется верным». Мы можем объяснить почему это верно, и мы можем доказать, что эта правильность систематически связана с правильностью всей остальной арифметики.

Но логика и математика позволяют нам моделировать более интересные системы, чем карманный калькулятор. Мы можем формализовать рациональные убеждения в целом, используя теорию вероятности для сбора сливок со всех успешных форм вывода. Мы даже можем формализовать рациональное поведения в целом, разработав теорию принятия решений.

Теория вероятности описывает идеальные рассуждения в условиях неуверенности, если бы у нас было достаточно времени, вычислительных мощностей и самоконтроля. Учитывая предыдущие знания (априорные) и новое свидетельство, теория вероятности однозначно определяет наилучший набор новых убеждений (апостериорные), которые я могу принять. Так же, теория принятия решений определяет, какие действия я должен предпринять на основе моих убеждений. Для любого непротиворечивого набора убеждений и предпочтений, что я имею о Бобе, есть ответ теории принятия решений о том, как я должен действовать, чтобы удовлетворить свои предпочтения.

Люди являются идеальными мыслителями или разработчиками решений настолько же, насколько могут быть идеальными калькуляторами. Наш мозг небрежно слеплен эволюцией. Даже сильно постаравшись, мы не способны вычислить правильный ответ на «что мне следует думать?» и «как мне следует поступить?». У нас не хватает времени и вычислительных мощностей, и эволюции оказалась недостаточно дальновидной и компетентной, чтобы создать менее багнутую систему.

Максимально эффективный, свободный от ошибок мыслитель в реальном мире, по факту, все равно будет полагаться на эвристики и аппроксимации. Оптимальные алгоритмы, путь вычислений которых можно проследить, выпадают из непротиворечивой теории вероятности.

И все же, даже зная, что мы не можем быть полностью непротиворечивыми, мы можем стать лучше. Зная о существовании идеала, с которым мы можем себя сравнивать (исследователи называют это «Байесовской рациональностью»), мы можем улучшать наши рассуждения и действия. И хотя, мы никогда не станем идеальными байесовскими агентами, математика рациональности поможет нам понять, почему некий ответ является верным, заметить где мы облажались.

Только представь изучение математики исключительно с помощью заучивания. Тебе сказали, что “10 + 3 = 13,” “31 + 108 = 139,” и т.д., но это не слишком поможет, если ты не будешь понимать последовательность, стоящую за закорючками. Трудно искать методы улучшения рациональности, не имея при этом парадигмы для оценки успешности этих методов. Цель этой книги - помочь построить такую парадигму индивидуально каждому.

Прикладная рациональность.

В своем блог-посте про разницу между восторженными рациональностью «рационалистами» и «рационалистами анти-эмпиристами» Скотт Александр пишет (10):

[O]чевидно - здорово иметь как можно больше свидетельств, в том же смысле, что и иметь как можно больше денег. Но так же очевидно, что и полезно уметь распоряжаться имеющимися ресурсами с умом, так же, как и полезно уметь распоряжаться с умом ограниченным бюджетом.

Техники рациональности помогут выжать больше из имеющихся свидетельств в тех случаях, когда они неоднозначны или когда наши искажения и пристрастия мешают интерпретировать их. Это применимо и к таким обыденным ситуациям, как та, что с Бобом. К разногласиям политических фракций (и спортивных болельщиков). И так же применимо к технологическим и философским загадкам, вроде дебатов о трансгуманизме и том, должны ли мы использовать технологии для радикального изменения нашего состояния. Признавая, что те же математические правила применимы к каждой из описанных областей, как и господство когнитивных искажений, автор, в «Как действительно изменить свое мнение», обрисовывает множество примеров проблем.

Первая цепочка статей в «Как действительно изменить свое мнение», - «Чрезвычайно удобные оправдания», - фокусируется на вопросах, которые настолько четкие с точки зрения вероятностей, насколько это возможно. Оптимальные вычисления по Байесу часто трудно выполнимы, но ошибки вроде ошибки подтверждения существуют даже в случаях, когда доступные свидетельства однозначны и у нас достаточно времени на обдумывание.

Отсюда мы движемся в темные воды вместе с цепочкой «Политика и Рациональность». Мейнстримная политика, как и теледебаты, знаменита своими гневными, непродуктивными дискуссиями. Если задуматься, это кажется странным. Почему мы воспринимаем так близко к сердцу политические разногласия, если эффекты национальной политики так далеки от нас в пространстве и времени? Если уж на то пошло, почему мы не можем быть аккуратней со свидетельствами, когда имеем дело с важными для нас вопросами?

В игре Дартмута с Принстоном есть пара подсказок. Большая часть наших рассуждений - рационализация, рассказывание историй, которые помогают нам воспринимать наши убеждения как последовательные и оправданные. при этом редко улучшая их точность. Об этом автор пишет в «Против рационализации», затем следует цепочка «Против двоемыслия» (о самообмане) и «Свежий взгляд на вещи» (о вызове признавать свидетельства, даже если они не слишком подходят нашим ожиданиям и предположениям).

Поднятие уровня своей рациональности подразумевает знакомство с множеством интересных и сильных идей. Часто, это так же означает знакомства с людьми для обсуждений этих идей и даже сообществами, поощряющими саморазвитие. «Смертельные Спирали» описывает потенциальные риски, влияющие на группы, созданные вокруг общих интересов и блестящих идей, которые надо обойти или перебороть, если мы рассчитываем получить хоть какую-то выгоду от сообщества рационалистов. «Как действительно изменить свое мнение» заканчивается цепочкой «Отпустить».

Наша природа не подразумевает изменение нашего мнения, как это делал бы байесовский агент. Чтобы заставить студентов Дартмута и Принстона заметить, что же происходило в реальности, понадобится больше, чем обучение их теории вероятности. Как писал Люк Мюлхаузер в «Силе автономного Агента» (11):

Ты не байесовский гомункул, чье мышление «загрязнено» когнитивными искажениями.

Ты просто когнитивное искажение.

Ошибка подтверждения, ошибка статуса кво, ошибка соответствия и прочие не присосались к нашему мышлению; они являются его сутью.

Это не значит, что снижение их влияния невозможно. Мы не являемся идеальными калькуляторами под слоем арифметических ошибок. Множество из наших ограничений в математике являются следствием особенностей работы мозга. И тем не менее, мы способны тренировать математические навыки; мы способны обучаться различать ситуации, где можно, а где нельзя доверять математической интуиции и делиться этим знанием с другими; мы способны менять окружающую среду и создавать инструменты, снимающие бОльшую часть нагрузки.

Наши искажения - часть нас самих. Но в нас так же присутствует тень Байеса - сломанный аппарат, способный, тем не менее, приблизить нас к правде. Не гомункул, но все же что-то. Возможно, достаточно, чтобы начать.

  1. Robin Hanson, “You Are Never Entitled to Your Opinion,” Overcoming Bias (blog) (2006), http://www.overcomingbias.com/2006/12/you_are_never_e.html.
  2. Это следует из того, что тут шесть возможностей и у тебя нет причин ожидать одну из них сильней по сравнению с другими. Мы так же предполагаем, пусть и нереалистично, что ты можешь быть уверен в том, что поклонник принадлежит именно к этой шестерке людей, и ты не отбрасываешь другие возможности. (Что если влюбленность у большего числа людей, чем «один»?)
  3. Albert Hastorf and Hadley Cantril, “They Saw a Game: A Case Study,” Journal of Abnormal and Social Psychology 49 (1954): 129–134, http://www2.psych.ubc.ca/~schaller/Psyc590Readings/ Hastorf1954.pdf.
  4. Pronin, “How We See Ourselves and How We See Others.”
  5. Robert P. Vallone, Lee Ross, and Mark R. Lepper, “The Hostile Media Phenomenon: Biased Perception and Perceptions of Media Bias in Coverage of the Beirut Massacre,” Journal of Personality and Social Psychology 49 (1985): 577–585, http://ssc.wisc.edu/~jpiliavi/965/hwang.pdf.
  6. Hugo Mercier and Dan Sperber, “Why Do Humans Reason? Arguments for an Argumentative Theory,” Behavioral and Brain Sciences 34 (2011): 57–74, https://hal.archives-ouvertes.fr/file/index/docid/904097/filename/Mercie….
  7. Richard E. Nisbett and Timothy D. Wilson, “Telling More than We Can Know: Verbal Reports on Mental Processes,” Psychological Review 84 (1977): 231–259, http://people.virginia.edu/~tdw/nisbett&wilson.pdf.
  8. Eric Schwitzgebel, Perplexities of Consciousness (MIT Press, 2011).
  9. Jonathan Haidt, “The Emotional Dog and Its Rational Tail: A Social Intuitionist Approach to Moral Judgment,” Psychological Review 108, no. 4 (2001): 814–834, doi:10.1037/0033-295X.108.4.814.
  10. Scott Alexander, “Why I Am Not Rene Descartes,” Slate Star Codex (blog) (2014), http://slatestarcodex.com/2014/11/27/why-i-am-not-rene-descartes/.
  11. Luke Muehlhauser, “The Power of Agency,” Less Wrong (blog) (2011), http://lesswrong.com/lw/5i8/the_power_of_agency/.
Оцените перевод: 
Средняя оценка: 4.4 (8 votes)

Чрезвычайно удобные оправдания

Первая цепочка статей в «Как действительно изменить свое мнение» - «Чрезвычайно удобные оправдания» фокусируется на вопросах, которые настолько четкие с точки зрения вероятностей, насколько это возможно. Оптимальные вычисления по Байесу часто трудно выполнимы, но ошибки вроде ошибки подтверждения существуют даже в случаях когда доступные свидетельства однозначны и у нас достаточно времени на обдумывание.

Материалы цепочки распространяются по лицензии CC BY-NC-SA 3.0

Автор: 
Элиезер Юдковский

Правильная скромность

Элиезер Юдковский

Давно известно, что хорошая наука требует некоторой скромности. Какой именно скромности — это вопрос другой.

Представим креациониста, который говорит: «Но откуда нам точно знать, что теория эволюции верна? Это просто теория. Вам стоит вести себя скромнее и учитывать все мнения». Это скромность? Креационист проявляет крайне избирательную недоуверенность, отказываясь включить в свою картину мира огромное количество свидетельств, которые приведут к некомфортному для него выводу. Я бы сказал, что независимо от того, «скромность» это или нет, это неверное па в танце.

А как насчет инженера, который скромно разрабатывает дополнительные механизмы безопасности для оборудования, даже будучи абсолютно уверенным, что оборудование не сломается? Такой вид скромности кажется мне хорошим. В истории было немало случаев, когда инженер был абсолютно уверен в том, что машина не сломается, а потом она ломалась. Что насчет студента, который перепроверяет свои ответы на контрольной по математике? Это я бы тоже отнес к хорошей скромности.

А что насчет студента, который говорит: «Не важно, сколько раз я проверю свои ответы, всё равно я никогда не смогу быть до конца уверен, что они верны», и поэтому не проверяет их вообще? Возможно, действия студента из предыдущего примера вызваны схожими эмоциями. Но студент из предыдущего примера поступает более разумно.

Вы предлагаете этому студенту заниматься усерднее, на что он отвечает: «Нет, мне это не поможет. Я же не такой умный, как ты. С моими скромными способностями мне нет смысла даже надеяться на результаты получше». Это социальная сдержанность, а не скромность. Она связана с положением в племени, а не с научным подходом. Если вы просите кого-то «быть скромнее», по умолчанию эти слова ассоциируются с социальной сдержанностью, которая является интуитивным, унаследованным от предков, ежедневно используемым инструментом. Научная скромность - относительно недавнее и более тонкое изобретение, и по своей сути не относится к общественным отношениям. Вы сможете применить научную скромность, даже находясь в одиночестве в космическом скафандре за много световых лет от Земли, где никто не может вас видеть. Или даже в том случае, если вы получите абсолютную гарантию того, что никто и никогда больше не будет вас критиковать, независимо от того, что вы сделаете или подумаете. Перепроверка своих вычислений и в этих ситуациях будет мудрым решением.

Наш студент говорит: «Но я видел, как другие студенты перепроверяли свои ответы и всё равно их ответ оказывался неправильным. Или вдруг мы столкнулись с проблемой индукции и в этот раз 2 + 2 будет равно 5? Что бы я ни делал, я никогда не могу быть полностью уверен». Это звучит очень глубокомысленно и очень скромно. Но вряд ли случайно то, что также студент хочет побыстрее сдать работу, чтобы пойти домой и поиграть в видеоигры.

Конец эпохи в физике не обязательно сопровождается салютом и фанфарами. Гораздо чаще он начинается с чего-то, что кажется лишь маленькой несостыковкой… Но из-за того, что физики придерживаются своей высокомерной идеи, что их модели должны работать абсолютно всегда, а не просто большую часть времени, они всегда стараются выяснить причину этих маленьких несостыковок. Обычно несостыковка исчезает после более внимательного ее изучения. А иногда она разрастается настолько, что опровергает всю теорию. По этому поводу сказано: «Если ты не стремишься к совершенству, ты остановишься еще до того, как сделаешь свои первые шаги».

Но подумайте, как нагло с точки зрения общества выглядит стремление быть правым абсолютно всегда! Я подозреваю, что если бы Наука заявляла, что теория эволюции верна большую часть времени, но не во всех случаях, — или если бы Наука признавала, что, возможно, Земля иногда может быть плоской, но никто не знает этого точно, — то у ученых определенно была бы лучшая репутация в обществе. Наука не казалась бы такой враждебной, потому что мы бы тогда не спорили с людьми, которые считают Землю плоской — оставалось бы место для компромисса. Если вы много спорите, вас считают конфликтным человеком. Если вы регулярно отказываетесь идти на компромисс, это еще хуже. Считайте это вопросом статуса в племени: ученые определенно заработали дополнительные очки уважения за такие социально полезные вещи, как медицина и мобильные телефоны. Но этот статус не оправдывает их настойчивости в вопросе того, что только научные идеи об эволюции имеют право изучаться в школах. В конце концов, у священников тоже высокий статус. Ученые пытаются прыгнуть выше головы — они заработали немного уважения и теперь считают, что имеют право быть вождями всего племени! Им стоит быть поскромнее и иногда идти на компромисс.

Многие люди, похоже, имеют весьма туманное представление о «скромности рационалиста». Опасно придерживаться правила, которое вы понимаете лишь отчасти. У вашей картины мира может быть такое количество степеней свободы, что она оправдает практически любой поступок. Когда люди пользуются смутными моделями, с помощью которых они могут отстаивать что угодно, в итоге они обычно верят в то, во что хотели верить изначально. Это так удобно, что люди часто не хотят отказываться от этой неопределенности. Но этика нужна для того, чтобы управлять нашим поведением, а не для того, чтобы под него подстраиваться.

«Скромность» — это добродетель, которую часто понимают неверно. Это не значит, что нам нужно отказаться от понятия скромности, но нам стоит использовать его осторожно. Возможно, стоит взглянуть на алгоритм действий, который предлагает «скромная» модель поведения, и спросить: «Если я буду поступать таким образом, я стану сильнее или слабее?» Если вы просто смотрите на мост и думаете о проблеме индукции, может казаться разумным рассуждение о том, что ничто не вечно, независимо от предпринятых мер предосторожности. Однако, если вы сравните, что изменится в реальном мире, если вы добавите несколько дополнительных тросов, и что изменится, если вы просто пожмёте плечами, то вроде бы довольно очевидно, в каком случае мост станет более надёжным.

Подавляющее большинство примеров «скромности рационалиста», которые я видел, были отговорками для пожимания плечами. Например, человек, покупающий лотерейный билет, говорит: «Но вы не знаете наверняка, что я проиграю». Человек, не верящий в эволюцию, говорит: «Но вы не можете строго доказать мне, что это правда». Человек, отказывающийся решать задачу, которая выглядит очень сложной, говорит: «Ее, наверное, слишком тяжело решить». Проблема здесь в мотивированном скептицизме, также известном как «искажение опровержения» — мы более критически рассматриваем утверждения в пользу теории, в которую мы не хотим верить. Скромность, в ее самом неверно понимаемом виде, это самое универсальное оправдание для того, чтобы не верить во что-то. Ведь, в конце концов, нельзя быть в чем-то уверенным до конца. Остерегайтесь абсолютно универсальных оправданий!

Еще одна проблема в том, что скромность не требует от вас никаких жертв. Деннет в своей книге «Разрушая чары: религия как природное явление» говорит, что, хотя во многие религиозные утверждения очень трудно верить, людям намного легче удается верить в то, что они должны в них верить. Деннет использует для этого термин «вера в убеждении». Что бы значило реальное убеждение, реальная вера в то, что трое эквивалентны одному? Намного легче убедить себя, что вы должны каким-то образом верить, что трое эквивалентны одному, и говорить это вслух в нужный момент проповеди. Деннет предполагает, что многие «религиозные убеждения» должны рассматриваться как «религиозные провозглашения» — люди считают, что они должны в них верить, и знают, что они должны именно так говорить.

Довольно легко отвечать на каждый контраргумент: «Ну, разумеется, я могу и ошибаться». А затем, почтительно преклонив колени перед Скромностью и выполнив надлежащий ритуал, можно поступать точно также, как поступали и до этого.

Всегда хочется заработать наибольшее количество очков с наименьшими усилиями. Всегда хочется учитывать все поступающие свидетельства таким образом, чтобы как можно меньше изменять свои убеждения и особенно действия. Джон Кеннет Гэлбрейт сказал: «Оказавшись перед выбором между тем, чтобы изменить свои убеждения, и тем, чтобы доказать себе, что в этом нет нужды, почти каждый выбирает второе.»1 И чем большие неудобства человек будет испытывать после изменения своих убеждений, тем больше усилий он потратит на доказательства его ненужности.

Но, знаете, если вы не собираетесь меняться, нет смысла тратить такие усилия на то, чтобы это рационализировать. Я часто видел людей, которые получали новую информацию, соглашались с ней, а затем подробно объясняли, почему они собираются делать то же самое, что делали до этого, но с другим оправданием. Смысл мышления в том, чтобы строить планы. Если вы не планируете менять свои планы, зачем тратить силы на их оправдания? Когда вы получаете новую информацию, самое трудное - среагировать на нее и обновить свои убеждения, вместо того чтобы позволить этой информации исчезнуть в черной дыре. И неправильно понимаемая скромность создаёт прекрасную чёрную дыру — вам нужно лишь признать, что вы тоже можете ошибаться. По этому поводу сказано: «Быть скромным — значит заранее принимать меры в ожидании провала своих планов. Тот, кто признаёт способность ошибаться, но никак не пытается её скомпенсировать, движим гордыней, а не скромностью».

  • 1. John Kenneth Galbraith, Economics, Peace and Laughter (Plume, 1981), 50.
Перевод: 
stas
Номер в книге "Рациональность: от ИИ до зомби": 
46
Оцените перевод: 
Средняя оценка: 4.4 (14 votes)

Третья альтернатива

Элиезер Юдковский

«Вера в Санту дает детям ощущение чуда и заставляет их вести себя хорошо в надежде на получение подарков. Если Санта-убеждение разрушается правдой, дети теряют ощущение чуда и прекращают вести себя хорошо. Таким образом, даже если это убеждение ложно, это благородная ложь, которая полезна по определенным причинам».

Обычно это называют ложной дилеммой, софизмом исключения среднего, софизмом компромисса. Даже если мы принимаем лежащие в основе фактические и моральные исходные посылки, приведенные выше в аргументах, это не может быть использовано. Даже предположение, что политика Санты (заставлять детей верить в Санта-Клауса) лучше, чем не делать ничего, это не значит что данное убеждение является наилучшим из всех возможных альтернатив. Другие варианты поведения также могут дать детям ощущение чуда, наподобие просмотра фантастического шоу или снабжения их научно-фантастической литературой. Подобным же образом (если я правильно помню) манера предлагать детям своеобразные взятки за хорошее поведение заставляет детей вести себя хорошо только в те моменты, когда на них смотрят взрослые, а без взяток вести себя плохо.

Благородная ложь представляет собой общий случай софизма компромисса; и ответом на данный софизм является то, что если нам действительно нужно достичь чего-то, мы можем создать третью альтернативу по достижению этого.

Как мы можем получить третью альтернативу? Первый шаг в этом — решить поискать ее, последний — решение принять ее. Звучит очевидно, однако большинство людей терпят неудачу на этих двух шагах, а не на самом процессе поиска. Откуда берутся ложные дилеммы? Некоторые появляются честно, потому что трудно найти превосходящие стратегии. Но есть сомнительная причина ложной дилеммы — это суждение о том, что это лучше, чем не делать ничего. В этом случае, судящий не хочет искать третью альтернативу; находение таковой разрушит его суждение. Последнее, что Сантаист хотел бы услышать, это то, что данная ложь работает лучше взяток или что космические корабли могут вдохновлять так же как летающие олени.

Лучшее враг хорошего. Если цель — по-настоящему помогать людям, тогда превосходящая альтернатива это причина для праздника — как только мы находим лучшую стратегию, мы можем помогать людям более эффективно. Но если цель просто оправдать определенную стратегию, претендуя при этом на помощь людям, третья альтернатива становится вражеским аргументом, соперником.

Современные когнитивные психологи рассматривают принятие решений как поиск альтернатив. В настоящей жизни, недостаточно сравнивать варианты, вы должны в первую очередь создавать варианты. Во многих проблемах число альтернатив велико, так что вам нужен критерий остановки поиска. Когда вы ищете дом для покупки, вы не будете перебирать все дома в городе; в определенный момент вы остановитесь и купите.

Но что, если наши сознательные мотивы для поиска — критерий, который мы признаем для себя — не совпадает с подсознательными влияниями? Когда мы выполняем вроде бы альтруистический поиск, поиск альтруистического способа действий и находим стратегию, при которой выигрывают все кроме нас — мы не останавливаемся; мы продолжаем искать. Разумеется, при этом мы говорим, что ищем стратегию, которая принесет другим еще больше пользы. Но предположим, что мы нашли стратегию, которая приносит другим меньше пользы, но зато благоприятна и для нас? Мы тут же останавливаемся! На деле, мы скорее всего будем сопротивляться любому предложению продолжить поиск снова — например оправдываясь недостатком времени (хотя у нас всегда находятся когнитивные ресурсы для поиска оправданий текущей стратегии).

Будьте внимательней, когда обнаруживаете, что вы отстаиваете оборонительный способ действий, а не оптимальный; или думаете, что иметь небольшое преимущество в сравнении с нулевым действием лучше, чем выбирать наибольшее преимущество из всех действий.

Ложные дилеммы часто представляются как оправдание неэтичных действий, как нечто попавшееся под руку и очень удобное. Лгать, например, часто удобнее, чем говорить правду; и верить в то, с чего вы начали рассуждение, — более удобно, чем обновлять убеждения. Отсюда популярность аргументов в пользу Благородной Лжи; это служит как защита уже существующего убеждения — никто не видел Благородного Лжеца, который создает новую Благородную Ложь; они продолжают лгать о том, с чего начали. Лучше остановить эти поиски быстро!

Чтобы сделать лучше, спросите себя напрямую: если бы я увидел, что есть альтернатива, превосходящая мою текущую, я бы обрадовался или бы замешкался в нежелании, перед тем, как перешел на нее? Если ответы «нет» и «да», боюсь, что вы не ищете третью альтернативу.

Что приводит к другому хорошему вопросу, который нужно задать себя напрямую: потратил ли я хотя бы пять минут на то, чтобы закрыть глаза и рассмотреть даже самые дикие и креативные варианты в попытках придумать лучшую альтернативу? Причем это должны быть именно пять минут на часах — иначе вы просто моргаете — закрываете и открываете сразу же глаза и говорите: «Ну, я поискал альтернативы, но их нет». Моргание это хорошее средство уйти от своих обязанностей. Поэтому рекомендуется смотреть пять минут именно по часам.

И эти дикие и креативные варианты — были ли вы достаточно внимательны, чтобы не просмотреть хороший? Прилагали ли усилия, чтобы убедиться в том, что любой рассмотренный выбор очевидно плохой?

Удивительно, как много Благородных Лжецов и прочих подобных готовы принять этические нарушения — оплакивая свои муки совести — когда они не потратили и пяти минут на поиск альтернатив. Существуют определенные ментальные поиски, которые мы подсознательно желаем видеть неудавшимися; и когда шансы на успех нам не подходят, люди часто выбирают самый доступный возможный вариант — сдаться.

Перевод: 
Remlin
Номер в книге "Рациональность: от ИИ до зомби": 
47
Оцените перевод: 
Средняя оценка: 4.6 (8 votes)

Лотереи: бессмысленная трата надежды

Элиезер Юдковский

Традиционно принято критиковать лотереи за то, что играют в них те, кто меньше всего может позволить себе проиграть; что лотерея — унитаз для спуска денег, сливающий средства тех, кому они больше всего нужны. Некоторые апологеты лотерей (и даже кое-какие комментаторы блога Lesswrong.com) пытаются оправдать покупку лотерейных билетов как разумную: мы нечувствительно теряем доллар в день, покупая приятное предвосхищение, мечтая о себе-миллионере.

Но рассмотрим, что же именно здесь подразумевается. Такой ход мыслей должен означать, что вы захламляете свой ценный мозг иллюзией, действительная достоверность которой — что-то около нуля: тонкая полоска везения, которую вы не властны сделать реальностью. Лотерейные шары определят ваше будущее. Эта иллюзия о том, что богатство настигнет вас без усилий: без стремления мыслить и учиться, без талантов, даже без упорства.

Это и делает лотереи еще одним видом «унитаза», только сливающим эмоциональную энергию. Они потворствуют тому, чтобы люди вкладывали свои мечты, свои надежды на лучшее будущее в крохотную вероятность. Если бы не лотерея, возможно, они могли бы подумать о том, чтобы поступить в технический колледж, или открыть свое дело, или продвинуться по службе, — о чём-то, что в самом деле могут сделать именно они, о надеждах, которые бы требовали от них стать сильнее. В своих фантазиях, эдак к 20-й визуализации пленительной мечты, мозг человека, возможно, заметит способ действительно ее осуществить. Разве фантазии и мозги не для этого? Но разве может этот приземленный, ограниченный рамками действительности расклад сравниться с подслащенной перспективой мгновенного богатства (не когда на продажу выставлены акции соблазнительных интернет-стартапов, а в обычный вторник)?

Правда, почему бы нам просто не сказать, что покупать лотерейные билеты — идиотское занятие? Люди бывают глупы время от времени, так что это не должно быть такой уж удивительной гипотезой.

Не является открытием, что человеческий мозг не проводит 64-битные вычисления с плавающей точкой, и не может снизить эмоциональную силу положительного предвосхищения, умножив ее на 0,00000001, если не приложить к этому усилий. Также неудивительно, что многие люди не осознают, что численное вычисление ожидаемой полезности должно превосходить или замещать их неточные финансовые инстинкты, и что вместо них стоит верить этому вычислению как единственному аргументу, который уравновешивал бы их положительное предвосхищение - но вычисление это эмоционально слабый аргумент, поскольку представляет собой цифры на бумаге, а не видения сказочных богатств.

Кажется, этого достаточно, чтобы объяснить популярность лотерей. Почему же столь многих спорщиков тянет оправдать эту образцовую форму саморазрушения?

Чтобы преодолеть искажение мышления, нужно: 1) сначала заметить его, 2) затем подробно проанализировать, 3) определить, чем же оно плохо, 4) выяснить, как его обойти, и, наконец, 5) осуществить это. Досадно, как много людей, пройдя первые два шага, застревают на третьем — по правде говоря, самом легком из всех пяти. Систематическая ошибка мышления — это баг, а не фича, и мы должны не пытаться сделать из нее что-то хорошее, а просто избавиться от нее.

Перевод: 
Quilfe, Remlin, Elspet
Номер в книге "Рациональность: от ИИ до зомби": 
48
Оцените перевод: 
Средняя оценка: 4.7 (7 votes)

Новая улучшенная лотерея

Элиезер Юдковский

Люди продолжают настаивать на том, что лотереи это не бессмысленная трата надежды, а сервис, который дает возможность купить фантазию — «мечты о становлении миллионером за меньшие деньги, нежели мечты о становлении голливудской звездой в кино». Один комментатор написал: «Есть большая разница между нулевыми шансами стать богатым и ничтожно малыми. Покупка билета позволяет вашей мечте о богатстве перейти от нулевых шансов к ничтожно малым».

На деле же, и это один из моментов, которые я хочу донести, между нулевым и ничтожно малым шансом стать богатым разница ничтожно малого порядка. Если вы сомневаетесь, положим, что этот ничтожно малый шанс — единица, деленная на гуголплекс.

В любом случае, если мы притязаем на то, что сильная сторона лотереи — возможность купить надежду на ничтожно малые шансы, то это предполагает, что мы соглашаемся на разработку новой улучшенной лотереи. Она выплачивает выигрыш в среднем раз в пять лет, в случайный момент времени, который определяется, скажем, моментом распада атомов слаборадиоактивного элемента. Вы сможете однажды купить билет за доллар и обрести не просто несколько дней крохотного шанса стать богатым, а несколько лет такового. Более того, богатство может настигнуть вас в любой момент! В любую минуту может зазвонить телефон, чтобы рассказать вам, что вы, да-да, именно вы — миллионер!

Представьте, насколько это было бы лучше, чем обычная схема розыгрыша лотереи, которая проводится только в определенное время, несколько раз в неделю. Скажем, шеф приходит и дает вам указание переработать проект, или пополнить складские запасы, или сделать еще что-нибудь надоевшее. И вместо того, чтобы браться за работу, вы можете поставить перед собой телефон и глядеть на него, надеясь на чудесный звонок, ведь есть крохотный шанс, что именно в этот момент вы, да-да, вы получите суперприз! И даже если этого не случится сейчас, что ж, не стоит разочаровываться: это может произойти в следующую минуту!

Подумайте, насколько больше фантазий возможно с Новой улучшенной лотереей. Вы можете покупать в магазине, добавляя дорогие вещи в вашу покупательскую корзину — если ваш телефон не зазвонит, чтобы вам сообщили, что вы выиграли, вы всегда можете выложить все обратно, не так ли?

Возможно, Новая улучшенная лотерея может даже отображать постоянно плавающее распределение вероятностей по возможности того, что сейчас кто-то выиграет, или по шансам на победу определенных лотерейных билетов, а также общий прогноз, выражающийся через вышеуказанные распределения Пуассона. Вообразите, насколько приятным это могло бы быть! Батюшки, прямо сейчас шансы выиграть где-то в десять раз выше, чем обычно! И, вы только посмотрите, у номера 42, на который я сделал особую ставку, вероятность выпадения в эту минуту удвоилась! Можно отобразить эту информацию на экранах мобильников, владельцы которых в игре, и они смогут просто посмотреть в телефон и узнать свои шансы. Только представьте, как волнующе это будет! Куда увлекательней, чем пытаться свести собственные доходы и расходы. Куда интереснее, чем делать домашнюю работу! Эта новая мечта должна стать настолько притягательной, что сможет соревноваться не только с надеждой поступить в технический колледж, но даже с возможностью рано возвращаться с работы. Люди смогут просто неотрывно глазеть на экран весь день, и им не надо будет мечтать о чем-нибудь еще!

Действительно, давать людям соблазнительные мечтания, которые никогда не станут реальностью, — значимая услуга, так уж и быть. Она должна быть таковой, ведь люди готовы расставаться с деньгами. Хотя на самом деле это может быть и не так, ведь люди могут и ошибаться.

Пока что современные государства, обладающие подлой монополией на лотереи, все еще не предлагают эту удобную и очевидную услугу. Почему? Потому что хотят назначить цену повыше. Они хотят, чтобы люди тратили деньги каждую неделю. Чтобы люди тратили сотни долларов ради трепетного ожидания выигрыша, десятки и сотни раз, вместо того, чтобы смотреть на экран телефона, ожидая счастливого момента. Так что если вы убеждены, что лотерея — это услуга, то цена ее несоизмеримо завышена (в особенности для беднейших в обществе), и ваш священный долг как гражданина — требовать учреждения Новой улучшенной лотереи.

Перевод: 
Quilfe, Remlin
Номер в книге "Рациональность: от ИИ до зомби": 
49
Оцените перевод: 
Средняя оценка: 4.7 (7 votes)

Но ведь шанс все равно есть, не так ли?

Элиезер Юдковский

Несколько лет назад я беседовал с одним человеком, и по ходу разговора он сказал, что не верит в эволюцию. Я ответил: «Сейчас не девятнадцатый век. Когда Дарвин впервые предложил теорию эволюции, в ней еще можно было сомневаться. Но мы живем в двадцать первом веке. Мы можем читать гены. У человека и шимпанзе ДНК совпадают на 98%. Мы знаем, что люди и обезьяны являются родственниками. Это факт».

Он сказал: «Может быть, совпадение ДНК является случайным».

Я ответил: «Шансы на это равны примерно двум в степени семьсот пятьдесят миллионов к одному».

Он сказал: «Но ведь шанс все равно есть, не так ли?»

Есть несколько причин, по которым прошлый-я не может праздновать чистую с моральной точки зрения победу в этом споре. Первая причина заключается в том, что я не помню, откуда взял число $2^{750000000}$, хотя, скорее всего, я не слишком ошибся на уровне «мета-порядка». Другая причина в том, что мой прошлый-я не задумывался о том, насколько откалиброванной была эта уверенность. На протяжении всей истории человечества люди, оценивавшие вероятность некоего события в 1 к $2^{750000000}$, ошибались, несомненно, чаще, чем один раз в $2^{750000000}$ случаях. К слову, позже оценка совпадения ДНК была снижена с 98% до 95% - причем относится она только к 30 000 известным генам, а не ко всему геному, поэтому моя оценка была неверна даже на уровне «мета-порядка».

Однако, ответ моего собеседника по-прежнему кажется мне довольно забавным.

Я не помню, что я ответил на его последнюю реплику — скорее всего, что-то вроде «Нет» — но я запомнил этот разговор, поскольку благодаря ему я чуть лучше понял то, как Непросвещённые понимают законы мышления.

Я впервые понял, что для человеческой интуиции есть качественная разница между «Невозможно» и «Шансы очень малы, но их стоит учитывать». Это можно увидеть и на Overcoming Bias в обсуждении «Новой Улучшенной Лотереи», где один пользователь написал: «Между нулевыми шансами на выигрыш и шансами, равными эпсилону, существует большая разница». На что я ответил: «Нет, не большая - порядок этой величины примерно равен эпсилону. Если вы в этом сомневаетесь, возьмите за эпсилон один, делённое на гуголплекс».

Проблема в том, что теория вероятностей позволяет рассчитать значения, которые настолько малы, что на них бессмысленно тратить ресурсы своего мозга - но к этому времени они уже будут рассчитаны. Люди путают карту с территорией, поэтому на интуитивном уровне вероятность, явно определённая в виде символов, ощущается как «шанс, который нужно учитывать», даже если число, описываемое этими символами, настолько мало, что, представив его в виде реального объекта, мы бы не смогли его даже разглядеть, поскольку оно было бы меньше пылинки. Для описания настолько маленьких чисел есть слова, но нет чувств — столь малого количества нейронов и нейромедиаторов не хватит, чтобы ощутить хоть что-то. Именно поэтому люди и покупают лотерейные билеты — никто не способен по-настоящему прочувствовать ничтожность столь малой вероятности.

Но еще более любопытным мне показалось качественное деление между аргументом «точным» и аргументом «вероятностным» - причем «вероятностный» аргумент в этом случае можно просто проигнорировать. Мол, вероятность, равная нулю, требует полного отказа от нее, а вероятность, равная один к гуголу, все еще может учитываться.

Разумеется, мы живем в свободной стране и никто не посадит вас в тюрьму за неверные рассуждения. Но если вы собираетесь игнорировать аргумент о том, что вероятность равна всего лишь один к гуголу, зачем обращать внимание на аргумент о том, что вероятность равна нулю? То есть, если вы всё равно собираетесь игнорировать любые свидетельства, чем «вероятностное» свидетельство хуже «точного»?

По ходу своей жизни я неоднократно учился на ужасно вопиющих примерах рассуждений других людей и часто обнаруживал, что полученные выводы можно проецировать и на менее очевидные случаи. Например, здесь я понял, что если не игнорируешь вероятность один к гуголу лишь потому, что тебе так хочется, по этой же причине нельзя игнорировать и вероятность 0,9. Это такой же опасный путь.

Вспомните об этом, если захотите сказать: «Но вы не можете доказать мне, что я не прав». Если вы собираетесь игнорировать аргумент, основанный на вероятности - почему бы просто сразу не проигнорировать все доказательство?

Перевод: 
stas
Номер в книге "Рациональность: от ИИ до зомби": 
50
Оцените перевод: 
Средняя оценка: 4.8 (5 votes)

Софизм серого

Элиезер Юдковский

Софистик: «Мир не черный и белый. Не существует чистого добра и чистого зла. Все серое. Таким образом, нет никого, кто был бы лучше другого»

Zetet: «Зная только серый, вы заключаете, что все виды серого - это один оттенок. Вы смеетесь над простотой двухцветной точки зрения, однако заменяете ее одноцветной…»

— Marc Stiegler, David’s Sling

Я не знаю, есть ли у ошибки, допущенной Софистиком, официальное название, но я называю её «софизмом серого». Мы видели его проявление в предыдущем посте, когда собеседник, считавший, будто шансы, равные двум в степени семьсот пятьдесят миллионов к одному, против его утверждения означают, что «шансы еще есть». Для него любые вероятности — просто «неопределенности», и поэтому он считает, что может их игнорировать, если ему так удобней.

«Луна сделана из зеленого сыра» и «Солнце сделано по большей части из водорода и гелия» — предложения о некоторой неопределенности, однако они неопределены не в равной степени.

Все - оттенки серого, однако есть оттенки серого столь светлые, что они почти белые, и есть оттенки столь темные, что они почти черные. Или даже если нет, мы все равно можем сравнить оттенки и сказать «это темнее» или «это светлее».

Годы назад, одним из маленьких и странных, формирующих меня как рационалиста, моментов было чтение этого параграфа из «Игрока в игры» Иэна Бэнкса, особенно предложение, выделенное жирным:

«Карательная система не знает невиновных. Любая машина насилия считает, что все либо за нее, либо — против. Мы — против. И вы были бы тоже, дай вы себе труд задуматься. Уже один образ мышления делает вас врагом. Может, это и не ваша вина, потому что каждое общество воспитывает в своих гражданах определенные ценности, но дело в том, что некоторые общества придают ценностям максимальное значение, а некоторые — минимальное. Вы происходите из общества второго типа, а рассказать вас о себе просит общество первого типа. Уклониться будет так трудно, что вы и представить себе не можете, сохранить нейтралитет — практически невозможно. Вы просто не можете не сочувствовать той политике, в которой воспитаны, поскольку она не является чем-то независимым от остальных частей вашего «я». Она — составляющая вашей личности. Мне это известно, и им это известно. И вам лучше принять все как есть».

Сейчас не надо писать негодующих комментариев, говорящих, что если бы общества не вкладывали свои ценности, тогда каждое последующее поколение должно было бы начинать с нуля. Это не то, что я вынес из параграфа.

То, что я вынес из параграфа, было что-то, что кажется очевидным в ретроспективе, что я, возможно, мог бы взять из сотни разных мест; но именно этот параграф что-то сдвинул во мне.

Это было само понятие Количественного Пути, примененного к жизненным проблемам, таким как моральные суждения и стремление к самосовершенствованию. То, что даже если бы вы не могли включить или выключить, вы все еще хотели бы увеличить или уменьшить.

Слишком очевидно, чтобы это стоило обсуждать? Я бы сказал что это не так уж очевидно, для многих блоггеров, говорящих об Overcoming Bias: «Невозможно, никто не может полностью избавиться от искажений». Меня не волнует, если это говорит профессиональный экономист, ясно что они еще не въехали в то, как применять Количественный Путь в повседневной жизни и делах наподобие самосовершенствования. Если я не могу что-то убрать совсем, может быть неплохо было бы это хотя бы уменьшить.

Или обсудим разговор между Робином Хансоном и Тайлером Ковеном. Робин Хансон сказал, что он предпочитает уделять 75% внимания предписаниям экономической теории, в противовес своей интуиции: «Я стараюсь в основном напрямую применять экономическую теорию, добавляя немного личных или культурных суждений». Тайлер Ковен ответил:

С моей точки зрения нет такой вещи как «применяемая напрямую экономическая теория»… теории всегда применяются через наши личные и культурные фильтры, и не может быть каких-то других путей.

Да, но вы можете попробовать минимизировать этот эффект, или вы можете делать вещи, связанные с увеличением его. И даже если вы пытаетесь минимизировать его, тогда во множестве случаев я не думаю, что неразумно называть выход «прямым» — даже в экономике.

«Все несовершенны». Мохандас Ганди был несовершенен и Иосиф Сталин был несовершенен, но они не были одинаково несовершенны. «Все несовершенны» это отличный пример замены двухцветной точки зрения на одноцветную. Если вы скажете: «Никто не совершенен, но некоторые люди менее несовершенны, нежели другие», вы можете не получить аплодисментов; но тем, кто старается делать лучше, вы дадите надежду. Никто не совершенен, в конце концов.

(Всякий раз, когда кто-то говорит мне «перфекционизм плох для тебя», я отвечаю: «Я думаю, что нормально быть несовершенным, однако не столь несовершенным, чтобы это замечали другие люди».)

Точно так же глупы те, кто говорит: «Каждая научная парадигма накладывает какие-то из своих предположений на то, как она интерпретирует эксперименты» и действует так, словно он доказал, будто наука стоит на одной ступени с шарлатанством. Любое мировоззрение накладывает какие-то из своих структур на свои наблюдения, но есть те точки зрения, что пытаются минимизировать этот эффект, и те, что гордятся им. Нет белого, но есть тени серого, что намного светлее других, и глупо относиться к ним так, словно они все на одном уровне.

Если Луна вращалась вокруг Земли последние несколько миллиардов лет, если вы видели ее в небе последние годы, и вы ожидаете увидеть ее на своем месте завтра — это неопределенность. И если вы ожидаете, что невидимый дракон излечит вашу дочь от рака, — это тоже неопределенность. Но у них совершенно разные степени неопределенности: одно дело — ожидать вещи, которые уже случались так, что их можно было предсказать до двенадцати знаков после запятой, и совсем другое — ожидать, что произойдет нечто, что противоречит наблюдаемому порядку вещей. И называть их одним словом «вера» кажется немного натянутым.

Это психология особого рода, которая приводит к «Наука тоже основана на вере, вот так!» Обычно это говорится людьми, которые утверждают, что вера — это хорошо. Тогда почему они говорят «Наука тоже основана на вере!» в таком злобно-торжествующем тоне, а не как комплимент? И довольно опасный комплимент, с их точки зрения. Если наука основана на «вере», тогда наука относится к тем же явлениям что и религия: их тогда можно непосредственно сопоставить. Если наука — это религия, то это религия, что лечит болезни и открывает тайны звезд. И тогда возможно сказать: «священники науки могут честно и открыто, с доказательствами, ходить по Луне, что можно счесть чудом веры, а ваши священники от веры не могут того же». Вы уверены что вы хотите продолжать, верующие? Возможно, в дальнейшем отражении, вы предпочтете отказаться от этого дела с «Наука тоже религия!»

Есть странная динамика: вы пытаетесь очистить свой оттенок серого, и достигаете точки, где становится уже светлее, и кто-то встает и говорит глубоко возмущенным тоном: «Но это же не белый! Это серый!» Одно дело, когда кто-то говорит: «Это не такое светлое, как вы думаете, поскольку там есть определенные проблемы X, Y, Z». Другое дело, когда кто-то злобно говорит: «Это не белый! Это серый!» без указания на определенные темные пятна.

В этом случае я начинаю в большей степени, чем обычно, подозревать, что психология несовершенна: что кто-то, возможно, заключил сделку со своими ошибками и теперь отказывается слышать о любой возможности улучшения. Когда кто-то находит оправдание тому, что он не пытается стать лучше, он часто отказывается признать, что кто-то может стараться стать лучше, и любой способ улучшения и любое свидетельство, что возможно двигаться вперед, чтобы стать лучше, они воспринимают как преступление против них. Таким образом, они гордо говорят сначала «я рад что я серый», а затем, уже злобно: «И ты тоже серый!»

Если нет белого и черного, все еще есть более светлое и более темное, и не все серые тона одинаковы.

Приложение: нам еще привели цитату из Азимова: «Когда люди думали, что Земля плоская, они ошибались. Когда они думали, что она сферическая, — они тоже ошибались. Но если вы думаете, что считать ее сферой или плоскостью одинаково ошибочно, вы заблуждаетесь больше, чем все они вместе взятые».

Перевод: 
Remlin
Номер в книге "Рациональность: от ИИ до зомби": 
51
Оцените перевод: 
Средняя оценка: 5 (13 votes)

Абсолютный авторитет

Элиезер Юдковский

К вам приходит человек и высокомерным тоном заявляет: «Наука не знает ничего по-настоящему. Все, что у вас есть, - это теории; вы не знаете наверняка, что вы правы. Вы, ученые, меняли свое мнение о том, как работает гравитация - откуда нам знать, что завтра вы не поменяете свое мнение об эволюции?»

Посмотрите на эту глубокую культурную пропасть между вами. Если вы думаете, что сможете преодолеть ее с помощью нескольких предложений, вы сильно разочаруетесь.

Мир Непросвещенных делится на авторитеты и не-авторитеты. Тому, во что верить можно, следует верить; то, чему доверять нельзя, следует просто игнорировать. Есть хорошие источники информации и плохие источники информации. Если ученые меняли свое мнение хоть раз за все время существования науки, она не может быть истинным Авторитетом и ей никогда больше нельзя будет доверять - как свидетелю, пойманному на лжи, или продавцу, крадущему деньги из кассы.

Кроме того, таким людям кажется естественным то, что сторонник какой-либо идеи будет защищать ее против любого возможного контраргумента и ни в чем не сознается. Все контраргументы должны сразу игнорироваться. Если даже сторонник науки признает, что наука неидеальна - что ж, тогда она точно бесполезна.

Когда человек живет всю свою жизнь, привыкнув к определенности, нельзя просто сказать ему: «Наука основана на вероятностях, как и все остальные знания». Он поймет первую половину высказывания как признание вины и проигнорирует вторую половину, посчитав ее отчаянной попыткой обвинить всех остальных, чтобы избежать обвинения самому.

Вы сами признали, что вам нельзя доверять - так убирайся прочь, Наука, и не тревожь нас более!

Одним из очевидных источников такого типа мышления является религия, где писания якобы исходят от самого Бога; таким образом, любое признание хоть малейшего изъяна уничтожит его авторитет полностью; и любой признак сомнения является грехом, и заявлять об определенности обязательно, есть она там или нет.

Но я подозреваю, что в деле также замешаны традиционные способы обучения в школе. Учитель говорит определенные вещи, а ученики обязаны ему верить и повторять все, что он сказал, на контрольной. А когда другой ученик высказывает вслух свои мысли, иметь свое мнение разрешается - с ним можно свободно соглашаться или не соглашаться (судя по всему), и никакого наказания за это не последует.

Боюсь, «убеждения» из-за этого попадают в социальную сферу авторитета, приказов и закона. В этой социальной сфере есть качественное различие между абсолютными законами и не-абсолютными законами, между приказами и предложениями, между авторитетами и не-авторитетами. Возникает ощущение, что, подобно точным и неточным правилам, существуют точные и неточные знания. Строгим авторитетам необходимо подчиняться, тогда как неточные предположения можно принять или проигнорировать в зависимости от личного предпочтения. И Наука, признаваясь в возможности своей ошибки, должна принадлежать ко второй категории.

(Замечу мимоходом, что нечто подобное я наблюдаю у тех, кто думает, что если нет оценки вероятности, данной Авторитетным лицом - написанной, например, на клочке бумаги учителем в классе, или спущенной свыше неким другим Неоспоримым Источником - эта неопределенность не может учитываться Байесианской теорией вероятности. Кто-то может - внимание! - оспорить такую оценку априорной вероятности. Таким образом, Не-до-конца-просвещенным кажется, что Байесианские вероятности принадлежат к классу убеждений, произносимых учениками, а не к классу убеждений, диктуемых учителями - и поэтому не являются настоящими знаниями.)

Глубокая культурная пропасть между Авторитетным Путем и Количественным Путем довольно сильно раздражает тех, кто смотрит на нее со стороны рационалистов. По другую сторону находятся те, кто верит, что обладает знанием более надежным, чем основанные всего лишь на вероятностях догадки ученых - догадки о том, например, что завтра Луна взойдет в определенном месте и определенной фазе, точно так же, как это было при каждом ночном наблюдении со времен изобретения астрономических инструментов, и точно так же, как предсказывают физические теории, чьи предыдущие предсказания были успешно подтверждены до четырнадцати цифр после запятой. А какое знание противопоставляют этому Непросвещенные и почему? Скорее всего, это какой-нибудь старый пыльный свиток, который был опровергнут одиннадцатью разными способами с прошлого воскресенья, и с прошлого понедельника, и с любого другого дня недели. Однако (как говорят они), это более надежный источник, чем Наука, потому что он никогда не признает ошибок, никогда не меняет свои убеждения, независимо от того, сколько раз будет опровергнут. Они кидаются словом «определенность» как теннисным мячом, используя его с легкостью перышка, пока ученые сгибаются под весом необходимых сомнений, изо всех сил пытаясь получить еще хоть одну крошечную долю вероятности. «Я идеален», - говорят они без всякой задней мысли, - «и, должно быть, нахожусь гораздо выше вас, ведь вам до сих пор приходится прикладывать усилия, чтобы стать лучше».

Не существует простого способа, чтобы все это объяснить - ни одного мгновенного сокрушительного аргумента. Рассуждая аккуратно, можно, вероятно, завоевать аудиторию, если это публичные дебаты. К сожалению, нельзя просто пробормотать: «Глупый смертный, Количественный Путь за гранью твоего понимания, и убеждения, которые ты так легко называешь „определенными“, подкреплены слабее, чем наши самые слабые гипотезы.» Это - разница в восприятии жизни, которую не так легко преодолеть при помощи слов вообще, не говоря уж о том, чтобы сделать это быстро.

Что можно попытаться сделать, в плане риторики, выступая перед публикой? Трудно сказать… возможно:

  • «Сила науки исходит из нашей способности изменять свое мнение и признавать свою неправоту. Если вы никогда не признаете свою неправоту, это не значит, что вы совершаете меньше ошибок.»

  • «Каждый может сказать, что он абсолютно уверен. Намного труднее никогда в жизни не совершить ни одной ошибки. Ученые понимают эту разницу, поэтому и не говорят, что они абсолютно уверены. Вот и все. Это не значит, что у них есть какая-то особая причина сомневаться в той или иной теории - абсолютно каждое новое свидетельство может быть в ее пользу, все планеты и звезды выстроятся в линию, как костяшки домино, в поддержку единственной гипотезы, и ученые все равно не скажут, что они абсолютно уверены, просто потому что они задают более высокие стандарты. Однако это не значит, что ученые имеют меньше права на определенность, чем, скажем, политики, которые кажутся абсолютно уверенными всегда и во всем.»

  • «Ученые не используют фразу „не абсолютно уверен“ в том же смысле, в котором она используется в обычном разговоре. Представим, например, что вы идете ко врачу на анализ крови, после которого врач приходит к вам и говорит: «Мы провели несколько тестов и обнаружили: не абсолютно точно то, что вы не сделаны из сыра, и существует ненулевая вероятность того, что двадцать фей, сделанных из разумного шоколада, прямо сейчас поют песню „I love you“ из шоу „Барни и его друзья“ внутри вашего кишечника.» Бегите, вашему доктору нужен доктор. Когда ученый говорит эту фразу, он имеет ввиду то, что считает вероятность настолько маленькой, что ее невозможно увидеть даже в электронный микроскоп, и ему необходимо получить свидетельство в виде крайне маловероятного события, чтобы опровергнуть свою теорию.»

  • «Согласились бы вы поменять свои убеждения, в которых „абсолютно уверены“, если бы получили достаточно свидетельств? Предположим, например, что сам Бог спустится с небес и скажет вам, что верна вся ваша религия за исключением Непорочного Зачатия. Если это изменит ваше мнение, вы не можете заявлять, что обладаете абсолютной уверенностью в истинности Непорочного Зачатия. В силу технических особенностей теории вероятности существование теоретической возможности того, что вы измените свое мнение по определенному вопросу, не позволяет этому убеждению иметь вероятность, точно равную единице. Неопределенность может быть меньше пылинки, но она все равно будет. А если вы не готовы поменять свое мнение даже под влиянием слов самого Бога - тогда, полагаю, у вас такая проблема с невозможностью признания своих ошибок, что ее вряд ли может решить простой смертный вроде меня.»

Но, вообще говоря, более интересный вопрос в том, как можно убедить кого-либо наедине, а не перед аудиторией. Как начать долгий процесс обучения жизни во вселенной без абсолютной определенности?

Думаю, первоначальным шагом должно стать понимание того, что без абсолютной определенности жить можно - что гипотетическое отсутствие абсолютной уверенности не означает, что принимать решения по моральным и фактическим вопросам нельзя. Перефразируя Лоис Буджолд: «Не давите сильнее, ослабьте сопротивление».

Один из самых распространенных методов защиты Абсолютного Авторитета - это то, что я называю «Аргументом против Аргумента в пользу Софизма Серого», который звучит примерно так:

  • Моральные релятивисты говорят:

    • Мир не делится на черное и белое; следовательно:
    • Все серое; следовательно:
    • Ни один человек не лучше другого; следовательно:
    • Я могу делать все, что захочу, и вы меня не остановите ухахахаха.
  • Но мы должны иметь возможность предотвращать убийства.

  • Следовательно, должен быть какой-то способ иметь абсолютную определенность, иначе моральные релятивисты выиграют.

Перевернутая глупость не есть ум. Нельзя получить верный ответ, просто перевернув каждый аргумент, из которого следует неправильный вывод - это даст глупцам слишком много контроля. И каждой без исключения части рассуждения пришлось бы быть верной с математической точки зрения. Подобно тому, как из убеждения Сталина в том, что 2 + 2 = 4, не следует, что «2 + 2 = 4» - неверно, из убеждения релятивистов в том, что «Мир не делится на черное и белое», не следует, что на самом деле мир делится лишь на черное и белое. Ошибка здесь (и достаточно ее одной) в переходе от двухцветного взгляда на мир к одноцветному, подразумевающему, что все оттенки серого одинаковы.

Принятие предпосылки, согласно которой для вынесения решений по моральным вопросам необходимо иметь абсолютное знание об абсолютном добре и абсолютном зле, сделало бы весь дальнейший спор бессмысленным. Можно иметь неполное знание, относительно плохие и относительно хорошие варианты выбора и при этом все равно иметь возможность выбирать. Вообще говоря, это должно быть чем-то естественным, а не тем, о чем стоит так драматизировать.

То есть, да, если перед вами стоит выбор между двумя альтернативами A и B, и каким-то образом вам удалось прийти к абсолютной, доведенной до 100% уверенности в том, что А является абсолютно правильным и хорошим выбором, а B - суммой всего ужасного и отвратительного, тогда это достаточное условие для того, чтобы выбрать А. Но это не обязательное условие.

А, вот еще что: «Логическая ошибка: Ссылаясь на последствия убеждения».

Итак, что еще нужно знать вашему собеседнику? Например, то, что существует целая культура рационализма, в которой сомнения, вопросы и признание своих ошибок не являются чем-то ужасным и постыдным.

В этой культуре принято собирать информацию посредством изучения явлений, а не чтения проповедей. При изучении явлений более пристальным взглядом иногда можно обнаружить, что они отличаются от того, чем казались на первый взгляд; но это не значит, что Природа лгала или что ее изучение нужно прекратить.

Кроме того, существует понятие откалиброванного свидетельства, заключающееся в том, что «вероятность» не является маленькой шкалой прогресса в голове, которая измеряет эмоциональную привязанность к определенной идее. Скорее, она измеряет то, как часто на практике, в реальной жизни, люди с определенными убеждениями говорят то, что соответствует истине. Если взять сто людей и каждого попросить сказать что-то, в чем он «абсолютно уверен», сколько всего высказываний будут соответствовать истине? Меньше ста.

Если уж на то пошло, утверждения, относительно которых люди имеют фанатичную уверенность, с намного меньшей вероятностью будут истинными, чем утверждения вроде «Солнце больше Луны», которые кажутся слишком очевидными, чтобы испытывать относительно них какие-либо эмоции. Каждому утверждению, в котором кто-то «абсолютно уверен», можно найти кого-то, кто будет «абсолютно уверен» в чем-то прямо противоположном, потому что такие эмоциональные провозглашения своих убеждений не могут существовать без наличия противоборствующих сторон. Поэтому маленькая шкала прогресса в головах людей, измеряющая их эмоциональную привязанность к определенной идее, не слишком хорошо отражает откалиброванную уверенность в ней - они между собой даже не связаны.

А что до «абсолютной уверенности» - ну, утверждая, что вероятность некоего события равна 99,9999%, вы, по сути, заявляете, что сможете сделать один миллион независимых и одинаковых по силе высказываний, одно за другим без перерыва, в течение года или около того, и ошибетесь в среднем лишь один раз. Это довольно невероятно. (Удивительно то, что можно получить примерно такую же степень уверенности для утверждения «Ты-не-выиграешь лотерею».) Поэтому давайте не будем говорить о вероятностях, равных 1.0. Как только вы увидите, что в реальной жизни такие вероятности не нужны, вы поймете, насколько нелепо верить в то, что можно приблизиться к 1.0 с помощью человеческого мозга. Вероятность, равная 1.0 - это не просто определенность; это бесконечная определенность.

На самом деле, мне кажется, что во избежание непонимания публики ученым стоит говорить не «Мы не до конца уверены», а «Мы не БЕСКОНЕЧНО уверены». В первом случае во время обычного разговора может показаться, что существуют определенные причины для сомнений.

Перевод: 
stas
Номер в книге "Рациональность: от ИИ до зомби": 
52
Оцените перевод: 
Средняя оценка: 4.9 (8 votes)

Как убедить меня, что 2 + 2 = 3

Элиезер Юдковский

В «Что такое «свидетельство»?», я писал:

Именно поэтому рационалисты так бережно относятся к, на первый взгляд, парадоксальному утверждению: «убеждение стоит того, чтобы в него верить, лишь в том случае, когда тебя, в принципе, можно убедить в него не верить». Сетчатка, чьё состояние не меняется в зависимости от того, какой в неё входит свет, — сетчатка слепого. Некоторые системы убеждений, довольно очевидно пытаясь защитить себя, утверждают, что ряд убеждений ценен лишь в том случае, когда ты веришь в них безоговорочно: что бы ты ни видел, о чём бы ты ни думал — верь! Мозг должен оставаться в том же состоянии независимо от того, какая информация входит в его недра. Отсюда выражение «слепая вера». Если то, во что ты веришь, не зависит от того, что ты видишь, — ты слеп точно так же, как и человек с пустыми глазницами.
Cihan Baran ответил(English):

Я не могу представить себе ситуацию, в которой 2 + 2 = 4 было бы ложно. Возможно, это означает, что я убеждён в «2 + 2 = 4» безоговорочно.

Признаю, я тоже не могу представить ситуацию, из которой вытекала бы ложность «2 + 2 = 4» (конечно, есть различные переобозначения, но это не «ситуации» и речь тогда идёт уже не о 2, 4, = или +). Но это не делает моё убеждение безоговорочным. Я легко представляю ситуацию, которая убедила бы меня в том, что 2 + 2 = 3.

Скажем, я просыпаюсь ранним утром, вытаскиваю из ушей два кусочка ваты, кладу их на прикроватный столик рядом с двумя другими кусочками ваты — и замечаю, что теперь кусочков ваты три, и при этом никаких кусков ваты не появлялось и не исчезало, несмотря на то, что согласно моей памяти, 2 + 2 должно было равняться 4. К тому же, если представить это действие мысленно, становится очевидно, что для того, чтобы получить XXXX из XX и XX, необходимо взять дополнительный X. Вдобавок, 2 + 2 = 4 противоречит остальной мысленной арифметике, поскольку вычитание XX из XXX даёт XX, но вычитание XX из XXXX даёт XXX. Это снова конфликтует с памятью о том, что 3 – 2 = 1, но странно доверять памяти перед лицом физических и мысленных подтверждений того, что XXX – XX = XX.

Ещё я проверю карманный калькулятор, Гугл, и, возможно, свою копию «1984», где Уинстон пишет, что «Свобода — это возможность сказать, что дважды два — три». Всё это убедительно говорит о том, что весь остальной мир тоже считает, что 2 + 2 = 3, соглашаясь с моими мысленными вычислениями и не соглашаясь с моей памятью.

Как я мог так заблуждаться? Что могло настолько сбить меня с толку? В голову приходят несколько объяснений. Во-первых, какая-нибудь нейрологическая неполадка (наверное, я слишком сильно чихнул) увеличила все суммы в моей памяти на единицу. Во-вторых, гипноз. В-третьих, глюк или намеренное изменение компьютерной симуляции, в которой я нахожусь. В любом случае, скорее что-то неладно с моей памятью, чем 2 + 2 когда-то действительно равнялось 4. И, конечно же, ни одно из этих трёх правдоподобных объяснений не избавит меня от ощущения очень, очень сильного замешательства.

Другими словами, свидетельства, убедившие меня в том, что 2 + 2 = 3, относятся к тому же классу свидетельств, что сегодня убеждают меня в том, что 2 + 2 = 4: перекрёстный огонь физических наблюдений, мысленных представлений и социального согласия.

Когда-то я понятия не имел, что 2 + 2 = 4. Это убеждение возникло не из-за какого-то случайного процесса — тогда мозгу было бы безразлично, что именно запомнить, «2 + 2 = 4» или «2 + 2 = 7». Ответ, хранящийся в моём мозге, поразительно похож на результат размещения двух кусочков ваты рядом с двумя другими кусочками ваты — и это заставляет задуматься, какая именно сцепленность породила это странное соответствие между разумом и реальностью.

Ведь для убеждения-о-фактах существует лишь два варианта: либо он попал в мозг благодаря процессу сцепления разума с реальностью, либо нет. Если нет, то убеждение может быть верным лишь благодаря стечению обстоятельств. Если в убеждении есть хотя бы намёк на внутреннюю сложность (то есть, его симуляция требует компьютерную программу больше 10 битов длиной), то пространство вариантов становится столь большим, что возможность совпадения исчезает.

Безоговорочные факты — не то же самое, что и безоговорочные убеждения. Если сильные свидетельства убеждают меня в том, что факт безоговорочен, то это не означает, что я всегда верил в этот факт, без нужды в сильных свидетельствах.

Я убеждён, что 2 + 2 = 4, но я легко могу придумать ситуацию, которая убедила бы меня в том, что 2 + 2 = 3. А именно: ситуация из того же класса, что и ситуация, сегодня убеждающая меня в том, что 2 + 2 = 4. Потому я не боюсь, что я пал жертвой слепой веры.

Если здесь есть христиане, знающие теорему Байеса (нумерофобы, пожалуйста, покиньте помещение), то я хотел бы спросить вас о ситуации, убедившей бы вас в истинности ислама. Предположительно, это будет примерно той же самой ситуацией, что породила вашу сегодняшнюю веру в христианство: вы вытащены из чрева мусульманки, воспитаны мусульманскими родителями, постоянно говорившими о том, что следует быть мусульманином (причём убеждение в истине ислама должно быть безоговорочным). Или всё не так просто? Если да, то какая ситуация заставит вас принять ислам, или, хотя бы, не-христианство?

Перевод: 
BT
Номер в книге "Рациональность: от ИИ до зомби": 
53
Оцените перевод: 
Средняя оценка: 4.6 (7 votes)

Бесконечная определенность

Элиезер Юдковский

В «Абсолютном авторитете» я говорил о том, что бесконечная определенность нам не требуется:

Если перед вами стоит выбор между двумя альтернативами A и B, и каким-то образом вам удалось прийти к абсолютной, доведенной до 100% уверенности в том, что А является абсолютно правильным и хорошим выбором, а B — суммой всего ужасного и отвратительного, тогда это достаточное условие для того, чтобы выбрать А. Но это не обязательное условие… Можно иметь неполное знание, относительно плохие и относительно хорошие варианты выбора и при этом все равно иметь возможность выбирать. Вообще говоря, это должно быть чем-то естественным.

Говоря 2 + 2 = 4, нужно делать различие между картой и территорией. Учитывая, что, по-видимому, физические законы абсолютно стабильны и универсальны, вполне возможно, что никогда за всю историю существования вселенной ни одна частица не преодолевала скорость света. Поэтому предел, устанавливаемый этой скоростью, вероятно, истинен не в 99% случаев, и не в 99,9999% случаев, и не в (1 − 1/гуголплекс) случаев, а абсолютно всегда.

Но можно ли иметь абсолютную уверенность в величине предела скорости света — это уже совсем другой вопрос. Карта — это не территория.

То, что ученик списал на контрольной, может быть совершенно и полностью истинным, но знаете ли об этом вы — не говоря уж об абсолютной уверенности — это совсем другое дело. Если вы подбросите монетку и закроете ее рукой, может быть совершенно истинным то, что она упала орлом вверх, при этом сами вы можете не иметь абсолютно никакой уверенности в том, упала она орлом или решкой. Степень неуверенности — это не то же самое, что и степень правды или частоты возникновения.

То же касается и математических истин. Спорный вопрос - можно ли считать высказывания «2 + 2 = 4» или «В арифметике Пеано SS0 + SS0 = SSSS0» истинными исключительно в абстрактном смысле, отдельно от физических систем, которые ведут себя похожим на аксиомы Пеано образом. Сказав это, я сразу забегу вперед и предположу, что, в каком бы смысле «2 + 2 = 4» не было истинно, оно истинно всегда и без исключений, а не просто примерно истинно («2 + 2 на самом деле равно 4,0000004») или истинно в 999 999 999 999 из 1 000 000 000 000 случаев.

Я не до конца уверен, что в этом случае должно значить «истинно», но я останусь при своем предположении. Убедительность утверждения «2 + 2 = 4 является истинным всегда» далеко превосходит убедительность любого философского утверждения о том, что значит «истинно», «всегда» или «является» в предложении выше.

Однако это не значит, что я имею абсолютную уверенность в том, что 2 + 2 = 4. Прочитайте предыдущую дискуссию — как убедить меня в том, что 2 + 2 = 3 — это можно сделать с помощью тех же свидетельств, которые изначально убедили меня в том, что 2 + 2 = 4. Мне могли привидеться все предыдущие свидетельства, или я их неправильно вспомнил. В истории неврологии были и более странные нарушения работы мозга.

Поэтому, если мы присваиваем какую-либо вероятность утверждению «2 + 2 = 4», каково должно быть ее значение? Здесь мы пытаемся достигнуть правильной калибровки — то есть утверждения, которым вы присваиваете «вероятность 99%», должны быть истинными в 99 из 100 случаев. Вообще говоря, это намного труднее, чем может казаться. Найдите сто людей и попросите их сделать заявления, в которых они «уверены на 99%». Как вы думаете, будут ли из 1000 сделанных заявлений неверными лишь 10?

Сейчас я не буду обсуждать настоящие эксперименты о калибровке, которые проводились учеными — вы можете найти их в моей работе «Потенциальное влияние когнитивных искажений на оценку глобальных рисков» — потому что, сходу рассказывая слушателям об этих экспериментах без должной у них подготовки, я нередко был свидетелем того, как они затем использовали их в качестве Универсального контраргумента, который почему-то всегда приходит в голову в тех случаях, когда нужно проигнорировать уверенность оппонента по поводу непонравившегося мнения, и никогда — при анализе своего собственного. Поэтому я стараюсь избегать упоминания экспериментов о калибровке за исключением тех случаев, когда я рассказываю о понятиях рациональности по определенному плану, который включает в себя предупреждения против мотивированного скептицизма.

Как бы то ни было, наблюдаемая калибровка у людей такова: вещи, в которых они «уверены на 99%», происходят не в 99% случаев.

Например, вы заявляете, что на 99,99% уверены в истинности выражения 2 + 2 = 4. Значит, вы только что сказали, что смогли бы сделать 10 000 независимых утверждений с одинаковой в них уверенностью и ошибиться в среднем всего один раз. Может быть, для 2 + 2 = 4 такой невероятный уровень уверенности и возможен: «2 + 2 = 4» является крайне простым выражением как в математическом, так и в эмпирическом смысле, и убеждение в его истинности широко распространено в обществе (не с выражением страстной поддержки, а со спокойным принятием как чего-то само собой разумеещегося). Поэтому, возможно, по поводу истинности этого убеждения все же можно иметь уверенность, равную 99,99%.

Однако я не думаю, что можно иметь уверенность в 99,99% для таких утверждений, как «53 является простым числом». Да, оно кажется верным, но если вы сделаете 10 000 независимых утверждений такого рода — именно так: не просто некий набор утверждений о простых числах, а новое утверждение каждый раз — вы ошибетесь больше, чем однажды. Питер де Бланк рассказывал на эту тему очень забавную историю. (Я просил его больше так не делать.)

Тем не менее, карта — это не территория: если я говорю, что на 99% уверен в истинности 2 + 2 = 4, это не значит, что я думаю, будто «2 + 2 = 4» истинно с 99% точностью, или что «2 + 2 = 4» верно в 99% случаев. Утверждение, относительно которого я высказываю свою уверенность — «2 + 2 = 4 является истинным абсолютно всегда и без исключений», а не «2 + 2 = 4 обычно является истинным».

А что до убеждения в том, что можно иметь уверенность в 100% относительно математических утверждений — перестаньте! Если вы высказываете уверенность величиной в 99,9999%, это значит, что вы можете сделать миллион отдельных утверждений, одно за другим и ошибиться в среднем лишь один раз. Это заняло бы у вас примерно год времени, если бы вы произносили одно утверждение каждые 20 секунд по 16 часов в день.

Высказывая уверенность величиной в 99,9999999999%, вам придется сделать это триллион раз. Теперь вам предстоит говорить в течение ста человеческих жизней и ни разу при этом не ошибиться.

Выскажите уверенность величиной в (1 − 1/гуголплекс) и ваше эго далеко превзойдет эго любого пациента психиатрической клиники, верящего, что он является Богом.

А гуголплекс гораздо меньше, чем даже относительно небольшие среди непостижимых по своему размеру чисел вроде 3^^^3. Но даже уверенность величиной в 1 - 1/3^^^3 ненамного ближе к ВЕРОЯТНОСТИ 1, чем, например, к 90%.

Если даже и этого мало, то гипотетические Темные повелители Матрицы, которые прямо сейчас играются с оцениванием вашим мозгом убедительности этого самого утверждения, преградят дорогу и спасут нас от падения в бездну бесконечной определенности.

Абсолютно ли я уверен в этом?

Разумеется, нет.

Как сказал Рафаль Смигродски:

Я предполагаю, что можно присваивать уверенность меньше 1 к математическим понятиям, которые сами необходимы для определения теоремы Байеса, и при этом все равно иметь возможность ее использовать. Я не полностью уверен в том, что я всегда должен быть уверен не до конца. Возможно, я спокойно могу быть уверенным в чем-то. Но как только я присваиваю утверждению вероятность величиной в 1, пути назад нет. Независимо от того, что я увижу или узнаю, мне придется отвергнуть все, что противоречит моей аксиоме. Мне не нравится идея о том, что у меня больше никогда в жизни не будет возможности изменить свое мнение по поводу определенного вопроса.

Перевод: 
stas
Номер в книге "Рациональность: от ИИ до зомби": 
54
Оцените перевод: 
Средняя оценка: 4.8 (4 votes)

0 и 1 не являются вероятностями

Элиезер Юдковский

Один, два и три - это целые числа, как и минус четыре. Если считать в верхнюю или нижнюю сторону, можно встретить еще очень и очень много целых чисел. Как бы то ни было, вы никогда не доберетесь до того, что называется «положительной бесконечностью» или «отрицательной бесконечностью» - поэтому целыми числами они не являются.

Положительная и отрицательная бесконечности - это не целые числа, а, скорее, специальные символы для описания поведения целых чисел. Люди иногда говорят что-то вроде «5 + бесконечность = бесконечность», потому что, если начать отсчет с 5 и подниматься все выше и выше, никогда не останавливаясь, мы будем бесконечно получать все большие и большие числа. Но из этого не следует, что «бесконечность - бесконечность = 5». Не получится начать безостановочный отсчет с 0 вверх, затем безостановочный отсчет вниз, и в итоге прийти к числу 5.

Из этого можно заключить, что бесконечность не только не является целым числом - она не ведет себя как целое число. Если вы по неосторожности попытаетесь смешать бесконечности с целыми числами, вам придется определить особые нестабильные правила поведения, которые не нужны при работе с 1, 2, 3 и всеми остальными целыми числами.

Хотя бесконечность и не является целым числом, не стоит переживать по поводу того, что можно запутаться при работе с числами. Люди видели пять овец, миллионы песчинок и септиллионы атомов, но никто никогда не встречал бесконечность чего бы то ни было. То же самое справедливо и для непрерывных величин - люди измеряли пылинки размером в миллиметры, животных размером в метры, города длиной в километры и галактики размером в тысячи световых лет, но никто и никогда измерял что-то размером в бесконечность. В реальном мире понятие бесконечности особо не требуется.

(Более эрудированным читателям добавлю, что им не нужно детально объяснять мне, скажем, разницу между порядковыми и кардинальными числами. Да, я знаком с различными определениями бесконечности из теории множеств, но я не вижу пользы от их применения в теории вероятности. Подробнее ниже.)

При традиционном способе написания вероятностей их величины находятся между 0 и 1. Монета может выпасть орлом с вероятностью 0.5; синоптик может присвоить вероятность 0.9 тому, что завтра пойдет дождь.

Но это не единственный способ записи вероятностей. Вероятности можно, например, преобразовывать в шансы с помощью формулы O = (P / (1-P)). Так, вероятность 50% превратится в шансы 0.5/0.5, или 1, обычно записываемые как 1:1, в то время как вероятность 0.9 превратится в шансы 0.9/0.1, или 9, обычно записываемые как 9:1. Чтобы сделать обратное преобразование, нужно использовать формулу P = (O / (1+O)), и это превращение полностью обратимо и является изоморфным - вычисление величины вероятности возможно двумя обратимыми способами. Ввиду изоморфности вероятностей и шансов выбирать удобный способ можно на свое усмотрение.

Шансы, например, удобнее использовать при выполнении Байесианских обновлений. Представим, что я бросаю шестигранный кубик: если выпадает любая сторона, кроме 1, существует 10%-ный шанс услышать звонок, а если выпадает сторона 1, шанс услышать звонок становится 20%. Я бросаю кубик и слышу звонок. Каковы шансы на то, что выпала сторона 1? Априорные шансы - 1:5 (что соответствует числу 1/5 = 0.2), а отношение правдоподобия - 0.2:0.1 (что соответствует числу 2), и можно просто перемножить эти два числа и получить апостериорные шансы 2:5 (что соответствует числу 2/5 или 0.4). Затем, если мне нужно, я перевожу все это обратно в вероятности и получаю (0.4/1.4) = 2/7 = ~29%.

Итак, с шансами удобнее работать при Байесианских обновлениях - если использовать вероятности, придется применять теорему Байеса в ее более сложном виде. Но вероятности удобнее для вопросов вроде «Если я брошу шестигранный кубик, каковы шансы увидеть число от 1 до 4?» Можно сложить все вероятности величиной 1/6 для каждой стороны и получить 4/6, но нельзя сложить отношение шансов 0.2 для каждой стороны и получить отношение шансов 0.8.

Зачем я обо всем этом говорю? Чтобы показать, что «отношение шансов» - такой же разрешенный способ перевода неопределенности в реальные числа, как и «вероятности». Отношения шансов более удобны для одних операций, вероятности - для других. Знаменитое доказательство, называемое теоремой Кокса (плюс некоторые ее дополнения и усовершенствования), демонстрирует, что все способы выражения неопределенности, которые имеют разумные ограничения, в итоге оказываются друг другу изоморфны.

Почему важно то, что отношения шансов разрешены так же, как и вероятности? Вероятности в своем обычном виде записываются в виде чисел от 0 до 1, и оба крайних числа - 0 и 1 - кажутся вполне достижимыми величинами: можно легко встретить 1 зебру или 0 единорогов. Но при переводе вероятностей в шансы 0 остается 0, однако 1 превращается в положительную бесконечность. В этом случае абсолютная истина не кажется настолько легкодостижимой.

Форма, в которой Байесианские обновления делать даже удобнее - логарифмы отношения шансов; это тот способ, которым советовал думать о вероятностях Э. Т. Джейнс. Например, априорная вероятность утверждения равна 0.0001 - это соответствует логарифму отношения шансов величиной около -40 децибел. Затем вы видите свидетельство, которое кажется в 100 раз более правдоподобным в случае истинности этого утверждения, чем в случае его ложности. Это 20 децибел свидетельств. Теперь апостериорный логарифм отношения шансов равен примерно -40 дБ + 20 дБ = -20 дБ, что равно апостериорной вероятности около 0.01.

При переводе вероятностей в логарифмы отношения шансов 0 превращается в отрицательную бесконечность, а 1 - в положительную. Теперь и бесконечная определенность, и бесконечная невероятность кажутся еще более недостижимыми.

При использовании вероятностей величины 0.9999 и 0.99999 кажутся отличающимися всего на 0.00009, а 0.502 находится гораздо дальше от 0.503, чем 0.9999 - от 0.99999. Чтобы получить вероятность 1 из вероятности 0.99999, кажется, что надо преодолеть дистанцию всего лишь в 0.00001.

Но если перевести вероятности в отношения шансов, 0.502 и 0.503 становятся 1.008 и 1.012, а 0.9999 и 0.99999 превращаются в 9,999 и 99,999. А если перевести их в логарифмы отношения шансов, 0.502 и 0.503 превращаются в 0.03 и 0.05 децибел, а 0.9999 и 0.99999 становятся 40 и 50 децибелами.

При работе с логарифмами отношения шансов разница между двумя величинами неопределенности равна количеству свидетельств, которые нужны при переходе от одной величины к другой. Таким образом, логарифмы отношения шансов предоставляют удобный способ нахождения величины в пространстве степеней уверенности.

Использование логарифмов отношения шансов позволяет увидеть, что достижение бесконечной определенности требует бесконечно сильного свидетельства, также как и достижение бесконечной абсурдности требует бесконечно сильного контрсвидетельства.

Кроме того, все виды стандартных теорем в теории вероятности оговаривают особые случаи при использовании 1 и 0 - например, что происходит при попытке сделать Байесианское обновление наблюдения, которому была присвоена вероятность 0.

Так что, думаю, вполне разумно говорить о том, что 1 и 0 не входят в пространство величин вероятностей; как и отрицательная и положительная бесконечности, которые не подчиняются основным аксиомам булевой алгебры и не являются обычными числами.

Главная причина, по которой все это может расстроить тех, кто использует обычную теорию вероятности - это то, что придется заново выводить теоремы, полученные на основе предположения, что можно сложить все вероятности и получить 1.

Однако в реальном мире при броске кубика вероятность выпадения любого числа в диапазоне от 1 от 6 не является действительно бесконечной. Кубик может упасть на ребро, или уничтожиться в результате падения метеорита, или Темные Повелители Матрицы вмешаются и напишут «37» на одной из его сторон.

Если вы задали магический символ для «всех неучтенных возможностей», тогда вы можете игнорировать все события, описываемые этим магическим символом, и получить величину в виде магического символа «Т», который означает бесконечную уверенность.

Но я бы предпочел найти способ, в котором теорема работает без использования магических символов с особым поведением. Это было бы гораздо более изящно. Подобно математикам, которые отказываются принимать закон исключенного третьего или бесконечные множества, я бы хотел быть приверженцем теории вероятности, который не верит в абсолютную определенность.

Перевод: 
stas
Номер в книге "Рациональность: от ИИ до зомби": 
55
Оцените перевод: 
Средняя оценка: 4.2 (5 votes)

Твоя рациональность — моё дело

Элиезер Юдковский

Некоторые отзывы на «Лотереи: бессмысленная трата надежды» упрекали меня за резкость в критике чужих решений; если кто-то другой выбирает купить лотерейные билеты, кто я такой, чтобы быть несогласным? Это особый случай более важного вопроса: Какое мне дело, если кто-то скорее предпочтёт верить в то, что приятно, чем в то, что верно? Не может ли каждый сам выбрать: стоит ли заботиться о правде?

Очевидным придирчивым возражением будет: «Почему тебя волнует то, волнует ли меня, чьё-то мнение о правде?» Это отчасти непоследовательно для вашей функции полезности: содержать негативное определение чьей-то функции полезности иметь определение полезности кого-то ещё. Но это лишь придирка, не ответ.

Ну вот мой ответ: я верю, что для меня, как человека, правильно быть заинтересованным в будущем и в том, чем станет человеческая цивилизация в будущем. Один из этих интересов - человеческое стремление к истине, медленно растущее в поколениях (ведь это не всегда было Наукой). Я хочу быстрее повысить это стремление, в этом поколении. Это моё желание ради Будущего. Ради всех нас, игроков на этом безграничном игровом поле, берём мы за него ответственность или нет.

И это делает вашу рациональность моим делом.

Опасная идея? Да, и не просто крайне «опасная». Люди сгорали насмерть из-за того, что какой-то жрец решил, что они думают не тем образом, которым следует думать. Решение сжечь людей, поскольку они «не думают должным образом» — отвратительный образ мысли, не так ли? Вы бы не хотели, чтобы люди думали так, потому это и отвратительно. Люди, которые думают так… ну, мы обязаны что-то с ними сделать…

Я согласен! Вот моё предложение: давайте выступать против плохих идей, но не поджигать их носителей.

Силлогизм, который мы желаем избежать, гласит: «Я думаю, Сьюзи сказала плохую вещь, следовательно, Сьюзи должна быть сожжена». Некоторые попытки избежать этот силлогизм исходят из обозначения неправильной мысль, что Сьюзи сказала плохую вещь. Никто никогда не должен никого судить; любой, кто осуждает, совершает страшный грех, и должен быть выставлен за это к позорному столбу.

С моей стороны, я отрицаю по следующей причине. Мой силлогизм гласит: «Я думаю, Сьюзи сказала что-то неправильное, поэтому я буду выступать против её слов, но я не буду её сжигать или останавливать её речь насилием или законом…»

Все мы игроки на этом безграничном игровом поле, и один из моих интересов на будущее — сделать игру честной. Контринтуитивная идея, лежащая в основе науки, о том, что фактические разногласия должны решаться через эксперименты и математику, а не насилие и запреты. Это важное замечание может быть расширено за пределы науки, к честному бою ради всего будущего. Вам следует побеждать благодаря убеждению людей, и не следует позволять себе сжигать их. Это один из принципов Рациональности, которому я торжественно клянусь в верности.

Люди, которые защищают релятивизм или эгоизм, не представляются мне действительно релятивизмичными или эгоистичными. Если бы они были действительно релятивизмичными, они бы не судили. Если бы они были действительно эгоистичны, они бы занимались заработком денег вместо горячих споров с остальными. Скорее, они выбрали сторону Релятивизма, чья цель на этом безграничном игровом поле — предотвратить игроков — всех игроков — от определённых суждений. Или они выбирают сторону Эгоизма, чья цель — сделать всех игроков эгоистичными. И затем они играют в игру, честно или нечестно, в соответствии со своей мудростью.

Если здесь есть какие настоящие Релятивисты или Эгоисты, мы их не слышим — они остаются безмолвными, не-игроками.

Я не могу помочь, но забочусь о том, как вы думаете, потому что, как бы я ни не мог помочь, я вижу вселенную: каждый миг человек отворачивается от истины, делая историю человечества немного более мрачной. Во многих случаях это лишь небольшая тьма. (Кто-то всё время не прекращает получать боль). Врущие самим себе в уединении своих мыслей не омрачают человеческую историю так сильно, как врущие людям или сжигающие их. Уже здесь есть часть меня, которая не может помочь, но горюет. И всё время пока я не пытаюсь сжечь вас — лишь спорю с вашими идеями — я верю, что это верно для меня как человека, поэтому я забочусь о людях — моих товарищах. Это также позиция, которую я защищаю в отношении Будущего.

Перевод: 
deep_blue_hex
Номер в книге "Рациональность: от ИИ до зомби": 
56
Оцените перевод: 
Средняя оценка: 4.1 (11 votes)

Политика и рациональность

Мэйнстримная политика, как и теледебаты, знаменита своими гневными, непродуктивными дискуссиями. Если задуматься, это кажется странным. Почему мы воспринимаем так близко к сердцу политические разногласия, если эффекты национальной политики так далеки от нас в пространстве и времени? Если уж на то пошло, почему мы не можем быть аккуратней со свидетельствами, когда имеем дело с важными для нас вопросами?

Материалы цепочки распространяются по лицензии CC BY-NC-SA 3.0

Автор: 
Элиезер Юдковский

Политика — убийца разума

Элиезер Юдковский

Когда речь идёт о политике, люди начинают терять голову. Причины этой особенности настолько до банальности очевидны, что можно привести их ещё раз. В среде эволюционной адаптации политическая обстановка была вопросом жизни и смерти (а также секса, богатства, союзников, репутации и многого другого). И сегодня, начиная спор о том, должны ли «мы» поднять минимальную заработную плату, ты применяешь весь богатый набор адаптаций к среде эволюционной адаптации. Ты возвращаешься во времена, когда тебя могли убить за нахождение на неверной стороне баррикады (зато, если ты находился на верной стороне баррикады, то уже ты получал возможность убить немало досаждавшего тебе соперника!).

Если ты хочешь высказать какое-то соображение, касающееся науки или рациональности, то совершенно не стоит хоть каким-нибудь образом задевать современную политику, когда есть возможность этого избежать. Если твоя основная мысль неотделимо связана с политикой — расскажи о Людовике XVI и великой французской революции. Политика — та важная область, в которой следует применять рациональность, но в которой категорически не следует изучать рациональность.

Политика — продолжение войны, война с применением словесного оружия. Аргументы — это солдаты. Ты же знаешь, на чьей ты стороне? Теперь ты должен поддерживать все аргументы своей стороны и атаковать все аргументы, которые каким-либо образом оказывают содействие стороне противника. Исподтишка бить своих солдат решительно недопустимо, и перевязывать раны солдатам врага — тоже.

Учёные, привыкшие в своей профессиональной деятельности непредвзято осматривать вопрос со всех сторон и здраво взвешивать все «за» и «против», превращаются в скандирующих лозунги зомби, как только разговор затрагивает область, занятую Синими или Зелёными; как только в разговоре становится уместным вспомнить об отношении своей группировки к обсуждаемому вопросу.

Традиционный пример задачи на немонотонное мышление из области искусственного интеллекта звучит так: «Все квакеры — пацифисты. Все республиканцы — не пацифисты. Никсон квакер и республиканец. Является ли Никсон пацифистом?»

В чём, хочется мне спросить, заключается смысл выбора именно этой ситуации в качестве примера? Автор хочет растормошить в читателе политические эмоции и отвлечь его от основного вопроса? Автор хочет, чтобы республиканцам было неуютно на курсах изучения искусственного интеллекта, чтобы ни один республиканец не отважился заниматься этой областью информатики? И нет, я не республиканец, как вы могли бы подумать. И не демократ.

Этот пример отвлекает. Почему кто-то, столкнувшись с задачей продемонстрировать пользу немонотонных рассуждений, выбрал именно его? Скорее всего, причина в том, что автор не смог удержаться от соблазна бросить хорошее, добротное язвительное замечание в сторону этих ненавистных Зелёных. Отвешивать оплеухи приятно; разве можно не поддаться желанию откусить кусочек шоколадного печенья?

Но не все приятные вещи полезны. И несчастные читатели явно не видят никакой пользы в необходимости продираться через уйму разъярённых комментариев, спровоцированных брошенной вскользь насмешкой, не несущей никакой смысловой нагрузки.

Я говорю не о том, что этот сайт должен держаться в стороне от политики, или о том, что нам надо перенять у Википедии нейтральную точку зрения. Просто попытайся сопротивляться соблазну сделать добротный ощутимый язвительный комментарий, если этого возможно избежать. Если интересующая тебя тема напрямую касается попыток убрать теорию эволюции из школьной программы — говори, но не обвиняй в этом всю партию республиканцев целиком: твоими читателями могут быть республиканцы, и они могут считать, что причина состоит в действиях нескольких негодяев, а не во взглядах всей партии. Не имеет никакого значения, кто виноват на самом деле, и что ты думаешь по этому поводу. Возможность обсуждать щекотливые вопросы, не скатываясь в цветную политику, очень полезна для духовного развития нашего сообщества.

Перевод: 
BT
Номер в книге "Рациональность: от ИИ до зомби": 
57
Оцените перевод: 
Средняя оценка: 3.9 (Всего оценок: 21)

Не делайте политические споры однобокими

Элиезер Юдковский

Робин Хэнсон недавно предложил разрешить магазины(English), в которых можно было бы продавать запрещенные продукты. Есть ряд отличных аргументов в пользу подобной политики — врожденное право на личную свободу, карьерный стимул для бюрократов запрещать всё и вся, то, что законодатели столь же предвзяты, как и все. Но даже так (ответил я), некая бедная, честная, но не особо образованная мать пятерых детей может пойти в эти магазины и купить «Напиток доктора Снейкойла из серной кислоты» для своих воспаленных суставов и умереть, оставив своих отпрысков рыдать на национальном телевидении.

Я просто сделал простое фактическое наблюдение. Почему ряд людей решили, что это аргумент в пользу регулирования?

Если судить по вопросам, то даже простой факт (например, что жизнь на Земле возникла в результате естественного отбора), согласно естественным ожиданиям, должен быть аргументом для одной из сторон в битве; факты сами по себе не принадлежат к какой-либо стороне, и так называемый «баланс свидетельства» должен отражать это. На самом деле согласно Байесовскому определению доказательств «сильные свидетельства» - это именно те доказательства, которые мы ожидаем найти только у одной стороны аргументации.

Но нет причин, чтобы сложные действия со многими последствиями демонстрировали это однобокое свойство. Почему кажется, будто люди хотят, чтобы их политические дебаты были однобокими?

Политика — это убийца разума. Аргументы там — солдаты. Если вы определились на какой вы стороне, то вы должны поддерживать все аргументы этой стороны и атаковать все аргументы, которые, как представляется, благоприятствуют врагу. Иначе получается, будто вы бьете в спины своих солдат. Если вы находитесь внутри этого шаблона, то политические дебаты будут для вас однобокими — издержки и недостатки вашей любимой политики будут для вас вражескими солдатами, которых следует атаковать всеми возможными методами.

Также следует опасаться другого подобного неудачного шаблона — думать, что Очень Мудрый Путь — это идеально ровный компромисс между любыми двумя политическими позициями, которые получают больше всего эфирного времени. У политики могут быть несбалансированные недостатки и преимущества. Если политические вопросы не склоняются в ту или иную сторону, то мы не будем в состоянии принимать решения о них. Однако существует людская тенденция отрицать все издержки любимой политики или отрицать все преимущества нелюбимой политики; таким образом люди склонны думать, что компромиссы в политике отклоняются гораздо дальше, чем это есть на самом деле.

Если вы разрешите к продаже некоторые из запрещенных товаров, то какая-то бедная, честная, малообразованная мать пятерых детей купит что-либо, что убьет ее. Это предсказание о фактическом следствии, а в качестве фактического вопроса оно выглядит довольно простым - здравомыслящий человек должен с готовностью признаться, что это правда, независимо от того, какую позицию он занимает по вопросам политики. Это признание не мешает вам думать, что запрещение вещей просто делает их более дорогими, что те, кто регулирует запреты, будут злоупотреблять своей властью, или что ее личная свобода перевешивает ваше желание вмешиваться в ее жизнь. Однако факт остаётся фактом: она умрёт.

Мы живем в несправедливой вселенной. Как и все приматы, люди показывают сильную отрицательную реакцию на воспринимаемую несправедливость; из-за этого мы воспринимаем данный факт очень тяжело. Есть два распространенных способа решения возникающего когнитивного диссонанса. Во-первых, можно изменить свое мнение о фактах — отрицать, что несправедливые события вообще могут иметь место, или отредактировать историю так, чтобы она казалась справедливой. Во-вторых, можно скорректировать свою мораль — отрицать что события несправедливы.

Некоторые либертарианцы могут сказать, что если вы идете в магазин «запрещенных товаров», игнорируя предупреждающие таблички, которые говорят, что «ВЕЩИ ИЗ ЭТОГО МАГАЗИНА МОГУТ УБИТЬ ВАС», и покупаете там что-либо, что вас убивает, то это только ваша вина и вы сами этого заслуживаете. Если это морально правильно, то получается, будто нет вообще никакого недостатка в том, чтобы продавать запрещенные продукты. Получается не просто чистый выигрыш, это будет *односторонний компромисс без каких-либо недостатков.

Другие возражают, что регулирующие органы можно обучить выбирать рационально и учитывать интересы потребителя; если бы это соответствовало фактам, то (согласно их принципам) не было бы недостатков в регулировании.

Нравится вам это или нет, но при рождении существует лотерея на интеллект — хотя это один из тех случаев, когда несправедливость Вселенной настолько велика, что большинство людей предпочитает отрицать факты. Экспериментальные доказательства чисто генетического компонента, который составляет 60-80%, являются ошеломляющими, однако даже если это опровергнут, вы не выбираете, какими окажутся ваши родители или начальная школа.

Мое воспитание говорит мне, что отрицание реальности — это морально неправильно. Если бы я мог выдавать желаемое за действительное в отношении того, что напиток из серной кислоты может быть для меня полезен, то получалось бы, что я делаю что-то, против чего меня предупреждали и пошел бы против своего воспитания. Некоторые люди рождаются в определенных условиях — мы не будет говорить о генах, поскольку эта часть слишком уж несправедлива, — где местный знахарь говорит им, что правильно — это верить, а неправильно — проявлять скепсис. Из самых лучших побуждений они следуют этому совету и умирают. В отличии от вас, их не научили, что люди отвечают за личный выбор, когда следуют примеру общества. Вы правда думаете, что настолько умны, что были бы по-научному скептичны, даже если бы родились в шестом веке н.э.? Да, при рождении существует лотерея, независимо от того, во что вы верите касательно генов.

Говорить «Люди, которые покупают опасные продукты, заслуживают того, чтобы пострадать!» — не значит трезво мыслить. Это всего лишь способ отрицать то, что ты живешь в несправедливой вселенной. По-настоящему трезвомыслящий человек скажет: «Да, серная кислота может стать причиной ужасной болезненной смерти, и нет, мать пятерых детей не заслуживает этого, однако мы все же откроем такие магазины, поскольку согласно нашим вычислениям для нас это будет выгодно». Вы можете представить, чтобы политик так сказал? Я тоже не могу. Но поскольку экономисты имеют влияние на политику, это может помочь, если они подумают об этом в частном порядке — возможно, даже скажут это в журнальных статьях, однако преподнося это в запутанной форме со множеством смыслов, чтобы СМИ не имели возможности цитировать их.

Я не думаю, что случай, когда кто-либо делает глупый выбор и умирает, может быть поводом для праздника. Я расцениваю это как трагедию. Людей не всегда можно спасти от последствий их действий; однако я провожу моральную черту при смертной казни. Если вы мертвы, то вы не можете учиться на своих ошибках.

К сожалению, вселенная не согласна со мной. И мы еще посмотрим в будущем, кто останется правым.

Добавлено: две основных причины для политической однобокости это такие когнитивные искажения как аффектированное решение и вера в справедливый мир(just-world fallacy) (English).

Перевод: 
Remlin
Номер в книге "Рациональность: от ИИ до зомби": 
58
Оцените перевод: 
Средняя оценка: 3.5 (19 votes)

Весы правосудия, блокнот рациональности

Элиезер Юдковский

Богиня правосудия повсеместно изображается держащей в одной руке весы. У весов есть свойство — когда одна чашка опускается, вторая поднимается выше. Это очень удобно и легко отслеживаемо. И также обычно является грубым искажением.

В человеческом дискурсе существует естественная тенденция превращать обсуждение в своего рода битву, продолжение войны, спорт; и в спорте вам нужно следить только за тем, сколько очков набрала ваша команда и команда противника. Там есть только две стороны, и каждое очко, проигранное одной стороной, это очко, заработанное другой. Каждый в таком обсуждении мысленно ведет счет, у какого оратора больше очков в споре. В конце дебатов победителем получается тот, у кого очков больше; и таким образом, всё что он сказал, должно быть истинно, а всё, что говорил его противник, соответственно, ложно.

«Аффективная эвристика в оценке рисков и преимуществ» (English) описывает то, как испытуемые в своих оценках смешивают возможные преимущества технологии (например ядерной энергии) и возможные риски данной технологии в единое общее хорошее или плохое ощущение касательно технологии. Предположим, что я сначала рассказываю вам, что определённый вид ядерных реакторов производит меньше отходов, чем все другие. А потом упоминаю, что данный реактор менее стабилен, нежели остальные и угроза расплавления, если одновременно произойдет много сбоев, у него куда выше.

Если реактор имеет большую вероятность сбоя, то это кажется аргументом «против него» или аргументом «против» любого, кто захочет строить такой реактор. А если реактор производит меньше отходов, то это аргумент «за» реактор или «за» его постройку. Так что же, данные факты противостоят друг другу? Ни в коем случае. По крайней мере в реальном мире. Эти два факта могут находиться по разные стороны баррикад в различных дебатах, однако логически они не связаны; факты понятия не имеют на какой они стороне. Количество отходов, производимое реактором, зависит от физических свойств его конструкции. Другие физические свойства делают его более нестабильным. Даже если ряд этих свойств один и тот же, вам следует рассматривать вероятность расплавления и ожидаемый выход отходов отдельно. Это два разных физических вопроса с двумя разными фактическими ответами.

Однако исследования, подобные приведённым выше, показывают, что люди склонны оценивать технологии — и многие другие задачи — по общему плохому или хорошему ощущению. Если вы скажете людям, что конструкция реактора позволяет сократить объём производимых отходов, они также неосознанно снизят вероятность расплавления реактора. Это означает, что будет получен неправильный ответ на физические вопросы, у которых есть вполне определённые ответы, основанные на фактах, поскольку вы смешиваете логически не связанные вопросы — рассматривая факты как солдат разных армий в войне и думая, что любой солдат одной стороны может сражаться с любым солдатом другой стороны.

Весы могут служить Правосудию, если оно исследует сугубо фактический вопрос вины или невиновности. Джон Смит либо убил Джона Доу, либо нет. Однако мы знаем (согласно Э. Т. Джейнсу), что все байесовские свидетельства состоят из потоков вероятности между гипотезами; нет такой вещи как свидетельство, которое «поддерживает» или «возражает» отдельной гипотезе, кроме тех случаев, когда и другие гипотезы становятся хуже или лучше. Так что если Правосудие исследует отдельный, строго фактический вопрос с пространством бинарных ответов, весы будут подходящим инструментом. Однако если требуется рассматривать более сложный случай, то ей потребуется отбросить либо свои весы, либо свой меч.

Не все аргументы можно свести к «за» или «против». Леди Рациональность носит с собой блокнот, куда она пишет все факты, которые не принадлежат ни одной из сторон.

Перевод: 
Remlin
Номер в книге "Рациональность: от ИИ до зомби": 
59
Оцените перевод: 
Средняя оценка: 5 (5 votes)

Фундаментальная ошибка атрибуции

Элиезер Юдковский

«Фундаментальная ошибка атрибуции — склонность делать выводы об уникальных и постоянных чертах человека на основе его поведения, которое может полностью объясняться ситуацией, в которой он находится.» — Gilbert and Malone (English)

Мы склонны слишком поспешно усматривать соотношение между действиями других людей и их личностными чертами. Когда мы видим, как кто-то пинает торговый автомат без видимой причины, мы сразу признаем его «злым человеком». Но когда вы сами пинаете торговый автомат, то это из-за того, что ваш автобус опоздал, электричка ушла чуть раньше, ваш отчет был сдан не вовремя, а теперь еще и дурацкий торговый автомат уже второй день подряд просто жрет ваши деньги на обед. Конечно, думаете вы, в такой ситуации любой может пнуть автомат.

Мы объясняем наши собственные действия окружающей ситуацией, рассматривая свое поведение как совершенно нормальный ответ на сложившиеся условия. Но когда кто-либо еще пинает торговый автомат, мы не можем увидеть, что произошло с этим человеком ранее. Мы видим только удар по автомату без известной нам причины, вследствие чего заключаем, что этот человек злой по своей натуре — поскольку он накинулся на автомат безо всякой причины.

Давайте рассмотрим исходные вероятности. В мире куда больше опоздавших автобусов, нежели мутантов, которые родились с очень высоким уровнем агрессии, и которые из-за этого спонтанно бьют торговые автоматы. На данный момент средний человек, на деле, мутант. Если я правильно помню, то в среднем отдельный человек имеет от 2 до 10 соматически выраженных мутаций. Однако, как бы ни были расположены ДНК, очень маловероятно, что они приведут к повышенной агрессивности. Точно так же, любой аспект чьей-то личности скорее всего не очень далеко от среднего значения. Предположение обратного сдвигает нас в сторону невероятности.

Но даже когда люди точно знают о причинах ситуации, они чаще всего оценивают наблюдаемое поведение неправильно. Когда субъектам говорят, что рассказчику случайным способом определяют, говорить ли ему в защиту абортов или против абортов — люди продолжают думать, что мысленно рассказчик считает именно так, как указано в его речи. (Jones and Harris 1967, «The attribution of attitudes.)

Кажется довольно интуитивным объяснять дождь водными духами; объяснять огонь некоей огненной субстанцией (флогистоном), которая проистекает из горящей материи; объяснять усыпляющий эффект лекарства его «снотворной силой». Но реальность обычно включает в себя более сложные механизмы: циклы испарения и конденсации лежат в основе дождей, окисляющее горение в основе огня, химическое воздействие на нервную систему для снотворных. Однако механизмы звучат куда сложнее, нежели сущности; о них труднее думать, их сложнее понять. И таким образом, когда кто-либо пинает автомат, нам проще всего думать, что он имеет внутреннюю склонность пинать автоматы.

Но только до тех пор, пока мы сами не оказываемся на месте пинающего — в этом случае мы считаем, что ведем себя совершенно нормальной в данной ситуации; конечно же любой бы так делал. На самом деле мы переоцениваем вероятность того, что другие отреагировали бы так же как и мы — это так называемый «эффект ложного консенсуса». Пьющие студенты ощутимо переоценивают долю их товарищей, которые тоже пьют, однако непьющие наоборот — недооценивают количество пьющих. «Фундаментальная ошибка атрибуции» говорит о нашей склонности объяснять поведение других их внутренней диспозицией (их личностными чертами), при этом меняя данную тенденцию на обратную для самих себя (свое поведение мы объясняем внешней диспозицией или обстоятельствами).

Чтобы понять, почему люди действуют так, как они действуют, нам нужно прежде всего осознать, что каждый человек считает свое поведение абсолютно нормальным. Не следует задавать вопрос, какая странная черта характера у них с рождения, из-за какой они могут вести себя так, как это видится. Лучше спросите, в какой ситуации, по мнению этих людей, они находятся. Да, личностные черты бывают самыми разными — но никаких наследственных черт не хватит, чтобы объяснить все возможные виды поведения, которые вы можете наблюдать.

Предположим, что я даю вам две кнопки, красную и зеленую. Красная разрушает мир, зеленая блокирует нажатие красной. Какую вы нажмете? Зеленую. Любой, кто дает отличный ответ скорее всего усложняет вопрос (English).

И до сих пор люди иногда спрашивают меня, почему я хочу спасти мир (English). Словно это последствия психологической травмы в детстве или что-то типа того. На самом деле это кажется достаточно очевидным решением…с моей точки зрения.

У меня могут быть взгляды, которые требуют объяснения — почему я верю в эти вещи, когда большинство людей не верит? — но при данных убеждениях мои реакции не кажутся заслуживающими подробных и необыкновенных объяснений. Возможно, я жертва ложного консенсуса; возможно, я переоцениваю количество людей, которые нажали бы зеленую кнопку, если дать им эту задачу. Но знаете, я все же побился бы об заклад, что таких по меньшей мере немалое количество.

Большинство людей считают себя совершенно нормальными, с их точки зрения. Даже люди, которых вы ненавидите, люди, которые делают ужасные вещи — никто из них не является исключительным мутантом. Жаль, но это вовсе не мутации. Когда вы поймете это, вы будете готовы прекратить быть шокированными человеческими поступками.

Перевод: 
Remlin
Номер в книге "Рациональность: от ИИ до зомби": 
60
Оцените перевод: 
Средняя оценка: 4.4 (7 votes)

Злые ли ваши враги от природы?

Элиезер Юдковский

Как ранее обсуждалось, мы склонны слишком поспешно усматривать связь между действиями других людей и их врожденными установками. Мы скорее предположим, что их необычное для нас поведение объясняется их необычными чертами личности, нежели спросим напрямую или попытаемся представить ситуацию, которая объясняла бы данное поведение. Мы предполагаем, что с человеком что-то не так.

Когда кто-либо задевает нас — совершая действие, которое мы (правильно или неправильно) не одобряем — тогда, согласно моим наблюдениям, данное когнитивное искажение усиливается вдвое. Похоже, что появляется очень сильная склонность обвинять в злых поступках злую личность того, кто их совершает. Однако если попробовать рассматривать вопрос не с точки зрения морали, а как определенный вопрос об исходной вероятности, мы должны спросить, во что мог бы верить Враг касательно ситуации, что могло бы снизить кажущуюся нелепость их поведения. Это позволит нам предположить менее исключительные установки и таким образом уйти немного от невероятных предположений.

11 сентября 2001 года девятнадцать мужчин-мусульман угнали четыре реактивных самолета в откровенно самоубийственной попытке нанести вред США. Как бы вы предположили теперь, почему они могли это сделать? Потому что они видели в США маяк свободы и были рождены с врожденной ненавистью к свободе?

По жизни, большинство людей не ведут свою жизнь так, чтобы видеть себя злодеями. Каждый в своей истории видит себя героем. История Врага, если смотреть его глазами, вряд ли будет рассказывать о том, что он плохой. Если вы пытаетесь придумать мотивацию, которая заставила Врага выглядеть плохо, вы скорее всего будете совершенно неправы касательно того, что на самом деле происходит в его голове.

Однако политика — это убийца разума. Дебаты — война; аргументы — солдаты. Если вы решили, на какой вы стороне, то вы должны поддерживать все аргументы этой стороны и атаковать аргументы, которые говорят в пользу противоположной стороны, иначе получится, что вы предаете своих солдат.

Даже если Враг является злым по своей природе, это должно быть аргументом в пользу вашей стороны. И любой аргумент в пользу вашей стороны следует поддерживать, не имеет значения насколько глупым способом — иначе вы ослабите давление где-то на поле боя. Все стараются превзойти соседа в патриотическом осуждении и никто не осмеливается возразить. Так что вскоре Врагу приписываются рога, крылья, как у летучей мыши, пламя изо рта и клыки с разъедающим плоть ядом. Если же вы отрицаете что-либо из этого списка и пытаетесь вернуться к фактам, то вы встаете на сторону врага; вы предатель. Очень немногие поймут, что вы защищаете не Врага, но истину.

Если бы только злодеи делали ужасные вещи, то история людского вида была бы совсем другой. Ведь злые по своей природе люди крайне редки.

Или, возможно, это страх, что понимание приведет к прощению. Куда легче просто застрелить злодея. Куда легче идти в бой с кличем: «Умрите, порочные мерзавцы!» — нежели с кличем: «Умрите, люди, такие же как и я, но выросшие в других условиях!». Тогда ведь вы будете ощущать вину, убивая людей, которые на самом деле не являются чистым злом.

Для меня это похоже на глубинное стремление к однобоким политическим дебатам, в которых стараются получить наилучшую политику без недостатков. Если армия пересекает границу или если душевнобольной идет на вас с ножом, то альтернативами будет: а) защищаться, б) позволить себя убить. Если вы защищаетесь, то вы можете убить сами. Если вы убиваете кого-либо, кто в альтернативном развитии событий мог бы быть вашим другом, то это трагедия. В самом деле трагедия. С другой стороны, позволить себя убить — это тоже трагедия. Почему должен быть выбор, который не приводит к трагедии? Кто сказал, что у лучшей политики не может быть недостатков? И если кто-то должен умереть, то по возможности это должен быть зачинщик насилия, чтобы предотвратить возможные дальнейшие трагедии и таким образом минимизировать общее число смертей.

Если Враг является средним человеком, который действует согласно своим убеждениям о текущей ситуации, которые призывают его проявить жестокость в качестве стандартной реакции, тогда это не значит, что его убеждения на самом деле точны. Не значит, что он прав. Это значит, что вы будете вынуждены застрелить кого-то, кто является героем в своей истории, и в его романе главный герой умрет на 80 странице. Это трагедия, однако это меньшая трагедия, нежели та, что случилась бы при альтернативном развитии событий. Это выбор, который полицейские делают каждый день, чтобы спасти наши чистые маленькие миры от падения в бездну хаоса.

Когда вы точно оцениваете психологию Врага — когда вы знаете, что происходит в его сознании — это знание не обеспечивает вас оправданием для удара по противнику. Не дает вам ощущения праведного гнева. Не улучшает ваше мнение о себе. И если ваша оценка заставляет вас ощущать невыносимую печаль, то, возможно, сейчас видите мир таким, каков он есть. А в редких случаях вы можете ощутить, как мурашки ужаса бегут по вашей спине, если вы имеете дело с настоящим психопатом или же неврологически здоровыми людьми, убеждения которых практически полностью разрушают их способность здраво мыслить (Сайентологи или «Лагерь Иисуса»).

Так что давайте будем честны и скажем вслух — люди, угнавшие самолёты 11 сентября, не были злодеями по природе. Они не ненавидели свободу. Они тоже были героями в своих собственных историях и они умерли за то, что, как они верили, было правильным — за истину, справедливость и мусульманский путь. Если они видели себя таким образом, то это не значит, что их убеждения были правильны. Если они видели себя таким образом, то это не значит, что мы должны согласиться с тем, что они поступили справедливо. Если они видели себя таким образом, это не значит, что пассажиры 93 самолета должны были остаться внутри и позволить этому произойти. Это значит лишь то, что в альтернативной вселенной, если бы угонщики выросли в другом окружении, они могли бы стать полицейскими, а не преступниками. И это в самом деле трагедия. Добро пожаловать на Землю.

Перевод: 
Remlin
Номер в книге "Рациональность: от ИИ до зомби": 
61
Оцените перевод: 
Средняя оценка: 4.9 (11 votes)

Обратное глупости не есть ум

Элиезер Юдковский

«…После этого наши люди в той временной линии приступили к корректирующим действиям. Смотри…»

Он очистил экран и стал набирать новые комбинации. Страница за страницей начали появляться показания людей, утверждавших, что видели таинственные диски, и каждое из сообщений было фантастичнее предыдущего.

— Стандартный метод запудривания мозгов, — усмехнулся Веркан Вэлл. — Я слышал лишь слухи о «летающих тарелках», да и те преподносились в форме шуток. На таком уровне культуры всегда можно лишить достоверности рассказ о настоящем событии, запустив параллельно с ним десяток небылиц…

Г. Бим Пайпер, «Полицейская операция»

Пайпер был прав. Лично я не верю в плохо прячущихся инопланетян, которые посещают нашу планету. Однако моё неверие никак не связано с ужасающей иррациональностью культов, построенных вокруг веры в летающие тарелки — по крайней мере, я на это надеюсь.

Вы и я верим, что культы вокруг летающих тарелок возникают при абсолютном отсутствии самих летающих тарелок. Культы могут возникать вокруг любой идеи, благодаря человеческой глупости. Эта глупость действует ортогонально наличию пришельцев: мы должны ожидать появления культов, неважно, есть ли летающие тарелки или их нет. Даже если бы на Земле присутствовали плохо прячущиеся инопланетяне, это никак не уменьшило бы вероятность появления культа. p(культы|пришельцы) не меньше p(культы|~пришельцы), если только вы не предполагаете, что плохо прячущиеся пришельцы специально подавляют такие культы. Согласно байесовскому определению свидетельства, наблюдение «существуют культы вокруг летающих тарелок» не является свидетельством против существования летающих тарелок. Не более, чем что-либо еще.

Это приложение общего принципа, который Роберт Пирсиг сформулировал так: «Самый большой дурак может сказать, что Солнце светит, однако это не значит, что это не так».

Если вы знаете кого-то, кто ошибается в 99,99 % случаев, когда отвечает на вопросы вида «да/нет», то вы можете получить такую же точность для верных ответов, просто инвертируя их ответы. Они должны проделывать всю работу по получению хороших свидетельств, сцепленных с реальностью и обработать все свидетельства должным образом, просто для того, чтобы получить такой процент ошибок. То они должны быть сверхумными, чтобы быть настолько глупыми.

Если у машины сломан двигатель, то она не поедет в обратную сторону — даже если поломка крайне серьезная.

Если глупость не антикоррелирует надежно с истиной, то насколько может человеческое зло антикоррелировать с истиной? Обратным искажением для эффекта ореола является эффект рогов: все воспринимаемые негативные сущности взаимосвязаны. Если Сталин — злой, то все, что он говорит — ложь. Вы же не хотите соглашаться со Сталиным, не так ли?

Сталин также верил, что 2+2=4. Если вы защищаете какое-либо утверждение, сделанное Сталиным, даже если это «2+2=4», люди увидят только, что вы «заодно со Сталиным»; получится, что вы на его стороне.

Следствия из этого принципа:

  • Чтобы по-настоящему спорить с идеей, вы должны противостоять лучшим аргументам ее сильнейших защитников. Спор со слабейшими ничего не докажет, поскольку даже самая сильная идея привлекает слабых защитников. Если вы хотите опровергнуть идеи трансгуманизма или интеллектуального взрыва, то вы должны опровергать аргументы Ника Бострома или Элизера Юдковски. Любой другой более удобный путь будет неправильным.

  • Приведение примера людей, которые явно сошли с ума на почве идеи, не является свидетельством против самой идеи. Многие из тех, кто причисляет себя к нью эйдж, сходили с ума на почве своего личного понимания квантовой механики.

  • Кто-то однажды сказал: «Не все консерваторы глупы, однако большинство глупцов — консерваторы». Если вы не можете рассматривать это выражение, вне зависимости от его истинности, иначе как критику консерватизма, то вы еще не готовы рационально рассуждать о политике.

  • Ad hominem аргумент — некорректен.

  • Вам следует быть способным вести спор против геноцида без того, чтобы приводить аргументы вида «Гитлер хотел уничтожить всех евреев». А если бы он не хотел геноцида, то геноцид был бы оправдан?

  • Ваше инстинктивное желание верить во что-либо будет меняться согласно вашему желанию походить на знакомых вам людей, которые в это верят — вне зависимости от того, насколько истинно само убеждение. Некоторые люди могут отказываться верить в то, что бог не существует, не потому что есть свидетельство о его существовании, а просто потому что они не хотят походить на Ричарда Докинза или тех «крикливых» атеистов, которые на всех углах провозглашают «Бог не существует».

  • Если ваш компьютер перестает работать, вы не можете сделать вывод что вся система никуда не годится и что вам нужен компьютер без процессора АМD, ATI видеокарты, Maxtor жесткого диска и кулеров — даже несмотря на то, что все эти компоненты в вашей системе есть и при этом она не работает. Возможно, что вам нужен всего лишь новый провод питания.

  • Если сотни изобретателей не смогли построить летающие машины из металла, дерева и ткани — это не подразумевает, что на самом деле вам нужна машина из костей и плоти. Если тысячи проектов провалились при попытке создать ИИ на основе электрических схем, это не значит, что корень всех проблем в электричестве. Пока вы не поймете проблему, любые манипуляции, сделанные наугад, вряд ли помогут вам найти решение.

Перевод: 
Remlin
Номер в книге "Рациональность: от ИИ до зомби": 
62
Оцените перевод: 
Средняя оценка: 3.8 (17 votes)

Аргумент затмевает авторитет

Элиезер Юдковский

Байесианец с черным поясом steven в своем блоге пытается объяснить асимметрию между хорошими аргументами и весомым авторитетом, однако он не сумел дать ответы на все комментарии к предыдущей статье, так что этим займусь я.

Первая ситуация: Барри — знаменитый геолог. Чарли — четырнадцатилетний подросток, неоднократно попадавший в полицию и подверженный психопатическим приступам. Барри решительно доказывает Артуру определенное контринтуитивное утверждение о скалах и Артур присваивает его утверждению вероятность в 90%, что оно истинно. Тогда Чарли также приводит равное контринтуитивное утверждение о скалах, и Артур присваивает его утверждению только 10% вероятности, что оно истинно. Очевидно, что Артур принимает во внимание авторитет источника, когда решает, чьим утверждениям верить.

Вторая ситуация: Дэвид делает контринтуитивное утверждение касательно физики и дает Артуру подробное объяснение аргументов, включая отсылки. Эрни делает аналогичное контринтуитивное утверждение, однако аргументирует крайне слабо, кое-где предлагая просто поверить ему. Как Дэвид, так и Эрни утверждают, что это наилучшее объяснение, которое они могут дать (любому человеку, не только Артуру). Артур присваивает 90% вероятности быть истинным утверждению Дэвида, и только 10% утверждению Эрни.

Может показаться, что оба сценария в принципе похожи: в обоих во внимание берутся полезные свидетельства: сильный авторитет против слабого, сильный аргумент против слабого.

Однако теперь предположим, что Артур просит Барри и Чарли привести полное объяснение с отсылками; и оба они делают одинаково хорошие объяснения, которые, как видит Артур, совпадают. Тогда Артур просит Дэвида и Эрни показать свои документы и оказывается, что они примерно одинаковы тоже — возможно они оба клоуны, а может оба — физики, не имеет значения.

Предполагая, что Артур компетентен достаточно, чтобы разобраться во всех приведенных аргументах — иначе они не более чем шум — кажется, что Артур должен рассматривать Дэвида как обладающего значительным преимуществом над Эрни, в то время как Барри если и превосходит Чарли, то совсем немного.

В самом деле, если технические аргументы достаточно хороши, то у Барри нет никакого преимущества перед Чарли. Хороший технический аргумент это то, что может уменьшить степень доверия к личному авторитету говорящего.

Точно так же, если мы верим Эрни, что он выдал нам лучший аргумент из тех, что мог, включая все логические шаги, которые он выполнил и все источники, на которые опирался — и которые цитировал — тогда мы можем игнорировать любую информацию о документах Эрни. Не имеет значения, клоун он или физик. (Опять же предполагается, что мы достаточно эрудированы, чтобы понять его аргументы. В любом другом случае Эрни просто произносит какие-то загадочные слова и то, поверим ли мы им, зависит в большей степени как раз-таки от его авторитета.)

Таким образом кажется, что между аргументами и авторитетом есть своеобразная асимметрия. Если мы знаем об авторитете, то мы все еще хотели бы услышать и аргументы; однако когда мы услышали аргументы, вряд ли нам нужно будет знать авторитетность источника.

Очевидно (скажет неопытный человек) авторитет и аргумент являются фундаментально различными видами свидетельства, различие которых непостижимо при помощи до скуки ясных методов байесовской теории вероятности. Поскольку при одинаковой силе свидетельства, 90% против 10%, ситуации ведут себя по-разному. Как же нам поступить?

Здесь примерно половина технической демонстрации того, как представить эту разницу в теории вероятности. (Остальное вы можете принять на веру, положившись на мой авторитет, или посмотреть в отсылках.)

Если $p(H|E_1) = 90\%$ и $p(H|E_2) = 9\%$, какова вероятность $p(H|E_1,E_2)$? Если признание Е₁ истиной дает нам возможность присвоить Н вероятность в 90%, и признание Е₂ истиной дает возможность присвоить Н вероятность в 9%, какую вероятность мы должны присвоить Н, если верны и Е₁ и Е₂? Это просто не что-либо, что вы можете вычислить в теории вероятности из имеющейся информации. Нет, отсутствующая информация это не априорные сведения об Н. Е₁ и Е₂ могут быть не независимыми друг от друга.

Предположим, что Н это «моя дорожка скользкая», Е₁ это «разбрызгиватель работает» и Е₂ это «сейчас ночь». Дорожка становится скользкой, если разбрызгиватель работает не меньше минуты и остается такой до тех пор, пока он не выключится. Так что если мы знаем, что разбрызгиватель включен, то с 90% вероятностью дорожка скользкая. Разбрызгиватель включен 10% ночного времени, так что если сейчас ночь, то вероятность того, что дорожка скользкая — 9%. Если же мы знаем, что сейчас ночь и разбрызгиватель включен — то есть если нам известны оба факта — вероятность того, что дорожка скользкая, равна 90%.

Мы можем представить это графически следующим образом:

Ночь → Разбрызгиватель → Скользкая дорожка

Ночь может приводить к включению разбрызгивателя, а включение разбрызгивателя может приводить к скользкой дорожке.

Тут важны направления стрелок. Если я напишу:

Ночь → Разбрызгиватель ← Скользкая дорожка

Это означало бы, что если я не знаю ничего о разбрызгивателе, то вероятности того, что была ночь и что дорожка скользкая будут независимы друг от друга. Для примера предположим, что я бросаю одну кость и вторую кость, а потом складываю выпавшие числа в сумму:

Кость 1 → Сумма ← Кость 2.

Если вы не скажете мне сумму, а сообщите только число с первой кости — я не смогу узнать ничего о том, что выпало на второй кости. Однако если вы сообщите мне число на первой кости и общую сумму, то узнать число на второй кости не составит труда.

Определение того, являются ли разные куски информации зависимыми или независимыми друг от друга при заданной начальной информации, на самом деле является достаточно технической темой. Почитать об этом можно в книге Джуды Перла «Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference and Causality». (Если у вас есть время на книги, то рекомендую вам прочесть эту.)

Если вы знаете, как читать причинные графы, тогда вы взглянете на граф про кости и сразу же увидите:

$p(кость\space 1,кость 2) = p(кость\space 1)*p(кость\space 2)$

$p(кость\space 1,кость 2|сумма) ≠ p(кость\space 1|сумма)*p(кость\space 2|сумма)$

Если вы смотрите на верную диаграмму про дорожку, вы видите следующие факты:

$p(скользкая\space дорожка|ночь) ≠ p(скользкая\space дорожка)$

$p(скользкая\space дорожка|разбрызгиватель) ≠ p(скользкая\space дорожка)$

$p(скользкая\space дорожка|ночь, разбрызгиватель) = p(скользкая\space дорожка|разбрызгиватель)$

То есть, вероятность того, что дорожка скользкая, учитывая знание о разбрызгивателе и ночи, равно вероятности, которую мы присваиваем скользкой дорожке, если знаем только о разбрызгивателе. Знание о разбрызгивателе делает знание о ночи неактуальным касательно дорожки.

Это известно как «затмение», и критерий, который позволяет нам распознавать такие условные независимости в причинно-следственных графах, называется Д-разбиение.

Для случая с аргументом и авторитетом, причинно-следственная диаграмма будет выглядеть так:

Истина → Качество аргумента → Убеждение эксперта.

Если что-либо истинно, то неизбежно есть аргументы в его пользу, вследствие чего эксперты видят эти свидетельства и меняют свое мнение (в теории!)

Если мы видим, что эксперт верит во что-либо, мы предполагаем существование некоего абстрактного свидетельства (пусть даже мы не знаем какого именно), и из существования данного свидетельства мы выводим истинность позиции эксперта.

Однако если мы знаем значение узла «Качество аргумента», это Д-отделяет узел «Истина» от узла «Убеждение эксперта», блокируя все пути между ними, в соответствии с определенным техническим критерием для «блокирования путей», который кажется очевидным для такого случая. Даже без проверки точного распределения вероятностей, мы можем из графа понять следующее:

$p(истина|аргумент,эксперт) = p(истина|аргумент)$

Это не опровержение стандартной теории вероятности. Это просто более компактный путь выражения определенных вероятностных фактов. Вы можете выразить все это и через другие равенства и неравенства в любом подходящем распределении вероятностей — однако вам будет труднее визуально увидеть это. Авторитет и аргумент не являются двумя разными видами вероятности, как и разбрызгиватель не сделан из онтологически разного с солнечным светом вещества.

На практике вы никогда не можете полностью убрать влияние авторитета. Хороший авторитет более вероятно свидетельствует о версии, которую стоит принять во внимание; менее авторитетный источник может оказаться истинным с меньшей вероятностью, что и делает его аргументы менее надежными. Это не тот фактор, что вы можете убрать полностью путем выслушивания свидетельства, которое они учитывают.

Также очень трудно свести аргументы к чистой математике; и в ином случае, судя силу каждого шага можно полагаться на интуиции, которые вы не смогли бы повторить без тех же тридцати лет опыта.

Всегда есть неуничтожимая закономерность, что вы присвоите утверждению Э. Т. Джейнса о вероятности большую степень достоверности, нежели та, что будет вами присвоена аналогичному утверждению Элизера Юдковского. Нельзя считать, что пятьдесят дополнительных лет опыта не будут влиять.

Но на авторитет стоит полагаться только при прочих равных условиях, и он не выдерживает никакой конкуренции с сильными аргументами. Я нашел небольшую ошибку в одной из книг Джейнса — потому что алгебра важнее авторитета.

Перевод: 
Remlin
Номер в книге "Рациональность: от ИИ до зомби": 
63
Оцените перевод: 
Средняя оценка: 4.8 (4 votes)

Ухватить задачу

Элиезер Юдковский

В искусстве рациональности есть дисциплина близости-к-задаче — попытки найти такое свидетельство, которое относилось бы только к самому вопросу настолько близко, насколько возможно, отметая как можно больше других аргументов.

Братья Райт говорят, «Наш самолет полетит». Если вы посмотрите, насколько они авторитетны (механики, чинящие велосипеды и изучавшие физику самостоятельно) и сравните их авторитет скажем с лордом Кельвином, вы обнаружите, что лорд Кельвин явно более авторитетен.

Если же вы будете вынуждены просмотреть вычисления братьев Райт и сможете в них разобраться, после чего проделаете аналогичную процедуру для вычислений лорда Кельвина (у которого вряд ли были какие-то вычисления, а не простое неверие), то значение авторитета будет сильно снижено.

Если же вы видите на самом деле летящий самолет, то вам не нужно заглядывать в вычисления, а авторитет Кельвина можно даже не обсуждать.

Чем плотнее ваши аргументы связаны с вопросом без промежуточных умозаключений — тем ближе наблюдаемые узлы к узлу задачи в Великой Паутине Причин и Следствий — тем сильнее свидетельство. Теорема о причинно-следственных графах говорит что вы никогда не сможете получить больше информации из дальних узлов, чем из расположенных совсем рядом, которые и затмевают дальние.

Джерри Кливер сказал: «Это не неудача в применении какой-то высокоуровневой, замысловатой, сложной техники. Это упущение самых основ. Вроде как не следить за шариком при игре в наперстки».

Подобно тому, как физика может превосходить авторитетность, она также может превосходить и рациональность. Кто был более рационален, братья Райт или лорд Кельвин? Если мы можем проверить их вычисления, то нам не нужно выяснять этот вопрос. Добродетель рационалиста не может заставить самолет полететь.

Если вы забыли об этом принципе, то изучение когнитивных искажений только повредит вам, поскольку вы будете отвлекаться от наиболее прямых аргументов. Довольно легко утверждать, что кто-либо проявляет искажение номер 182 из вашего списка универсальных обвинений, однако вы не сможете решить реальную задачу без наиболее близкого свидетельства. Если есть причины вследствие когнитивных искажений говорить, что светит солнце, это не значит, что от этого внезапно наступит ночь.

Как вы не можете всегда проводить эксперимент, так и не всегда вы можете проверить вычисления. Иногда у вас нет достаточно исходной информации, иногда не хватает частной информации, иногда просто нет времени. Есть ряд ситуаций, в которых стоило бы оценить рациональность источника. Вы всегда должны делать это с ощущением пустоты в сердце, ощущением чего-то пропущенного

Всегда, когда вы только можете, танцуйте как можно ближе к исходному вопросу — заставьте себя это делать — приближайтесь максимально к тому, чтобы ухватить задачу!

Перевод: 
Remlin
Номер в книге "Рациональность: от ИИ до зомби": 
64
Оцените перевод: 
Средняя оценка: 4.7 (6 votes)

Рациональность и английский язык

Элиезер Юдковский

Моё прошлое эссе напомнило одному из читателей «Политику и английский язык» Джорджа Оруэлла. Я был польщён — особенно потому, что тема этого эссе уже пришла мне в голову.

Если вам вправду интересен взгляд творца на рациональность, читайте Оруэлла. Рационалистам следует его читать не меньше, чем писателям. Оруэлл не ученый, но сочинитель; его орудие не числа, но слова; его противник не Природа, но зло в людях. Чтобы отправить человека за решётку, не говорите «Я собираюсь заключить мистера Дженнингса в тюрьму на семь лет без суда». Подпустите тумана, не дайте слушателям вообразить происходящее. Скажите: «Ненадёжный элемент подвергнут альтернативному судебному процессу».

Голос Оруэлла — вопль против тоталитаризма и неясного мышления, за которым зло любит себя прятать. Его труды о языке — такая же классика для рационалиста, как и книги Фейнмана, Сагана или Докинза.

«Писателям советуют избегать использования пассивного залога». Знание науки не укажет на проблему в этой фразе, но если вы хотя бы немного писали, то сразу поймёте, что не так. Я составил предложение в пассивном залоге и не уточнил, кто именно даёт писателям такой совет. Пассивный залог убирает тех, кто действует; остаются лишь те, на кого подействовали. «Ненадёжный элемент подвергнут альтернативному судебному процессу», — кем подвергнут? В чём заключается «альтернативный судебный процесс»? Убрав действие из предложения, можно спрятать, что происходит на самом деле.

Статьи в научных журналах часто пишутся в пассивном залоге. (Простите, некоторые учёные пишут их в пассивном залоге. Не то чтобы статьи самозарождались и некого было обвинить.) Куда весомее сказать «Испытуемым был назначен Progenitorivox», чем «Я раздал студентам по упаковке препарата и сказал пить по таблетке каждый вечер». Если убрать учёного из описания, полезные данные останутся. Но на самом деле учёный там был, испытуемые — живые студенты, препарат не «был назначен», а студенты глотали таблетки по инструкции. Пассивный залог сужает правду.

Судя по комментариям к моим эссе, многие поспорят с тем, что пассивный залог в научной статье чем-то плох. Ведь если подумать, то понятно, что учёный там был. Это не кажется логической ошибкой. Вот поэтому рационалистам нужно читать Оруэлла, а не только Фейнмана или даже Джейнса.

Научная литература даёт знания, художественная — опыт. Медицина предскажет, что будет с человеком без скафандра в вакууме. А художественная литература заставит вас это пережить.

Некоторые рационалисты попытаются разобрать неясную фразу и увидеть, нет ли там ещё одного смысла, попробуют воссоздать логичную трактовку. Они прочтут фразу доброжелательно, предполагая о мыслях автора лучшее. Но писатели стараются не полагаться на такое отношение. То, как вас поймут, и есть то, что вы сказали, и неважно, о чём вы думали. Нельзя спорить с читателем, сколь умны бы ни были ваши обоснования.

Писатель знает: читатель не остановится подумать. Художественный опыт — непрерывный поток впечатлений. Писатель-рационалист следит, какой опыт создают слова. Если вы, вникая в смысл фразы, неторопливо обдумываете слова, препарируете формулировки, перебираете возможные значения и выискиваете зёрна истины, — то вы покидаете пределы первого впечатления — того, что видят и чувствуют другие читатели.

Прозаик заметит, что фраза «Испытуемым был назначен препарат» вопиюще неправильна. Что переживёт читатель? Только отстранённое ощущение властности, только чувство, что тебе сказали что-то веское. Прозаик увидит, что слова слишком расплывчаты и скрывают настоящую историю: строгого профессора, который с упаковкой таблеток в руках объясняет взволнованной студентке, что делать.

Я не говорю, что научные статьи нужно писать как романы. Но рационалисты должны лучше осознавать, как слова рождают опыт. Рационалистам нужно понимать разум и как с ним взаимодействовать — начиная с того, как их собственное сознание воплощается в языке. Рационалист должен ясно видеть настоящее, практическое действие фраз, а не только значение, которое складывается из буквального смысла слов.

Более прямо: то, что вы имели в виду, не оправдывает того, как вас поняли!

Неважно, какую рациональную трактовку вы соорудите для фразы, призванной сорвать овации, вроде «ИИ должен быть разработан только в рамках демократических процессов». Трактовка не искупит её иррационального влияния — демонстративного запроса на одобрение, не говоря о том, насколько эта фраза размыта.

Оруэлл предостерегал, как действуют речевые штампы, как меняют они опыт мышления1:

Когда видишь на трибуне усталого болтуна, механически повторяющего привычные фразы: звериный оскал, железная пята, кровавая тирания, свободные народы мира, встать плечом к плечу, — возникает странное ощущение, что смотришь не на живого человека, а на манекен… Оратор, пользующийся такой фразеологией, уже сильно продвинулся по пути от человека к машине. Из гортани его выходят надлежащие звуки, но мозг в этом не участвует, как должен был бы, если бы человек сам выбирал слова.

Но самое главное — пусть смысл выбирает слова, а не наоборот. Самое худшее, что можно сделать со словами в прозе, — это сдаться на их милость. Когда вы думаете о конкретном предмете, вы думаете без слов, а затем, если хотите описать то, что представили себе, вы начинаете поиски и находите нужные точные слова. Когда вы думаете о чем-то отвлеченном, вы склонны первым делом хвататься за слово, и, если не удерживаться от этого, сложившийся диалект ринется к вам на помощь, сделает за вас вашу работу — правда, затемнив или даже изменив исходный смысл. Может быть, лучше всего не прибегать к словам, покуда вы не проясните для себя смысл через образы и ощущения.

Пирс мог бы написать последний абзац. Многие искусства ведут к одному Пути.

Перевод: 
Remlin, Quilfe
Номер в книге "Рациональность: от ИИ до зомби": 
65
Оцените перевод: 
Средняя оценка: 5 (4 votes)

Зло в людях и неясное мышление

Элиезер Юдковский

Джордж Оруэлл видел как цивилизованный мир скатывается в тоталитаризм, как одна за другой страны поддаются ему; человек поддавался тоталитаризму навсегда. Вы родились слишком поздно, чтобы помнить время, когда угроза тоталитаризма казалась неостановимой, когда одна страна за другой вводила секретную полицию и громовой стук по ночам, в то время как профессора свободных университетов прославляли чистку Советского Союза как прогресс. Это столь же чуждо вам, как фантастика; трудно относиться к этому серьезно. Потому что в ваше время берлинская стена уже пала. И если имя Оруэлла не выгравировано на одном из ее камней, то это стоит сделать.

Оруэлл видел судьбу человеческого вида и приложил исключительные усилия, чтобы столкнуть человечество с этого пути. Его оружием было ясное слово. Оруэлл знал, что запутанный язык означает затуманенное сознание; он знал, что человеческое зло и затуманенное сознание переплетены как сопряженные нити ДНК:

«В наше время политические речи и тексты по большей части представляют собой защиту того, что нельзя защищать. Вещи наподобие британского правления в Индии, русских чисток и ссылок, сбрасывания атомных бомб на Японию на самом деле можно обосновать, однако только такими аргументами, которые будут слишком жестоки для большинства людей и совершенно расходятся с декларируемыми целями политических партий. Таким образом, политический язык должен по большей части состоять из эвфемизмов, неясных ответов и разного рода неопределенностей. Беззащитные деревни подвергаются бомбардировке, жителей выгоняют из городов, скот расстреливают из пулеметов, поджигают дома при помощи зажигательных снарядов: и все это называют миротворческой операцией…»

Оруэлл четко обозначил цель своей ясности:

«Если вы упрощаете свой язык, вы освобождаетесь от худших глупостей ортодоксальности. Вы не можете больше прятаться за разными диалектами, и когда вы делаете глупое замечание, его глупость будет очевидна даже для вас.»

Сделать нашу глупость очевидной даже для нас самих — то, что является сердцевиной Overcoming Bias.

Зло крадется и прячется в неосвещаемых тенях сознания. Когда мы оглядываемся и с ясностью смотрим на историю, мы плачем, вспоминая запланированный Сталиным и Мао голод, который погубил десятки миллионов. Мы зовем это злом, потому что это было вызвано человеческим стремлением причинить боль и смерть невинным жизням. Мы зовем это злом из-за отвращения, которое испытываем, глядя на историю с ясностью. Для виновников зла, чтобы им избежать их естественной оппозиции, требуется, чтобы это отвращение было незаметно. Они стремятся любой ценой убрать ясность. И уже сейчас люди, стремящиеся к ясности, склонны противостоять злу всюду, где встречают его; поскольку человеческое зло, где бы оно не существовало, проистекает из затуманенного сознания.

1984 показывает это крупным планом: Оруэлловские злодеи это исказители истории и ретушеры (списанные с искажения истории, практиковавшегося в Советском Союзе). В сердце всей тьмы, в Министерстве Любви, О’Брайен заставляет Уинстона признать, что два плюс два равно пяти:

«— Вы помните, — снова заговорил он, — как написали в дневнике: «Свобода — это возможность сказать, что дважды два — четыре»?

— Да.

О’Брайен поднял левую руку, тыльной стороной к Уинстону, спрятав большой палец и растопырив четыре.

— Сколько я показываю пальцев, Уинстон?

— Четыре.

— А если партия говорит, что их не четыре, а пять, — тогда сколько?

— Четыре.

На последнем слоге он охнул от боли. Стрелка на шкале подскочила к пятидесяти пяти. Все тело Уинстона покрылось потом. Воздух врывался в его легкие и выходил обратно с тяжелыми стонами — Уинстон стиснул зубы и все равно не мог их сдержать. О’Брайен наблюдал за ним, показывая четыре пальца. Он отвел рычаг. На этот раз боль лишь слегка утихла.»

Я постоянно ужасаюсь вроде бы умным людям — таким как коллега Робина Тайлер Коувен — которые не думают, что бороться с искажениями важно. Это же ваше мышление, говорим мы. Ваш интеллект. Он отделяет вас от обезьяны. Он создал весь наш мир. Вы не думаете, что то, как работает наше мышление — важно? Вы не думаете, что систематические сбои в нашем разуме важны? Вы думаете, что инквизиция пытала бы ведьм, если бы все люди были идеальными байесианцами?

Тайлер Коувен похоже считает, что преодоление искажений также можно считать искажением: «Я рассматриваю блог Робина как пример искажения, которое показывает что искажение может быть весьма полезно.» Я надеюсь, что это только результат слишком абстрактного мышления в попытках звучать умнее. Неужели Тайлер серьезно думает, что сфера нечувствительности к человеческой жизни стоит на одном уровне с попытками спасти как можно больше человеческих жизней?

Оруэлл был вынужден бороться с похожим отношением — что признавать различия это всего лишь юношеская наивность:

«Стюарт Чейз и другие пришли к выводу, что все абстрактные слова бессмысленны, после чего использовали это как предлог для пропаганды своего рода политической пассивности. Если вы не знаете что такое фашизм, то как вы можете с ним бороться?»

Возможно исправление искажений не выглядит особо интересным, если рассматривать его как борьбу против редких случайных ошибок. Возможно труднее заинтересоваться этим, если нет четко видимого врага, которому нужно противостоять. Так что дайте нам прояснить, что всюду, где в мире есть человеческое зло, всюду где есть несправедливость и жестокость и целенаправленное убийство — всегда есть искажения, которые окружают эти явления. Там, где люди с ясностью противостоят искажениям, скрытое зло отступает. У истины есть враги. Если бы Overcoming Bias выпускало бы бюллетень в Советском Союзе, то каждый автор и каждый комментатор были бы отправлены в лагеря.

Во всей человеческой истории каждый великий шаг вперед был сделан под влиянием новой ясности мысли. За исключением нескольких природных катастроф, каждое великое горе произошло под влиянием глупости. Наш последний враг — мы сами; это война и мы солдаты на ней.

Перевод: 
Remlin
Номер в книге "Рациональность: от ИИ до зомби": 
66
Оцените перевод: 
Средняя оценка: 3.9 (13 votes)

Против рационализации

Рационализация — склонность человека подгонять рассуждения под уже выбранный ответ. В этой цепочке автор рассматривает сущность и виды рационализации.

Цепочка — часть серии «Как успешно менять своё мнение» — второго тома книги «Рациональность: от ИИ до зомби».

Распространяется по лицензии CC BY-NC-SA 3.0.

Автор: 
Элиезер Юдковский

Знание искажений может вредить

Элиезер Юдковский

Как-то раз я пытался рассказать маме о проблеме калибровки экспертов. Я сказал: «Когда эксперт говорит, что уверен в событии на 99%, оно случается только в 70% случаев». Повисла тишина, я вдруг осознал, что говорю с мамой, и поспешно добавил: «Конечно, ты должна быть осторожна с этим знанием и применять его к себе, а не пользоваться им против тех, с кем не согласна».

Она ответила: «Серьёзно? Это восхитительно! Я буду ссылаться на это постоянно!»

Работа Тейбера и Лоджа «Мотивированный скептицизм в оценке политических убеждений» (англ. Motivated skepticism in the evaluation of political beliefs) описывает шесть явлений:

  • Эффект предшествующего отношения. Испытуемые, у которых уже есть ясная позиция, находят доводы в пользу своей точки зрения охотнее, чем в пользу обратной. Это происходит, даже если их поощряют быть беспристрастными.

  • Систематическая ошибка опровержения. Люди тратят больше времени и сил, чтобы найти слабые места в аргументах против своей позиции, нежели в поддерживающих её.

  • Систематическая ошибка подтверждения. Работая с источниками, испытуемые ищут те, которые подтверждают их позицию, а не опровергают.

  • Поляризация мнений. Когда группе испытуемых предлагают уравновешенный список доводов за и против, их изначальные разногласия только усиливаются.

  • Эффект силы мнения. Чем радикальнее мнения людей, тем более они подвержены названным выше искажениям.

  • Эффект сноровки. Испытуемые, искушённые в политике, легче оспаривают неприятные наблюдения и доводы. Поэтому они сильнее подвержены искажениям.

Если вы мыслите иррационально, то новые знания могут вам навредить. Для истинных байесианцев информация никогда не наделена отрицательной ожидаемой полезностью. Но люди — не совершенные байесовские мыслители. Мы можем сделать себе хуже, если неосторожны.

Я видел тех, кого подвело знание искажений. Оно было оружием, что разносило вдребезги любой довод, который приходился этим людям не по душе. Умение делать это — среди главных причин того, что люди с высоким интеллектом ведут себя глупо. (Станович называет это явление дисрациональностью.)

Вы могли бы вспомнить таких людей, правда? Обладателей высокого интеллекта, которые не очень-то преуспевают в делах, но чертовски хороши в спорах? Поможете ли вы им, если просто расскажете об искажениях? Сделаете ли их успешными рационалистами?

Один мой знакомый узнал о проблеме калибровки и сверхуверенности. После этого он стал говорить: «Исследования показывают, что эксперты часто ошибаются, так что им верить нельзя. Поэтому, когда я делаю прогнозы, я стараюсь опираться на то, что история будет идти как шла». Сказав это, он погружался в запутанную и сомнительную экстраполяцию. В чужих доводах искажения и лжеаргументы бросаются в глаза сильнее, чем в своих.

Я рассказал ему об ошибке опровержения и эффекте сноровки. И когда в очередном разговоре я произнёс что-то, что ему не понравилось, он обвинил меня в софистике. Он не указывал мне на конкретные ошибки, не искал в моих словах слабых мест. Он просто вздохнул и сказал, что я обратил свой разум против себя. Теперь он овладел ещё одним Универсальным контраргументом.

Представьте, что встречаете человека, который кажется умным, но говорит то, что вам не нравится. Если образ искушённого спорщика сразу приходит вам на ум, это плохой знак.

Я пытаюсь учиться на ошибках. Свой последний рассказ об искажениях я начал с того, что описал ошибку конъюнкции и эвристику доступности, обрисовав этими примерами понятие искажения. Затем я перешёл к ошибке подтверждения, ошибке опровержения, эффекту сноровки, мотивированному скептицизму и другим явлениям, которые проявляются в формировании взглядов. Следующие полчаса я усердно и въедливо говорил об этих опасностях и рассматривал их со всех точек зрения, с каких только мог.

Чтобы слушатели заинтересовались, хватило бы и просто описать пару ошибок. Но что дальше? Книги об искажениях — в основном когнитивная психология ради неё самой. Мне нужно было предупредить о худшем за одну лекцию — иначе моим слушателям, быть может, никто бы этого не рассказал.

В тексте или устно, я теперь стараюсь не упоминать о калибровке и сверхуверенности, пока не расскажу об ошибке опровержения, мотивированном скептицизме, «умных спорщиках» и дисрациональности. Прежде всего — не навреди!

Перевод: 
Remlin, Тимофей Зуев, Quilfe
Номер в книге "Рациональность: от ИИ до зомби": 
67
Оцените перевод: 
Средняя оценка: 4.7 (6 votes)

Обновляй себя шаг за шагом

Элиезер Юдковский

Политика — убийца разума. Спор — это война, аргументы — солдаты. У вас появляется искушение толковать любой возможный исход эксперимента в пользу своей теории, словно вы защищаете крепость от атак со всех сторон. Но так нельзя. Это математически невозможно. Для любого свидетельства в пользу гипотезы, которое вы ожидаете увидеть, есть равное и противоположно направленное ожидание свидетельства против.

Но если вы защитили своё любимое убеждение не до конца, всё в порядке. Если гипотеза состоит в том, что монета выпадает орлом в 95% случаев, то один раз из двадцати вы увидите контрсвидетельство. Всё хорошо. Это нормально. Этого даже стоит ожидать, пока на каждое свидетельство против теории приходится 19 наблюдений в её пользу. Вероятностная модель выдержит пару ударов и выстоит, если удары не будут продолжаться.

Однако многим — особенно в тех вопросах, где они не являются специалистами, — кажется, что истинные теории не имеют права на ошибку, а ложные ошибаются всегда.

Некоторые люди хватаются за одно наблюдение, которое считают свидетельством в пользу теории, как за исчерпывающее её доказательство. По их словам, теория его «объясняет», как будто больше ничего и не нужно. Как будто не бывает свидетельств в поддержку ложной теории, ни единого наблюдения. Тогда для доказательства хватало бы любого и единственного факта в пользу теории.

Немногим умнее «опровергать» вероятностную теорию одним наблюдением, словно ничто никогда не указывает против верной теории. Но именно так люди спорят уже который век, пытаясь развеять все вражеские доводы и отрицая, что у врага есть хоть что-то в свою поддержку. Люди спорят однобоко. В их картине мира не найдётся ни грамма фактов против их теорий. Даже одно вероятностное контрсвидетельство разрушит всё.

Кто-то сейчас возмутится: «Нельзя оставлять врагу ни пяди, если хочешь выиграть настоящий спор! Если смириться хотя бы с одним возражением, враг снова и снова будет им размахивать — такого нельзя допустить! Ты проиграешь! Что может быть хуже?»

Неважно. Рациональность — не для победы в спорах, а для выбора верной стороны. Когда вы уже решили, за кого играть, рациональность уже сделала своё дело, хорошо ли или плохо. Но как выбрать сторону? Если неверный выбор пугает вас, пусть даже немного, то стоит учесть все свидетельства.

Рациональность — танец, а не прогулка. Каждое движение в нём должно быть точным, ни дюймом левее или правее. С каждой крупицей наблюдений в вашу пользу — сдвигайте уверенность вверх. С каждой крупицей против — вниз. Да, вниз. Даже если теория верна, вы должны иногда понижать свою степень убеждённости — если только это не точная теория.

Если ваше убеждение получает пару ударов — всё в порядке. С вероятностными теориями такое бывает. (А вот если ошибается точная теория, у неё проблемы!) Просто слегка сдвиньте уверенность — вероятность, шансы или ощущение убеждённости в голове — немного вниз. И ждите дальнейших свидетельств. Если теория верна, то наблюдения скоро это покажут и снова сдвинут вероятность вверх. Если теория ошибочна, то она вам не нужна.

Чёрно-белое, бинарное, качественное мышление порождает проблему: любое наблюдение либо разрушает теорию, либо нет. Когда против теории всё-таки появляются незначительные свидетельства, возникает внутреннее противоречие. Чтобы его разрешить, мы отбрасываем эти свидетельства. При этом мы перестаём плавно обновлять убеждения и учитывать всё, что знаем. Если же мы рассуждаем на языке вероятностей, то видим, что в пользу верной теории в среднем указывает бо́льший вес наблюдений, нежели против неё. И можно без страха сказать себе: «Это свидетельство немного не укладывается в мои взгляды, я сдвину свою убеждённость вниз». Да, вниз, но не разрушая свою теорию. Рассуждайте количественно.

Для любого свидетельства в пользу гипотезы, которое вы ожидаете увидеть, есть равное и противоположно направленное ожидание свидетельства против. Уверенность всегда может сдвинуться вниз — ожидайте это в той же степени, в какой ожидаете её сдвига вверх. Если, как вам кажется, вы уже знаете, что за свидетельство получите, то вы уже должны довольно сильно верить в свою теорию — назначать ей вероятность, близкую к единице. Тогда этой вероятности почти некуда расти. И каким бы маловероятным вам не казалось увидеть свидетельство против, итоговый сдвиг вниз, который оно должно произвести, будет большим: нужно точно уравновесить возможный сдвиг вверх. Математическое ожидание апостериорной вероятности равняется априорной.

Глупо бояться сдвигать вероятность вниз, если правильный ответ вообще вас интересует. Каждое будущее наблюдение в одинаковой степени может сдвинуть убеждённость в обе стороны.

Быть может, опровергающие свидетельства будут приходить снова и снова, а поддерживающие — лишь изредка. Ваша уверенность будет неуклонно ползти вниз — пока, наконец, вы не поймёте, куда несёт вас ветер наблюдений. В эту минуту не ищите оправданий — ваша любимая теория уже рухнула. Отпразднуйте это! Откройте шампанское или закажите пиццу. Нельзя стать сильнее, пока вы держитесь за те же убеждения, в которые верили и раньше.

Перевод: 
Remlin, Quilfe
Номер в книге "Рациональность: от ИИ до зомби": 
68
Оцените перевод: 
Средняя оценка: 4.9 (7 votes)

Один довод против армии

Элиезер Юдковский

В прошлом эссе я писал о таком стиле рассуждений, когда мы не допускаем никаких доводов против теории и ищем повод отбросить любое наблюдение, которое теория не объясняет. Сейчас я предлагаю посмотреть, как люди, столкнувшись с возражением, отказываются сдвигать вниз свою уверенность, раз за разом повторяя уже известные аргументы.

Предположим, страна Фридония, на которую недавно обрушился метеоритный дождь, обсуждает, ответственна ли за это соседняя страна Сильвания. Известно, что метеориты падали на города рядом с сильванийской границей, биржевая торговля в Сильвании перед ударом неожиданно подскочила, а после удара сильванийский посол Трентино бросил какую-то фразу о «небесной каре».

Кто-нибудь говорит вам:

— Я не думаю, что Сильвания виновна в метеоритных ударах. Они ежегодно торгуют с нами на миллиарды динаров.

— Пусть так, — отвечаете вы, — но удары прошли рядом с их границей, их рынки оживились, да и их посол говорил о «небесной каре».

Поскольку три ваших довода перевешивают возражение оппонента, вы продолжаете — качественно — считать, что Сильвания виновата. Ведь ясно, что вес свидетельств против Сильвании больше.

Потом к вам приходит кто-то ещё и говорит:

— Не думаю, что виновата Сильвания. Направить поток астероидов слишком сложно, а у Сильвании даже нет космической программы.

— Но метеориты ударили в города рядом с их границей, их экономисты знали о предстоящем ударе, к тому же посол Сильвании сам признал, что это они! — возражаете вы.

Снова три довода перевешивают один (ведь единица меньше тройки), так что вы продолжаете считать, что Сильвания ответственна.

На деле ваши убеждения даже крепнут. Вы уже дважды взвешивали доводы обеих сторон и каждый раз выигрывали у Сильвании со счётом 3:1.

Изменники, продавшиеся Сильвании, приводят новые и новые доводы, сотни раз — но три ваших аргумента всякий раз сильнее, чем каждое новое возражение. И вы вновь и вновь только укрепляетесь в мысли, что Сильвания и вправду нанесла этот удар. Вы ощущаете, что свидетельства указывают на вину Сильвании, и сдвигаете свою уверенность вверх.

Конечно, проблема в том, что вы многократно учитываете свои знания, когда повторяете старые доводы заново. Даже считать много раз все свидетельства — смертный грех: вообразите учёного, который провёл эксперимент с 50 людьми, не получил статистически значимых результатов и поэтому решил учесть все данные по два раза.

Но повторять дважды лишь избранные свидетельства — вообще чистейший фарс. В детстве я смотрел мультфильм, где злодей делил добычу так: «одно тебе, одно мне; одно тебе, два мне; одно тебе, три мне».

Как я писал в прошлом эссе, даже если текущая гипотеза верна, рационалист иногда понижает уверенность в ней, чтобы учесть все свидетельства. Да, взвешенный итог может всё ещё быть в пользу вашего убеждения. Но вам по прежнему нужно сдвинуть вероятность вниз — да, вниз — от значения, которое она принимала перед тем, как вы услышали возражение. Неправильно повторять поддерживающие доводы: вы уже учли их раньше.

Но пока я вижу, что люди, встречаясь с новыми возражениями, ищут повод не снижать свою уверенность. Конечно, они находят его в аргументах, которые уже знают. Мне приходится сохранять постоянную бдительность, чтобы не делать так самому, — ведь это столь же естественно, как закрываться щитом от удара меча.

Преуспев в неверном мышлении, можно несколькими доводами — или даже одним! — защищаться от целой армии возражений.

Перевод: 
Remlin, Quilfe
Номер в книге "Рациональность: от ИИ до зомби": 
69
Оцените перевод: 
Средняя оценка: 4.5 (4 votes)

Нижняя строчка

Элиезер Юдковский

На торги выставлены два запечатанных ящика: А и Б. В каком-то из них лежит алмаз. Многие косвенные признаки подсказывают, в каком из ящиков он, но нет ни одного гарантированного способа это узнать. Например, на одном из ящиков стоит синяя печать, что — насколько вам известно — чаще встречается на ящиках с алмазами, чем на пустых. Или один из ящиков блестит, и вам кажется, что ящикам с алмазом это несвойственно.

Представим, что некий искушённый аргументатор с листком бумаги в руках говорит владельцам обоих ящиков: «Кто-нибудь из вас, наймите меня, и я докажу, что алмаз у вас в ящике, — сможете продать его подороже». Владельцы ящиков называют цены, владелец ящика Б предлагает больше и нанимает аргументатора.

Аргументатор начинает рассуждать. Сначала на нижней строчке листа он пишет: «Таким образом, алмаз в ящике Б». Потом заполняет листок сверху: «На ящике Б синяя печать», ниже «ящик А блестит», потом «ящик Б легче, чем ящик А», и ещё много различных признаков. Когда какое-нибудь наблюдение указывает, что алмаз скорее в ящике А, аргументатор его отбрасывает. Закончив, он приходит к вам и читает свои записи: «На ящике Б синяя печать, ящик А блестит…» — и завершает всё фразой «Таким образом, алмаз в ящике Б».

Но давайте отметим, что когда аргументатор пишет своё заключение, нанося чернила на бумагу, сцепленность этих чернил с ящиками закрепляется и больше не меняется.

Представьте множество параллельных миров — ветвей Эверетта или дублей Тегмарка — в каждом из которых стоят два этих ящика. В каком-то проценте миров алмаз лежит в ящике Б, а в остальных — в ящике А. Среди миров, в которых ящик А блестит, своя доля тех, где алмаз в ящике Б. А среди миров, где ящик А блестит и на ящике Б стоит синяя печать, какая-то другая доля миров с алмазом в ящике Б.

Чернила образуют узор в виде фразы «Таким образом, алмаз в ящике Б». Если вы умеете читать, то вам по ошибке может показаться, что эта надпись как-то связана с тем, где лежит алмаз. Похожим образом люди, которых просят назвать цвет картинки и показывают им красное слово «зелёный», часто говорят «зелёный», а не «красный». Будь вы неграмотны, чернильный узор не обманул бы вас.

Вещи важны для нас тем, как они сцеплены с другими. Посмотрим снова на набор параллельных миров. В минуту, когда в каждом из миров аргументатор записывает вывод на нижнюю строчку, — представим, что это происходит одновременно, — корреляция между записями и ящиками закрепляется. Чернила нестираемы и записи останутся такими же. Ящики тоже не изменятся. Среди миров, где записано «Таким образом, алмаз в ящике Б», есть некоторый процент тех, где алмаз в ящике А. Он не изменится, когда аргументатор заполнит строки выше.

Сцепленность чернил с ящиками фиксирована, а какова её природа — предлагаю подумать вам. Может, владельцы ящиков, которые считают, что реклама представит их товар в хорошем свете, закажут её с бо́льшей охотой. Может, больше заплатят те, кто боится проиграть аукцион. Если хозяева ящиков сами не понимают, что́ говорят внешние признаки, то записи никак не будут отражать то, что внутри, — но расскажут что-то о состоятельности владельцев и их привычках обращаться с деньгами.

Теперь вообразим, что некая любопытная исследовательница сначала выписывает на лист бумаги все признаки обоих ящиков, анализирует их, применяя законы теории вероятности и свои знания, а потом записывает на нижней строчке: «Итак, по моей оценке вероятность того, что в ящике Б алмаз, — 85%». Эта запись — свидетельство чего? Чернила на бумаге появились как результат изучения цепи причин и следствий. Цепочка причинности проходит через все внешние признаки ящиков и зависит от них. В мирах с разными признаками на нижней строчке записана разная вероятность.

Так что записи любопытной исследовательницы сцеплены с наблюдениями о ящиках и через это — с тем, внутри какого из них алмаз. Записи же аргументатора говорят лишь о том, кто назвал бо́льшую цену. Разница между тем, что говорят эти записи, огромна, хотя сами фразы звучат похоже.

Насколько вы хороши как рационалист? Это решает тот способ, который определяет нижнюю строчку ваших умозаключений. Представьте, что нажимаете на педаль тормоза своей машины и слышите странный металлический скрежет. Заменять тормоз вам не хочется. Конечно, можно поискать причины, почему чинить машину не нужно. Но лишь правило, которое решает, какой именно вывод вы рассматриваете, определяет процент возможных миров, в которых вы не разобьётесь, — величину, что отражает ваш успех. Если вы ищете причины не чинить тормоз, то настоящее правило — «не делать дорогого ремонта». Если это хорошее правило, всё в порядке; если плохое — увы. Доводы, которые вы подберёте задним числом и запишете над заключением, уже ничего не изменят.

Дополнение: это эссе — предостережение для вас в ваших собственных выводах, а не универсальное возражение против заключений, которые вам не нравятся. Можно ведь говорить «моя оппонентка — искушённый аргументатор», чтобы сохранять те убеждения, в которые вы верили и раньше. Самый искусный софист мира скажет, что светит солнце, но вокруг останется светло. В следующем эссе рассмотрим этот вопрос чуть подробнее.

Перевод: 
Remlin, Quilfe
Номер в книге "Рациональность: от ИИ до зомби": 
70
Оцените перевод: 
Средняя оценка: 4 (15 votes)

О чём свидетельствуют отсеянные свидетельства?

Элиезер Юдковский

В прошлом эссе я обсуждал проблему хитрого аргументатора, которого наняли, чтобы продать вам ящик, где может быть алмаз, а может и не быть. Аргументатор подчёркивает, что на ящике стоит синяя печать, которая на ящиках с алмазами встречается чаще, нежели на пустых. Что это значит с байесовской точки зрения? Должны ли вы послушно обновить свои вероятности — так, как желает аргументатор?

Вы сами видите все признаки, если ящик перед вами. Но что если нет? Представьте, что знаете о ящике лишь то, что рассказал аргументатор. Он говорит только правду, но не обязан сообщать всё, что знает. Каждое его утверждение — полноценное свидетельство; как можно не обновить свои вероятности? Неужели теперь среди возможных миров, где на ящике Б синяя печать, не выше доля тех, в которых лежит алмаз? Согласно Джейнсу, байесианцы всегда должны исходить из всех известных свидетельств, когда рассчитывают вероятности, — иначе могут возникать противоречия. Но выходит, что при достаточно разнообразных наблюдениях аргументатор может убедить вас в чём угодно, подобрав свидетельства на свой вкус. Тут что-то не так.

Взглянем на пример попроще. Перед нами неровная монетка, которая выпадает в двух третях бросков орлом, а в одной трети решкой — или наоборот. Изначально гипозеты о том, в какую сторону у монетки смещение, одинаково правдоподобны. Каждый выпавший орёл — один бит свидетельств смещения в сторону орла; каждая решка — один бит свидетельств смещения в сторону решки. Я подбрасываю монетку десять раз и говорю: «На четвёртом, шестом и девятом броске выпал орёл». Как вы теперь оцените вероятность, что смещение — в сторону орла?

Ответ может быть почти любым в зависимости от того, что заставило меня сказать эти слова, — от того, как я решил, о каких бросках сообщать.

  • Возможно, я всегда говорю результаты 4-го, 6-го и 9-го бросков, что бы ни выпало на них и на других бросках. Если вы знаете, что я следую такому правилу, то апостериорные шансы — 8:1 в пользу смещения в сторону орла.
  • Я могу сообщать только о тех бросках, где выпал орёл. Тогда вы знаете, что на остальных семи бросках выпали решки и апостериорные шансы — 1:16 против смещения в сторону орла.
  • Я могу заранее решить, что назову результаты 4-го, 6-го и 9-го бросков, только если моя апостериорная вероятность смещения в сторону орла окажется больше 98%.
  • Ну и так далее.

Или посмотрим на задачу Монти-Холла:

В этой игре перед вами три двери. За одной из них лежит 100 000 долларов, а за другими ничего. Ведущая просит выбрать дверь, и вы выбираете первую. Тогда ведущая открывает вторую — за ней пусто. Хотите ли вы открыть третью дверь или же всё ещё первую?

Ответ зависит от стратегии ведущей. Если она открывает дверь всегда и только ту, за которой ничего нет, то переключайтесь. Если ведущая всегда открывает вторую дверь, что бы ни было за ней, то деньги с равной вероятностью могут лежать за первой или третьей. Если ведущая вообще открывает дверь лишь тогда, когда вы сразу указали туда, где лежат деньги, то вам определённо стоит держаться изначального выбора.

Важно не только то, что за второй дверью пусто, но и то, что ведущая открыла именно её. Классическая задача Монти-Холла сбивает многих с толку, поскольку они учитывают лишь то, что за второй дверью денег нет — в итоге выходят равные вероятности, что деньги за первой и за третьей дверью. Вот почему байесианцам нужно учитывать все свои знания.

Услышав «четвёртый бросок — орёл», мы не обрабатываем то, что на четвёртом броске выпал орёл, не берём все возможные миры с орлом на четвёртом броске. Вместо этого мы рассматриваем миры, где какое-то правило породило слова «четвёртый бросок — орёл». Факт, который мы узнали, не сводится к тому, что сказано. Не позволяйте смыслу самих слов вас запутать.

Чаще всего судебное разбирательство — борьба двух противоположных сторон, ведь легче найти двух людей с искажениями, нежели одного беспристрастного. Идея тут в том, что любое свидетельство выгодно либо обвинению, либо защите, так что суд увидит все наблюдения. Два аргументатора в проблеме с ящиками хуже, чем одна любопытная исследовательница, но ненамного — если ящика всего два. Однако в жизни перед нами встают проблемы, где сторон много, и запутанные ситуации без очевидного ответа, которые не решить двум противоположным сторонам, которые ругаются друг с другом.

Осторожно, не злоупотребляйте идеей отсеивания свидетельств, не применяйте её как универсальное возражение против доводов, которые вам не нравятся: «Они отфильтрованы, так что я отброшу их». Если неприятный аргумент застиг вас врасплох, то вы уже немного вникли в вопрос и ответ вас волнует — настолько, что вы уже выбрали сторону. Тогда вы, скорее всего, уже знаете главные доводы в свою пользу. Из неприятного аргумента нельзя заключить, что есть какие-то ещё свидетельства в поддержку вашей стороны, которых вы не видели и которые уравновесили бы этот довод. Всё, что вы узнали нового, — лишь неудобные наблюдения; синяя печать на ящике Б — всё ещё свидетельство.

Но будьте не менее осторожны, когда задумываетесь о вопросе впервые и слышите только одну сторону. В некотором смысле нельзя верить теории естественного отбора, не послушав креационистов хотя бы пять минут, — и вот уже тогда можно смотреть, какая из теорий убедительнее.

Перевод: 
Remlin, Quilfe
Номер в книге "Рациональность: от ИИ до зомби": 
71
Оцените перевод: 
Средняя оценка: 5 (5 votes)

Рационализация

Элиезер Юдковский

В «Нижней строчке» я описал проблему двух ящиков: в одном из них алмаз, и различные внешние признаки подсказывают, в каком. Я описал подходы любопытной исследовательницы и хитрого аргументатора. Исследовательница выписывает все признаки, обрабатывает их и, наконец, пишет в заключении: «Итак, по моей оценке вероятность того, что в ящике Б алмаз, — 85%». Аргументатор работает на того, кто платит больше; он сначала пишет «Таким образом, алмаз в ящике Б», а потом выбирает подходящие признаки и записывает выше.

Первый образ действий — рациональность. Второй обычно называют «рационализацией».

«Рационализация». Интересный выбор слова — и, по мне, неудачный. Нельзя «рационализировать» что-то нерациональное. Всё равно что говорить «правдофикация» вместо «ложь».

На алгоритмическом уровне есть большая разница между следующими подходами:

  • Начать со свидетельств, подсчитать на их основе вероятность и получить наиболее правдоподобный вывод. То есть выписать все признаки и от них перейти к ответу, что будет зависеть от этих признаков.
  • Начать с заключения и подобрать те свидетельства, которые это заключение поддерживают. То есть записать ответ на нижнюю строчку, а потом выбрать подходящие признаки и поставить выше.

Кто додумался назвать столь разные мыслительные процессы такими похожими словами, как «рациональность» и «рационализация»? Я бы хотел, чтобы названия отражали разницу в этих алгоритмах яснее. Скажем, «рациональность» и «огромная отстойная чёрная дыра мышления».

Не каждое изменение — улучшение, но каждое улучшение — изменение. Нельзя сделать конкретное утверждение более истинным, просто приводя доводы в его пользу. Можно убедить в нём больше людей, но нельзя изменить, верно ли оно. Чтобы улучшать свои убеждения, мы должны их менять. Рациональность — это то, как мы обновляем свои взгляды и этим повышаем степень их истинности. Рационализация же закрепляет убеждения в том же виде. Стоило бы назвать её «антирациональностью» — как по её плодам, так и из-за того, что она зеркально противоположна рациональности по алгоритму.

«Рациональность» — прямой поток, который собирает свидетельства, оценивает их и делает заключение. Алгоритм исследовательницы направлен вперёд. Сначала она собирает свидетельства, выписывая все видимые признаки ящиков. Затем она их обрабатывает и получает неизвестную раньше вероятность того, что в ящике Б алмаз. Рациональные рассуждения всё время идут вперёд, исследовательница ещё не знает, что получит, поэтому мы говорим, что она любопытна. На Пути Байеса априорная вероятность равна ожидаемой апостериорной: если вы знаете место назначения, вы уже там.

«Рационализация» — обратный поток: от заключения к избирательно взятым свидетельствам. Сначала вы пишете нижнюю строчку, которая известна и не поменяется. Ваша цель — найти, какие доводы написать выше. Неизвестны они, а не заключение.

Боюсь, традиционная рациональность плохо учит разнице между потоками вперёд и назад. Учёный выдвигает гипотезу на свой вкус и ищет эксперимент, который подтвердил бы её, — и традиционная рациональность его не осуждает. Она смотрит на него с одобрением и говорит: «Твоя уверенность в себе — тот механизм, что движет Науку вперед». Ну да, выходит, что движет. Легче найти обвинителя и защитника с искажениями, нежели одного непредвзятого человека.

Но не всё, что происходит, — правильно. Лучше, если учёный, придумав гипотезу, проверит её из любопытства — будет ставить опыты, которые изменят его убеждения в неизвестную сторону.

Если вы искренне не знаете, куда идёте, то вам интересно. Любопытство — первая добродетель: без неё вопросы бесцельны, а мастерство некуда приложить.

Ощутите, куда течёт Сила, и убедитесь, что не задом наперёд.

Перевод: 
Remlin, Quilfe
Номер в книге "Рациональность: от ИИ до зомби": 
72
Оцените перевод: 
Средняя оценка: 3.9 (15 votes)

Рациональное обоснование

Элиезер Юдковский

Представьте, что зарабатываете на жизнь избирательными кампаниями и с недавних пор читаете блог о рациональности. Однажды вас нанимает Мортимер К. Снодграсс, кандидат в мэры Гедлиберга. Один вопрос не даёт вам покоя: «Как безукоризненно и рационально обосновать, что Снодграсс — лучший кандидат?»

Извините, но никак.

— Что? — удивляетесь вы. — Но ведь я построю своё выступление только из полноценных аргументов! Что если каждый факт, который я приведу, будет столь правдив, сколь мне вообще известно? Что если я назову лишь весомые свидетельства для теоремы Байеса?

Всё ещё не получится, извините. В ту минуту, когда вы ставите заключение впереди рассуждений, вы забиваете гол в свои ворота.

В этом году «Гедлибергские известия» проанкетировали кандидатов, задав им вопросы вроде «Дуете ли вы?»1 и «Умеешь ли картинки на лету цветами ветра рисовать?»2 Увы, метеорит разрушил здание редакции, и номер не вышел в печать. Жаль, ведь ваш кандидат, Мортимер Снодграсс, ответил на 15 из 16 вопросов куда лучше соперников. Заминка возникла лишь в 11-м вопросе: «Вы суперзлодей?»

Вам очень хочется опубликовать анкету в ходе кампании. Без 11-го вопроса, конечно.

В эту минуту вы переходите грань меж рациональностью и рационализацией. Избиратели теперь не могут просто сравнить факты. Им нужно учесть, что свидетельства отсеиваются, и догадаться, что некоторые факты скрыты.

Вообще говоря, вы переходите грань ещё раньше — когда размышляете, в каком свете анкета рисует вашего кандидата, чтобы решить, публиковать ли ее.

— Что?! — возмущены вы. — Мне теперь публиковать факты, неудобные кандидату?

Но взгляните глазами избирателей, которые решают, кому отдать голос. Зачем бы вам прятать ценные сведения? Вы бы не стали так делать, питая искреннее любопытство. Вы бы не стали так делать, двигаясь в рассуждениях вперёд, от свидетельств к пока неизвестному выбору кандидата. Но вы идёте назад: от определённого кандидата к поиску доводов.

Рассуждение, где вывод следует из предыдущих посылок, называется «логически верным». Следующее рассуждение логически неверно:

  • все прямоугольники — четырёхугольники,
  • все квадраты — четырёхугольники,
  • следовательно, все квадраты — прямоугольники.

Посылки истинны и даже заключение истинно, но силлогизм всё еще не становится логически верным. Стоит разделять верные и неверные способы вывода и не оправдывать неверные, даже когда их заключения справедливы. Пусть разные способы и дали один ответ сейчас — в свете будущих свидетельств ответы будут отличаться. Да и небрежность входит в привычку.

Более того, неверный силлогизм не поможет найти настоящее объяснение. Может, все квадраты — прямоугольники, но не потому, что те и другие — четырёхугольники. Этот силлогизм лицемерен: настоящие причины в нём не связаны с названными.

Чтобы на самом деле честно и обоснованно представить своего кандидата, придётся делать так:

  • до того, как кто-нибудь вас наймёт, соберите все доступные свидетельства обо всех кандидатах;
  • составьте критерии, по которым сами выбирали бы, кто лучше;
  • прогоните кандидатов по списку критериев;
  • определите, кто лучше всех;
  • предложите провести ей или ему кампанию.
  • Когда вас спросят, почему стоит голосовать за этого кандидата, предъявите свой список.

Только такая цепочка рассуждений рациональна: нижняя строчка вытекает из всего, что записано выше. Над нижней строчкой будет честным записать лишь то, что на самом деле её определяет.

  • 1. Отсылка к вопросу, который избиратель задал Бараку Обаме. — Прим. перев.
  • 2. Строчка песни «Цвета ветра» из мультфильма «Покахонтас». — Прим. перев.
Перевод: 
Remlin, Quilfe
Номер в книге "Рациональность: от ИИ до зомби": 
73
Оцените перевод: 
Средняя оценка: 5 (3 votes)

Избегая по-настоящему слабых мест убеждения

Элиезер Юдковский

Несколько лет назад в свои 90 умерла моя прабабушка, после долгого и медленного угасания. Я никогда особо не знал её, но по воспоминаниям из детства, она готовила для всей семьи; я помню её лицо, то, как она была добра ко мне, её фаршированную рыбу. На её похоронах, мой дедушка, которые заботился о ней годами, сказал, сдерживая слезы, что бог забирал его мать кусочек за кусочком: её память, её речь и наконец её улыбку; и когда Бог забрал её улыбку, он знал, что ей недолго осталось, потому что это означало, что её почти нет.

Я слушал это и был в замешательстве, поскольку это была немыслимо ужасная вещь для любого человека и таким образом я не мог ожидать, что дедушка припишет её богу. Обычно еврей использует стратегию «просто-не-думай-об-этом» в отношении логического заключения, что бог допустил подобную трагедию. Согласно еврейской теологии, бог непрерывно следит за вселенной и стоит за каждым событием в ней; но обычно вывод логических заключений из этой мысли приберегается для счастливых случаев. Говоря «Бог помог!», когда у вас родился ребенок, и опуская эти слова в случае выкидышей или детских смертей, вы можете сформировать довольно однобокую картину личности великодушного бога.

Таким образом я был удивлен услышать, что мой дедушка расценивает медленное угасание бабушки как осознанное и стратегически запланированное действие Бога. Это нарушало правила религиозного самообмана, как я их понимал.

Если бы я заметил мое собственное замешательство, я бы мог сделать успешное шокирующее предсказание. Вскоре мой дедушка перестал верить. (Единственный член моей обширной семьи, который так сделал, не считая меня, насколько мне известно)

Современный ортодоксальный иудаизм непохож на остальные религии, о которых я слышал, и я не знаю, как объяснить это тому,кто сам не изучал Мишну и Гемару. Там существует традиция вопрошания, но особого рода… Не слишком удивительно было бы услышать от рабби на недельной проповеди указание на противоречие между семью днями творения и 13.7 миллиардами лет с большого взрыва - поскольку, как он думает, у него есть по-настоящему умное объяснение для этого, которое включает в себя три других библейских отсылки, Мидраш и наполовину понятую статью в «Scientific American». В ортодоксальном иудаизме вам позволено замечать противоречия и несостыковки, но только для того, чтобы объяснить их, и любой, кто предложит самое запутанное объяснение, получает приз.

Это традиция вопросов. Но вы атакуете цели только чтобы защитить их. Вы атакуете только те цели, которые в состоянии защитить.

В современном ортодоксальном иудаизме я не замечал особого акцента на ценности слепой веры. Вам позволено сомневаться. Но не позволено сомневаться успешно.

Думаю, что большинство образованных ортодоксальных евреев ставили свою веру под сомнение в какой-то момент жизни. Но вопрошание скорее всего проходило так: «Согласно скептикам, Тора говорит, что вселенная была создана за семь дней, что не совпадает с научными данными. Но сумели бы племена Израиля, собравшиеся на горе Синай, понять научную истину, даже если бы им рассказали её? Было ли у них слово для «миллиарда»? Куда легче рассматривать историю о творении в семь дней как метафору - сначала Бог создал свет, под чем подразумевается большой взрыв…»

Является ли это самой слабой точкой, которую человек мог бы атаковать в своем иудаизме? Двигаясь дальше в Торе вы можете найти место, где Бог убивает всех младенцев-первенцев Египта, чтобы убедить неизбранного фараона освободить рабов, которых логичней было бы просто телепортировать за пределы страны. Ортодоксальный еврей скорее всего знаком с этим сюжетом, поскольку предполагается, что он прочел всю Тору за год, и он ассоциируется с праздником. Имя «Песах» идет от Бога, оградившего еврейские дома, пока умирали младенцы в Египте.

Современные ортодоксальные евреи это открытые, добрые и цивилизованные люди; куда более цивилизованные, чем несколько редакторов Старого Завета. Даже старые рабби были более цивилизованны. Есть ритуал в Седере, где вы выливаете десять капель вина из вашего бокала, по одной за каждое из десяти бедствий, чтобы сделать акцент на страдании египтян. (конечно, предполагается сочувствовать страданиям египтян, но не настолько чтобы встать и сказать «Это неправильно! Делать такие вещи - плохо!») это показывает интересный контраст - рабби существенно добрее чем создатели Старого Завета, они видят жестокость бедствий. Но Наука была слабее в те дни, так что рабби могли обдумывать более неприглядные аспекты Библии, не боясь, что это полностью уничтожит их веру.

Вы даже не спрашиваете, отразился ли инцидент плохо на Господе, так что нет необходимости быстро ляпнуть «Пути Господни неисповедимы!» или «У нас нет мудрости, чтобы судить решения Бога!» или «Если Бог убивает детей, значит так правильно!» Это часть метода «просто-не-думай-об-этом».

Как я подозреваю, причина, по которой образованные религиозные люди остаются религиозными, это то, что когда они сомневаются, они подсознательно весьма осторожно атакуют свои убеждения только в наиболее защищенных местах - местах, которые, как они знают, они могут защитить. Более того, места, где повторение стандартных доводов защиты ощущается как усиление этой защиты.

Наверняка же ощущается хорошо, например, повторять заранее продуманную защиту для «Разве Наука не говорит, что вселенная просто бессмысленные атомы, мельтешащие вокруг?», поскольку это подтверждает смысл вселенной и то, как она происходит от господа и т.д…Куда более комфортно думать об этом, чем о неграмотной матери-египтянке, плачущей над детской кроваткой, в которой лежит её убитый сын. Любой, кто спонтанно задумывается о последнем, а потом ставит свою веру под сомнение, на самом деле сомневается в ней, скорее всего недолго еще пробудет верующим.

Смысл поста не в том, чтобы ударить по ортодокосальному иудаизму. Уверен, что есть какой-то ответ или даже несколько и на убийство новорожденных. Смысл в том, что, когда идет спонтанный самоанализ, люди куда более вероятно атакуют наиболее сильные места убеждений, защищенные ответами для повторений, чем слабые и уязвимые места. Сходным образом, люди склонны останавливаться на первом же ответе, а не продолжать критиковать дальше. Лучшим названием было бы не «Избегая по-настоящему слабых мест убеждения», а «Не атакуя наиболее болезненные слабости ваших убеждений при спонтанном самоанализе».

Больше всего приверженность к религии поддерживается людьми, которые просто-не-думают-о настоящих слабых местах их религии. Я не думаю, что это дело навыка, скорее это дело инстинкта. Люди не думают о настоящих слабых местах их убеждений по той же самой причине, по которой не трогают горящую газовую конфорку; это больно.

Как справляться лучше: когда вы сомневаетесь в одном из наиболее заветных своих убеждений, закройте глаза, очистите свой разум, стисните зубы и осознанно подумайте о том, что ранит сильнее всего. Не повторяйте стандартные возражения, которые обычно дают вам возможность ощутить себя лучше. Спросите себя, что умные люди, не согласные с вами, сказали бы на ваше возражение, и на последующее тоже. Всякий раз, когда вы обнаруживаете себя уходящим от возражения, о котором вы мельком подумали, вытащите его на передний край вашего сознания. Ударьте себя в солнечное сплетение. Вонзите нож в свое сердце и прокрутите несколько раз. Перед лицом боли, повторяйте только одно:

Истина всегда есть истина.
Признание её не сделает её хуже.
Непризнание её не заставит её исчезнуть.
И поскольку это истина, именно с ней и нужно взаимодействовать.
Всё ложное не должно жить.
Люди могут справиться с истиной,
потому что достаточно сильны для неё.

(Юджин Джендлин)

Перевод: 
Remlin
Номер в книге "Рациональность: от ИИ до зомби": 
74
Оцените перевод: 
Средняя оценка: 5 (6 votes)

Мотивированная остановка и мотивированное продолжение

Элиезер Юдковский

В то время, как я не согласен с некоторыми положениями Fast and Frugal (http://fastandfrugal.com/) — как по мне, так они делают слишком много лимонада из лимонов — похоже, что они склонны развивать наиболее психологически реалистичные модели любой школы теории принятия решений. Большинство экспериментов представляют испытуемым варианты, среди которых те выбирают, тем самым получается экспериментальный результат. Ребята с того сайта понимают, что в реальной жизни вам надо создавать варианты, и они изучают, как испытуемые это делают.

Сходным образом, несмотря на то, что многие эксперименты предоставляют свидетельства на блюдечке с голубой каемочкой, в реальной жизни вы должны собрать свидетельства, что может быть затратно, и в какой-то момент решить, что у вас достаточно свидетельств, чтобы остановиться и сделать выбор. Когда вы покупаете дом, вы не выбираете точно 10 домов как варианты и не осматриваете тщательно все из них, прежде чем сумеете выдать решение. Вы смотрите на один дом, потом на другой, затем сравниваете их; вы подправляете свои стремления — заново рассматриваете как близко на самом деле вам надо поселиться к месту работы и как много вы готовы за это заплатить; вы решаете какой дом смотреть следующим; и в какой-то момент вы решаете что видели достаточно домов и делаете выбор.

Согласно Гиловичу, различие между мотивированным скептицизмом и мотивированным доверием указывает на то, как заключения, которым человек не хочет верить, обладают большей требовательностью, нежели заключения, которым человек хочет верить. Мотивированный скептик спрашивает, заставит ли свидетельство принять вывод; мотивированный простак спрашивает позволит ли свидетельство принять вывод.

Я предполагаю, что есть аналогичное искажение в психологически реалистичном поиске, мотивированная остановка и мотивированное продолжение: когда у нас есть скрытый мотив для выбора «лучшего» текущего варианта, у нас есть скрытый мотив остановиться, выбрать и отвергнуть любые другие варианты. Когда у нас есть скрытый мотив отвергнуть лучший текущий вариант, у нас есть скрытый мотив приостановить суждение, ожидая дальнейших свидетельств, чтобы сгенерировать больше вариантов — найти что-нибудь, что угодно, что можно делать вместо того, чтобы приходить к заключению.

Одним из главных исторических скандалов в статистике был Р.А. Фишер, выдающийся основатель области, настаивавший, что нет причинной связи между курением и раком легких. «Корреляция — это не причинность», сделал заключение он на Конгрессе. Возможно курильщики имеют ген, который определяет их склонность как к курению, так и к раку легких.

Или возможно Фишер был нанят как консультант табачными фирмами, которые дали ему скрытый мотив решить, что уже собранные свидетельства недостаточны, чтобы придти к выводу и что нужно продолжать искать. Фишер также сам был курильшиком и умер от рака кишечника в 1962 году.

(ad hominem примечание: Фишер был сторонником частотного подхода. Байесианцы более разумны в отношении выводов о возможной причинности.)

Наподобие многих других форм мотивированного скептицизма, мотивированное продолжение может попытаться замаскироваться под добродетельную рациональность. Кто может спорить против сбора дальнейших свидетельств? Я могу. Свидетельства чаще затратны и хуже, медленнее и определенно нет ничего добродетельного в отказе интегрировать уже имеющиеся свидетельства. Вы всегда можете изменить ваше мнение позже. (Приблизительное возражение может быть сформулировано следующим образом: трата одного часа обсуждения с вашим сознанием тщательно очищенным от всех выводов отлична от ожидания десяти лет на другое 20-миллионное исследование.)

Что касается мотивированной остановки, она проявляется в каждом месте, где боятся третьей альтернативы, и везде, где у вас есть аргумент, очевидный контраргумент которого вы даже не рассматриваете, и еще в паре мест. Она проявляется когда вы следуете курсу действий, который ощущается вами как хороший, так что вы даже не исследуете насколько хорошо на самом деле работает план, в страхе разрушить теплый свет морального удовлетворения, за которое вы платите хорошие деньги. Она проявляется везде, где ваши убеждения и ожидания расходятся, так что у вас появляется причина бояться сбора любых новых свидетельств.

Мораль в том, что решение уничтожить процедуру поиска (временно или навсегда), равно как и сама процедура, является подверженным искажению и скрытым мотивам. Вы должны подозревать мотивированную остановку, когда заканчиваете поиск и приходите к удобному решению, хотя при этом есть множество легкодоступных свидетельств, которые вы еще не собрали — сайты, которые вы можете посетить, контр-контраргументы, которые вы можете рассмотреть, или хотя бы те же пять минут, которые можно твердо выделить на обдумывание лучшего варианта. Вы должны подозревать мотивированное продолжение, когда есть некоторые свидетельства, склоняющие вас на путь, который вам не нравится, но вы решаете, что нужно еще свидетельств — дорогих свидетельств, которые как вы знаете, вы не можете в скором времени собрать, в противоположность тому, чтобы полчаса полазить в Гугле — прежде чем вам нужно будет сделать нечто неудобное.

Перевод: 
Remlin
Номер в книге "Рациональность: от ИИ до зомби": 
75
Оцените перевод: 
Средняя оценка: 5 (3 votes)

Фальшивое оправдание

Элиезер Юдковский

Многие христиане, которые на самом деле не являются верующими, настаивают, что они почитают Библию как источник этических советов. Стандартный ответ атеиста на это озвучил Сэм Харрис: «И вы, и я знаем, что достаточно пяти минут размышлений, чтобы найти книгу, которая содержит более цельную и милосердную систему морали, чем Библия». Точно так же, христианин может попытаться утверждать, что Библия ценна как художественное произведение. Но тогда почему не почитать «Властелина Колец», намного превосходящую литературную работу? И несмотря на стандартную критику моральности Толкиена, «Властелин Колец» все равно превосходит Библию и как источник этических норм. Так почему же люди носят на шее кресты, а не кольца? Даже «Гарри Поттер» превосходит Библию как по художественной ценности, так и в области моральной философии. Если бы я на самом деле хотел быть жестоким, я бы сравнил Библию с «Кушиэлем» Жаклин Кэри.

«Как ты можешь оправдывать покупку украшенного драгоценностями лэптопа за миллион долларов, — спрашиваете вы своего друга, — когда так много людей вообще не имеют лэптопов?» Друг отвечает: «Но подумай о поддержке, которую это даст — производителю лэптопов, экспертам, которые выдают решения о таких лэптопах — у них будет на что жить, это стимулирует экономику и в конце концов многие люди получат свои лэптопы». Но было бы куда эффективнее купить 5000 обычных лэптопов, таким образом обеспечив поддержку производителю и выдачу лэптопов напрямую.

Я касался этой темы прежде чем заговорил о провалах при попытках найти третью альтернативу. Но на самом деле это не мотивированная остановка. Назвать это «мотивированной остановкой» значит подразумевать, что в первую очередь проводился поиск.

В «Нижней строчке» я привел наблюдение, что только настоящие определяющие факторы наших убеждений могут вообще влиять на точность в реальном мире, только настоящие определяющие факторы наших действий могут влиять на нашу эффективность в достижении целей. Кто-то, кто покупает лэптоп за миллион долларов, на деле думая «о, сверкает» и это является настоящей причиной его решения купить лэптоп. Никакое количество оправданий не изменит этого, пока оправдание не будет искренним, заново проведенным процессом поиска, который мог бы изменить решение. По-настоящему мог бы изменить. Большая часть критики проистекает из чувства долга, скорее символической инспекции, а не чего-либо еще. Свободные выборы в стране с одной политической партией.

Чтобы искренне оправдать Библию как объект для восхвалений путем отсылки к ее литературной ценности, вы бы должны были каким-либо образом провести нейтральную вычитку книг-кандидатов, пока вы не найдете книгу с наиболее высокой литературной ценностью. Популярность является одним из разумных критериев для подбора кандидатов, так что я предположу, что вы могли бы закончить чтением Шекспира, Библии и Геделя, Эшера, Баха. (В противном случае было бы достаточно невероятным совпадением найти Библию как кандидата среди миллионов других книг.) Настоящая трудность в пресловутой «нейтральной вычитке». Достаточно легко, если вы не являетесь христианином, но если это не так…

Но конечно же такого не бывает. Никто не делает такого поиска. Выписывать оправдание «литературной ценности» над нижней строчкой «Я люблю Библию» это историческое введение в заблуждение относительно того, как на самом деле нижняя строчка была написана, это как продавать кошачье молоко в качестве коровьего. Нижняя строчка не была выведена из верхних. Это заключение было сделано совсем не так.

Если вы искренне ставите ваш вывод под критику, которая может потенциально изменить его — если критика по-настоящему имеет эту силу — тогда это модифицирует «настоящий закулисный алгоритм» вашего вывода. Это меняет сцепленность вашего вывода в возможных мирах. Но люди переоценивают насколько вероятно они на самом деле могут изменить свое сознание.

Со всеми этими открытыми сознаниями, вы думаете что можно лучше менять убеждения.

Позвольте предположить: Да, вы признаете, что изначально вы решили что хотите купить лэптоп за миллион долларов при мысли «о, сверкает». Да, вы допускаете, что это не тот процесс принятия решения, который совпадает с заявленными вами целями. Но с тех пор вы решили, что на самом деле должны потратить ваши деньги так, чтобы обеспечить лэптопами как можно больше людей. И все еще при этом не нашли более эффективного способа сделать это, кроме как купить лэптоп за миллион долларов — потому что, ух ты, вы даете деньги магазину и стимулируете экономику! Попробуйте-ка побейте это!

Друг мой, у меня имеются сильные подозрения насчет этого потрясающего совпадения. У меня имеются чертовски сильные подозрения что лучший ответ в условиях этого прекрасного, рационального, альтруистического критерия совпадает с идеей, которая изначально пришла вам в голову при помощи другого, не связанного с этим критерием и не имеющего оправдания процесса. Если вы не думаете, что бросая кости, вероятно можно найти верный ответ, насколько же вероятно, что одна и та же идея может являться конечной точкой рационального и иррационального познания?

Неправдоподобно, чтобы вы использовали ошибочное мышление и при этом еще не наделали ошибок.

Перевод: 
Remlin
Номер в книге "Рациональность: от ИИ до зомби": 
76
Оцените перевод: 
Средняя оценка: 4.3 (4 votes)

Это ваша настоящая причина отказа?

Элиезер Юдковский

Иногда люди узнают о моих трансгуманистических убеждениях. Эти убеждения выглядят непохожими на мои идеи о человеческой рациональности. Идеи про сверхинтеллект или дружественный ИИ звучат странно и экзотично. И люди часто сразу же отвергают их.

Если попросить кого-нибудь из них объяснить причину, то не так уж редко в ответ можно услышать:

— Почему я должен верить тому, что говорит Юдковский? У него нет даже докторской степени!

Нередко свидетели такого разговора советуют: «Тебе нужно получить докторскую степень, и тогда люди к тебе прислушаются». Иногда этот совет исходит даже от самого возражающего: «Возвращайся, когда получишь степень!»

Для получения степени есть хорошие и плохие причины, и конкретно эта — плохая.

Враждебная реакция на трансгуманистические тезисы на самом деле может вызываться разными причинами. Большинство из них упираются в соответствие шаблону, они не основаны на какой-то продуманной цепочке рассуждений. Тезис распознается как «странная непонятная идея», или «научная фантастика», или «культ конца света» или «чрезмерный юношеский энтузиазм».

Поэтому идея отвергается сразу же, как только срабатывает соответствующий шаблон. Если же затем кто-нибудь спрашивает: «Почему нет?», мозг начинает поиск оправдания. Но этот поиск не обязательно находит истинную причину. Под «истинной причиной» я подразумеваю не наилучшую причину, которую можно представить, а скорее то, что сильнее всего повлияло на принятие решения в тот самый миг, когда сработала реакция отвержения.

Вместо этого поиск оправдания находит правдоподобно звучащий факт: «У говорящего нет степени».

Но точно так же у меня нет степени, когда я говорю о рациональности. Почему это возражение не применяется в этих случаях?

И что более важно, если бы у меня была степень, люди не посчитали бы её решающим доводом в пользу того, что они обязаны верить всему, что я говорю. Скорее всего, происходила бы та же исходная реакция отвержения — по тем же самым причинам, — но последующий поиск оправданий приводил бы чему-нибудь ещё.

Если бы у меня была степень, люди бы говорили: «Почему я должен вам верить? Вы всего лишь человек с докторской степенью! Таких много. Возвращайтесь, когда будете авторитетом в этой области и профессором какого-нибудь солидного университета».

Но действительно ли люди верят случайному профессору из Гарварда, который говорить что-то странное? Конечно же, нет. (Хотя если бы я был гарвардским профессором, мне было бы легче привлечь внимание СМИ. Журналисты не склонны мне доверять, и скорее всего они бы точно так же не доверяли случайному человеку с докторской степенью. Но профессор из Гарварда, который верит в странное, — это хороший новостной сюжет.)

Если ваши тезисы кажутся человеку неправильными — не просто магически звучащими техническими звуками о лептонных кварковых переплетениях в N+2 измерениях, — и слушатель незнаком с вами лично и с обсуждаемым предметом, то, подозреваю, для среднего слушателя ваши академические регалии перевесят первое впечатление, если вы находитесь где-то на уровне нобелевского лауреата. И то не факт. Но в любом случае, вам нужны такие академические регалии, которые воспринимаются как находящиеся «за гранью обыденности».

Насколько я представляю, примерно это произошло с Эриком Дрекслером. Он представил свое видение нанотехнологии, и люди сказали: «А где технические подробности?» или «Возвращайтесь, когда у вас будет степень!» И он потратил шесть лет, расписывая технические подробности и получая степень под руководством Марвина Мински. «Наносистемы» — великая книга. Но разве те люди, которые говорили: «Возвращайтесь, когда получите степень!» изменили после этого своё мнение о молекулярной нанотехнологии? Насколько я знаю, нет.

И то же самое происходит и с Институтом исследований машинного интеллекта. Когда мы делаем то, что якобы должно вызывать у людей больше доверия, ничего не меняется. «Вы разрабатываете какие-либо программы? Я не собираюсь поддерживать организацию, где не пишут код» → OpenCog → ничего не изменилось. «У Элизера Юдковски нет академических регалий» → Место директора по исследованиям занимает профессор Бен Герцель → ничего не изменилось. Единственное, что, по-видимому, действительно повышает уровень доверия, — это знаменитые люди, ассоциируемые с организацией, такие как Питер Тиль, спонсирующий нас, или Рей Курцвейл в совете директоров.

Если вы недавно открыли своё дело, то вам и вашим советчикам стоит помнить, что если в качестве причины отказа вам указывают на какие-то ваши неудачи, то проблема может быть и не в них, и вам стоит тщательно всё обдумать, особенно если ситуация требует больших вложений. Если венчурный капиталист говорит: «Если бы только ваши продажи росли немного быстрее!», если потенциальный клиент говорит: «Неплохо, но у вас нет фичи Х», это может и не быть настоящей причиной. Возможно исправление этого поможет, а, возможно, и нет.

И то же самое следует учитывать при разногласиях. Робин Хансон и я считаем, что два рационалиста не могут согласиться не соглашаться: общее знание об эпистемологическом разногласии может появиться только в случае, если что-то пошло очень сильно не так.

Я подозреваю, что, если два рационалиста намереваются разрешить разногласие, которое не исчезло после первого обмена мнениями, им стоит ожидать, что настоящую причину разногласия либо сложно передать, либо сложно обнаружить. Такими причинами, например, могут быть:

  • Малоизвестное, но хорошо обоснованное научное или математическое знание;
  • Длинные понятийные расстояния;
  • Плохо переводимые в слова интуитивные ощущения, возможно проистекающие из специфичных представлений;
  • Образ мысли, присущий представителям определённой профессии (по вполне разумным причинам);
  • Шаблоны, приобретённые с опытом;
  • Просто мыслительные привычки;
  • Эмоциональные привязанности к вере в определенный исход;
  • Страх опровержения прошлых ошибок;
  • Самообман на глубоком уровне, дающий повод для гордости или другие личные выгоды.

Если при решении вопроса все настоящие причины отказа можно легко предъявить, разногласие, скорее всего, будет разрешено очень быстро, почти наверняка — на первой встрече.

«Это моя настоящая причина отказа?» Именно этот вопрос должны задавать себе оба спорщика, чтобы им было легче иметь дело с противоположной стороной. Однако, по моим наблюдениям, попытки провести с собеседником сеанс публичного психоанализа приведут к ухудшению диалога очень-очень быстро.

И всё-таки, у спорщиков должна быть возможность вежливо спросить: «Это ваша настоящая причина отказа?» — если существует какой-то продуктивный способ получить ответ на этот вопрос. Возможно, стоит ввести правило, которое допускает открытый вопрос: «Этот простой и прямолинейный довод — ваша настоящая причина отказа, или дело в ваших интуитивных ощущениях, или профессиональном взгляде на мир?» Более неудобные возможности лучше оставить на совести собеседника, это уже их область ответственности.

Перевод: 
Remlin, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
77
Оцените перевод: 
Средняя оценка: 4.8 (6 votes)

Связанные истины, заразная ложь

Элиезер Юдковский

«Но идеальный аналитик мог бы пойти дальше: по одному-единственному предмету или живому существу он способен не только представить себе всю вселенную, но и ее развитие — от начала до самого конца» — Первый Ленсмен.

«Но стоит любому из вас сосредоточить свою мысль на одном-единственном факте или на каком-нибудь маленьком предмете, например, на камешке, на семени растения или на каком-нибудь крошечном живом существе, хотя бы на короткое время, как вы начнете постигать изреченную мной истину» — Серый Ленсмен.

Я обоснованно уверен, что отдельный камень, взятый с одного из пляжей Земли, не указывает на континенты и страны, политиков и людей этой Земли. Другие планеты во времени и пространстве, другие ветви Эверетта, сгенерировали бы тот же камень. С другой стороны, сущность единичного камня похоже включала бы наши законы физики. В этом смысле цельность нашей вселенной — все ветви Эверетта — можно было бы вывести из этого камня. (Если бы, как похоже и есть, не было бы по-настоящему свободных переменных)

Так что единичный камень, возможно, не заключает в себе всю Землю. Но единичный камень заключает в себе немало. Из изучения этого камня вы можете вывести законы физики и то, что из них следует. Размышляя об этих законах, вы можете увидеть, как будут формироваться планеты, и можете предположить, с какого вида планет этот камень. Внутренние кристаллическая и молекулярная структура камня формируются под воздействием гравитации, что расскажет вам о массе планеты; смесь элементов в камне даст вам возможность узнать больше о формировании планеты.

Я не геолог, так что не могу говорить точно, но легко представляю как показываю камень геологу и говорю: «Этот камень с пляжа в Халф Мун Бэй», — и мне тут же отвечают «Странно» или «Вы лжете». Возможно это не такой камень или он недостаточно округлый, чтобы быть с пляжа — я не знаю камни в достаточной мере, чтобы предположить связи и признаки, по которым меня можно было бы уличить.

«Только Бог может солгать абсолютно правдиво». Я думаю, была ли религия, которая изрекла пословицу? Я (фальсифицируемо) предположил бы, что нет: это мнение рационалиста, даже если вы изрекаете это в теологическом смысле. Слова «все связано со всем, потому что Бог создал весь мир и поддерживает его» могут генерировать некоторые хорошие теплые чувства во время проповеди, но не дадут вам особо много, если вы пытаетесь определить по камням с каких пляжей они взяты.

Монетка на Земле оказывает гравитационное ускорение на Луну порядка $4{,}5 \cdot 10^{-31} м/с^2$, так что в некотором смысле будет не слишком неправильно сказать, что любое событие связано со всеми прошлыми событиями. И поскольку выводы могут распространяться назад и вперед через причинные сети, эпистемологические сцепленности могут легко пересекать границы светового конуса. Но я бы не хотел быть астрономом-криминалистом, который смотрит на Луну и пытается по ней узнать, выпала ли монетка орлом или решкой — влияние меньше чем квантовая неопределенность или термальный шум.

Если вы скажете «Все связано со всем» или «Все логически сцепленно и некоторые сцепленности намного сильнее прочих», вы, возможно, по-настоящему мудры вместо Глубокой Мудрости.

Физически каждое событие в некотором смысле является суммой прошлого светового конуса, без границ или ограничений. Но список значимых сцепленностей куда короче и это дает вам нечто вроде сети. Это высокоуровневая систематичность, на которую я ссылаюсь, когда говорю о Великой Сети Причинности.

Я использую эти Заглавные Буквы по большей части в шутку; но если бы что-либо заслуживало бы Заглавных Букв, то, конечно, Великая Сеть Причинности венчала бы список.

— Что за запутанную сеть мы плетем, когда в первый раз практикуем обман, — сказал сэр Вальтер Скотт. Не вся ложь вырывается из-под контроля — мы живем в ненастолько праведной вселенной. Но иногда происходит так, что некто лжет о факте и потом вынужден лгать о сцепленном факте, а потом еще об одном, который сцеплен с предыдущим:

— Ты где?

— Э, я в поездке по делам фирмы.

— Что за поездка?

— Не могу сказать, это частные переговоры с важным клиентом.

— Ух ты, они допустили тебя к таким переговорам? Отличные новости! Я должен позвонить твоему шефу и поблагодарить его за это.

— Жаль, но его сейчас нет в офисе….

Люди не боги и часто им не удается представить все факты, которые им понадобится исказить, чтобы получить правдоподобную ложь. «Бог сделал меня беременной» звучало бы правдоподобней в старые времена, когда наши модели мира еще не содержали сведений о «хромосомах». Многие подобные факты лжи сегодня могут не выдерживать проверки, когда генетические проверки стали распространенными. Насильников заключают под стражу, ложные обвинения раскрываются, годы спустя, на основании тех свидетельств, о которых они и не думали. Студент, изучающий эволюционную биологию может видеть почерк естественного отбора в каждом волке, который преследует зайца; и каждом зайце, который убегает; и каждой пчеле, которая жалит, вместо того, чтобы вежливо предупреждать — но уловки креационистов для самих креационистов звучат убедительно, я уверен.

Не вся ложь раскрывается, не все лжецы бывают наказаны; мы не живем в настолько праведной вселенной. Но не вся ложь так безопасна, как полагают лжецы. Как много грехов станут известны Байесовскому сверхинтеллекту, думаю я, если он проведет (не разрушив?) нанотехнологический скан всей Земли? Как минимум, вся ложь, для которой существует какое-либо свидетельство в любом мозгу. Некоторая такая ложь может раскрыться раньше других, если нейробиологи преуспеют в создании по-настоящему хорошего детектора лжи через моделирование мозга. Пол Экман (пионер в области изучения микродвижений лицевых мускулов) может возможно раскрыть немалую долю мировой лжи, если у него будет возможность.

Не вся ложь раскрывается, не все лжецы бывают наказаны. Но Великая Сеть обычно недооценивается. Просто знание, которое люди уже накопили, заняло бы много человеческих жизней, чтобы быть изученным. Любой, кто думает, что не являющийся Богом, может солгать идеально без всякого риска, недооценивает сцепленность Великой Сети.

Честность — лучшая политика? Не знаю, так ли это: даже моя этика иногда молчит. Но по сравнению с прямой ложью, честность или молчание вовлекают меньше рекурсивно распространяющихся рисков, которые вы берете, даже не зная этого.

Перевод: 
Remlin
Номер в книге "Рациональность: от ИИ до зомби": 
78
Оцените перевод: 
Средняя оценка: 4.7 (6 votes)

О лжи и Черных Лебедях

Элиезер Юдковский

Судья Маркус Эйнфелд, 70 лет, Королевский адвокат с 1977 года, Живое Достояние Австралии 1997 года, лауреат премии мира ООН 2002 года, президент-основатель австралийской комиссии по правам человека и равным возможостям, ушедший на пенсию несколько лет назад, но регулярно привлекаемый для участия в особо важных делах…

был осужден на два года тюрьмы за серию попыток исказить ход судебного процесса и дачу ложных показаний, которая началась с попытки избежать штрафа в 36 фунтов за превышение скорости на 6 миль в час.

В предыдущем эссе изложена морализаторски звучащая теория о честных людях, которые не умеют лгать, о том, что все поступки оставляют где-нибудь следы, и о том, что ложь иногда заканчивается «Чёрным лебедем» в виде грандиозного провала. И в реальной жизни в самом деле случаются истории, которые этой теории соответствуют. Хотя из-за избирательного восприятия мы слышим только о таких громких, как история про Маркуса Эйнфелда.

Перевод: 
Remlin, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
79
Оцените перевод: 
Средняя оценка: 5 (2 votes)

Эпистемология темной стороны

Элиезер Юдковский

Если вы солжете однажды, правда навсегда станет вашим врагом.

Я ранее говорил об этом, что истина сцеплена, а ложь заразна. Если вы возьмете камень с дороги и скажете геологу, что нашли его на пляже — ну, знаете ли вы о том, что известно геологу? Я нет. Но могу подозревать, что обточенный водой камень не выглядит похожим на каплю застывшей лавы от извержения вулкана. Знаете ли вы откуда камень с вашей дороги взялся на самом деле? Вещи несут отметки от своих мест во вселенной, где действуют законы; в этой сети нет места лжи. (поправка: геологи в комментариях говорят, что большинство камней на дорогах родом с пляжей, так что они бы не смогли сказать, пляжный ли это камень или дорожный, однако распознали бы разницу между обычным камнем и взятым с дороги/пляжа. Наглядный пример…)

То, что звучит обыденной истиной для одного разума — что легко заменяется правдоподобной ложью — может быть связано десятками связей в глазах большего знания. Для креациониста, идея, что жизнь была кем-то создана, а не появилась в результате естественного отбора, может быть чем-то наподобие спортивной команды, за которую нужно болеть. Но с точки зрения биолога, чтобы правдоподобно солгать о том, что организм был сознательно кем-то разработан, придется лгать почти обо всех чертах организма. Чтобы правдоподобно солгать, что «людей» создал некто разумный, вам придется лгать о строении сетчатки, архитектуре мозга, белках, склеиваемых вместе слабыми силами Ван-дер-Ваальса, вместо сильных ковалентных связей…

Ну или вы можете просто солгать об эволюционной теории, что и является путем, который избирают большинство креационистов. Вместо того, чтобы лгать об отдельных узлах, которые связаны друг с другом, они лгут об общих законах, управляющих связями.

А чтобы прикрыть это, они лгут о правилах науки — наподобие того, что означает термин «теория» или что значат слова ученого о том, что он уверен не полностью.

Так они переходят от лжи про конкретные факты ко лжи про общие законы, а потом ко лжи про правила мышления. Чтобы лгать о том, эволюционируют ли люди, вы должны лгать об эволюции; а потом вам придется лгать о правилах науки, которая ограничивает наше понимание эволюции.

Но как еще? Точно так же, если бы человек принадлежал к созданным формам жизни, вам бы пришлось лгать о законах эволюции, чтобы сделать правдоподобным его появление; и точно так же креационистские убеждения сами по себе отделены от науки — вы не найдете в хорошо организованном разуме таких убеждений больше, чем пальм на леднике. И тогда вам приходится нарушать барьеры, которые ограничивают их появление.

Что приводит нас к случаю самообмана.

Единичная ложь, которую вы говорите себе, может показаться достаточно правдоподобной, когда вы не знаете правил мышления или даже о существовании таких правил; выбор кажется таким же оправданным, как выбор мороженого и отдельным от всего остального, как камень на пляже…

…а потом кто-то спрашивает о вашем убеждении, используя правила мышления, которые они изучали. Они спрашивают «А где свидетельства?»

И вы отвечаете «Что? Зачем мне свидетельство?»

Вам говорят «В общем, для убеждения требуется свидетельство.»

Этот аргумент, очевидно, солдат, сражающийся на другой стороне, которого вы должны победить. Так что вы возражаете: «Я не согласен! Не все убеждения требуют свидетельств. В частности, убеждения о драконах не требуют свидетельств. Когда речь заходит о драконах, можно верить во что хочется. Так что мне не нужны свидетельства, что у меня в гараже есть дракон.»

На что следует: «Э? Вы не можете просто исключить драконов таким образом. Есть причина для данного правила, что убеждение требует свидетельств. Чтобы нарисовать верную карту города, вы должны пройти по улицам и провести линии на бумаге, которые отразят то, что вы видите. Это не взятое просто так требование — если вы сидите у себя в комнате и рисуете случайные линии, карта будет неправильна. С невероятно высокой вероятностью. Точно так же как карта о драконах или о чем угодно.»

Теперь в качестве солдата другой стороны выступает объяснение почему убеждение требует свидетельств. И вы продолжаете: «Неправильна с невероятно высокой вероятностью? Но ведь шанс-то еще остается, а? Я не должен верить в нечто, что не является до конца определенным.»

Или возможно вы даже начинаете подозревать, сами, что «убеждения требуют свидетельств.» Но это угрожает той лжи, за которую вы цепляетесь; так что глубоко внутри себя вы отказываетесь от этого подозрения, словно бы заталкивая солнце обратно за горизонт.

Или же вы ранее уже слышали слова «убеждения требуют свидетельств» и это звучало достаточно мудро, чтобы повторить это на публике. Но вы никогда не использовали ее на себе, пока кто-то не предложил вам применить ее к вашему убеждению, что в вашем гараже есть дракон. Так что вы быстро думаете и выпаливаете «Дракон является отдельным случаем.»

Иметь ложные убеждения плохо, но это не наносит постоянного вреда — если, когда вы обнаруживаете вашу ошибку, вы исправляете ее. Опасно иметь ложное убеждение, если вы верите, что его нужно защищать в качестве убеждения — вера в убеждение, которая может сопровождаться (а может и нет) настоящим убеждением.

Единичная ложь, Которая Должна Быть Защищена, может блокировать чей-либо прогресс в продвинутой рациональности. Нет, это не безвредное удовольствие.

В мире, связанном куда в большей степени, чем это кажется на первый взгляд, существуют правила мышления, которые ограничивают убеждения сильнее, чем может подозревать непосвященный. Мир переплетен тесно и управляем общими законами, равно как и рациональные убеждения.

Подумайте, какова будет цена за отрицание эволюции или гелиоцентризма — все соединенные истины и управляющие законы, которые вам не позволено будет знать. Тогда вы можете понять, как единичный акт самообмана может блокировать целый мета-уровень поиска истины, как только ваш разум начинает бояться видеть связи. Запрещая все средние и высшие уровни рационального Искусства. Создавая на его месте громадный комплекс антизаконов, правил антимышления, общих оправданий для веры в неистинное.

Стивен Каас сказал: «Продвигать менее чем максимально точные убеждения — акт саботажа. Не делайте этого ни с кем, пока заодно не проколете им покрышки.» Давать кому-то ложное убеждение для защиты — убеждать их что убеждение само по себе должно быть защищено от любой мысли, которая угрожает ему — ну, вы не должны делать это ни с кем, пока заодно не делаете ему фронтальную лоботомию.

Как только вы солжете, правда становится вашим врагом; и каждая истина соединенная с этой и каждый союзник истины в общем; всему этому вы должны противостоять, чтобы защитить ложь. Лжете ли вы другим или себе.

Вы должны отрицать, что убеждения требуют свидетельств, после чего вам приходится отрицать, что карты должны отображать территорию, а затем — что истина это хорошо…

И так происходит переход на Темную Сторону.

Меня волнует то, что люди не знают об этом или знают в недостаточной степени — что если бы мы шли через человеческий мир, мы могли бы ожидать систематически встречать плохую эпистемологию.

Мемы о том, как мыслить, плавают вокруг, кэшированные мысли Глубокой Мудрости — некоторые из них будут хорошим советом, изобретенным рационалистами. Но другие изобретались для защиты лжи или самообмана: они происходят с Темной Стороны.

«У каждого есть право на свое мнение». Когда вы думаете об этом, откуда пошла эта поговорка? Это нечто, что кто-то мог бы сказать защищая истину или чтобы защититься от истины? Но люди не встрепенулись и не сказали «Ага! Я ощущаю присутствие Темной Стороны!» Насколько я могу сказать, не особо широко распространено понимание, что Темная Сторона вообще существует.

Но как еще? Обманываете ли вы других или только себя, Ложь Которую Нужно Защищать будет распространяться рекурсивно через сеть эмпирической причинности и сеть общих эмпирических правил и правил мышления как таковых и понимания того, что лежит за этими правилами. Если в мире есть хорошая эпистемология и ложь или самообман, которые люди пытаются защитить, то тогда появляется плохая эпистемология в противовес хорошей. Едва ли можно ожидать обнаружить в нашем мире, что есть Светлая Сторона и нет Темной; есть Солнце и то, что заслоняет его и создает маскирующую Тень.

Не подумайте, для этого вовсе не обязательно, чтобы люди были злыми. Большая часть тех, кто повторяет Глубокую Мудрость, в большей степени обманывают себя, нежели других, в большей части одурачены, чем лицемерны. Думаю так.

И конечно же моим намерением не было дать вам Полностью Универсальный Контраргумент, чтобы если кто-то предлагает вам какую-то эпистемологию, которая вам не нравится, вы бы говорили: «О, кто-то еще пал на Темную Сторону.» Одним из правил Светлой Стороны является то, что вы должны опровергать само положение, а не обвинять его изобретателя в плохих намерениях.

Но Темная Сторона существует. И страх является тем путем, что ведет к ней и единственное предательство заставит вас свернуть на него. Не все, кто носит робы являются Джедаями или их подделками; еще есть Лорды-Ситхи, мастера и их непреднамеренные ученики. Будьте осведомлены и осторожны.

Что же касается списка распространенных убеждений, порожденных Темной Стороной — не случайных ложных убеждений, не подумайте, а именно плохой эпистемологии, Общих Защит Лжи — ну, не могли бы взять этот удар на себя, дорогие читатели?

Перевод: 
Remlin
Номер в книге "Рациональность: от ИИ до зомби": 
80
Оцените перевод: 
Средняя оценка: 5 (5 votes)

Против двоемыслия

Материалы цепочки распространяются по лицензии CC BY-NC-SA 3.0

Элиезер Юдковский
https://wiki.lesswrong.com/wiki/How_to_Actually_Change_Your_Mind#H._Agai… Against Doublethink

Единомыслие

Элиезер Юдковский

Я отчетливо помню тот момент, когда начал свой путь рационалиста.

Нет, не читая «Конечно вы шутите, мистер Фейнман» или любую другую работу о рациональности; их я просто воспринял как очевидные. Путь рационалиста начинается, когда видишь огромный пробел в своих умениях и ощущаешь стимул их улучшить, чтобы создать новые навыки, выходящие за пределы тех полезных, но уже недостаточных вещей, которые можно почерпнуть из книг.

В последние моменты первого периода моей жизни (мне стукнуло пятнадцать) я самодовольно перебирал приятные воспоминания о том времени, когда был намного младше. Воспоминания о том периоде расплывчаты: мысленный образ есть, но сколько точно мне было лет, не скажу. Думаю, шесть или семь. Исходное событие произошло в летнем лагере.

Наш вожатый, парень-подросток, собрал нас, детей намного младше его, построил друг за другом и предложил следующую игру: мальчик, стоящий в конце колонны, должен был ползти у нас между ног, а мы бы шлепали его, когда он проползал под нами, потом наступала очередь следующего мальчика и т.д. (Возможно, я потерял бы при этом всего лишь детскую наивность, но я не мог перестать об этом думать…) Я отказался играть в игру, и меня поставили в угол.

Эта память — об отказе шлепать и быть отшлепанным — символизировала для меня то, что даже в раннем возрасте я не хотел получать удовольствие от причинения боли другим. Я не обменял бы шлепок другому на шлепок по мне; не оплатил бы болью возможность причинить боль другому. Я отказался играть в игру с отрицательной суммой.

Но потом, в пятнадцать, я внезапно понял, что данное воспоминание было неправдой. Я отказался не потому, что был принципиальным противником игр с отрицательной суммой. Я узнал о дилемме заключенного рано, но не в семь же лет. Я отказался просто потому, что не хотел, чтобы мне было больно. Постоять в углу было приемлемой платой за то, чтобы избежать боли.

Более важным было то, что я понял, что всегда знал это: настоящая память всегда была в каком-то из уголков моего сознания, мой ментальный взгляд задерживался на ней на долю секунды, а затем отворачивался.

На самом первом шаге по Пути я поймал то ощущение, сделав общий вывод из субъективного опыта, и сказал: «Так вот что чувствуешь, когда пытаешься запихнуть нежелательную правду на задворки сознания! Теперь я буду обращать на это внимание всякий раз и вычищу все уголки памяти!».

Эту дисциплину я назвал единомыслием по аналогии с оруэлловским двоемыслием. В двоемыслии вы забываете, а потом забываете о факте забывания. В единомыслии вы замечаете, что что-то забыли, а потом вспоминаете. Вы придерживаетесь единственной непротиворечивой мысли за раз.

«Единомыслие» было первым рациональным навыком, который я создал, а не вычитал в книгах. Не думаю, что был первым в смысле академического приоритета, но этого, к счастью, и не требовалось.

И да, в пятнадцать лет я любил давать вещам имена.

Конца-краю ужасающим глубинам предвзятости подтверждения не видно. Они не бесконечны, ибо сложность нашего мозга конечна, но достаточно велики, чтобы погружение в них показалось вечностью. Вы продолжаете обнаруживать всё новые механизмы (или читать о них), при помощи которых мозг прячет неудобные вещи в укромные уголки.

Но я, будучи юным, вымел несколько таких уголков своей первой метлой.

Перевод: 
Remlin
Номер в книге "Рациональность: от ИИ до зомби": 
81
Оцените перевод: 
Средняя оценка: 4.8 (5 votes)

Двоемыслие (выбирая быть искаженным)

Элиезер Юдковский

В руке у О’Брайена появилась газетная вырезка. Секунд пять она находилась перед глазами Уинстона. Это была фотография — и не приходилось сомневаться, какая именно. Та самая. Джонс, Аронсон и Резерфорд на партийных торжествах в Нью-Йорке — тот снимок, который он случайно получил одиннадцать лет назад и сразу уничтожил. Одно мгновение он был перед глазами Уинстона, а потом его не стало. Но он видел снимок, несомненно, видел! Отчаянным, мучительным усилием Уинстон попытался оторвать спину от койки. Но не мог сдвинуться ни на сантиметр, ни в какую сторону. На миг он даже забыл о шкале. Сейчас он хотел одного: снова подержать фотографию в руке, хотя бы разглядеть ее.

— Она существует! — крикнул он.

— Нет, — сказал О’Брайен.

Он отошел.

В стене напротив было гнездо памяти. О’Брайен поднял проволочное забрало. Невидимый легкий клочок бумаги уносился прочь с потоком теплого воздуха: он исчезал в ярком пламени. О’Брайен отвернулся от стены.

— Пепел, — сказал он. — Да и пепла не разглядишь. Прах. Фотография не существует. Никогда не существовала.

— Но она существовала! Существует! Она существует в памяти. Я ее помню. Вы ее помните.

— Я ее не помню, — сказал О’Брайен.

Уинстон ощутил пустоту в груди. Это — двоемыслие. Им овладело чувство смертельной беспомощности. Если бы он был уверен, что О’Брайен солгал, это не казалось бы таким важным. Но очень может быть, что О’Брайен в самом деле забыл фотографию. А если так, то он уже забыл и то, как отрицал, что ее помнит, и что это забыл — тоже забыл. Можно ли быть уверенным, что это просто фокусы? А вдруг такой безумный вывих в мозгах на самом деле происходит? — вот что приводило Уинстона в отчаяние.

Джордж Оруэлл, «1984» (перевод В. П. Голышева)

Что, если самообман помогает нам быть счастливыми? Что, если избегание и преодоление искажений делает нас наоборот - несчастными? Конечно, настоящая мудрость была бы рациональностью второго порядка, когда можно было выбирать когда быть рациональным. Тогда вы могли бы решать, какие когнитивные искажения должны управлять вами, для максимизации своего счастья.

Даже если оставить в стороне моральный аспект, я сомневаюсь, что такой безумный вывих в мозгах мог бы на самом деле произойти.

Рациональность второго порядка подразумевает, что в некоторый момент вы должны подумать: «А теперь я, чтобы сделаться счастливым, иррационально поверю, что выиграю в лотерею». Но у нас нет такого прямого контроля над нашими убеждениями. Вы не можете заставить себя поверить в то, что небо зеленое, усилием воли. Вы могли бы поверить, что верите, однако я только что усложнил вам задачу, указав на различие (всегда пожалуйста!). Вы даже можете верить, что счастливы и что обманули себя; но на самом деле не будете счастливы и самообмануты.

Чтобы рациональность второго порядка была подлинно рациональной, сначала потребовалась бы хорошая модель реальности для экстраполяции последствий рациональности и иррациональности. Если потом вы выберете иррациональности первого порядка, то вам понадобиться забыть эту точную картину мира. А затем забыть сам акт забывания. Я не подвержен логическому заблуждению обобщения на основе вымышленного свидетельства, но думаю, что Оруэлл проделал хорошую работу по экстраполяции того, куда ведет этот путь.

Вы не можете осознать последствия пребывания под властью искажений, пока не сумеете выйти из-под нее. А тогда будет слишком поздно для самообмана.

Другая альтернатива — слепой выбор, при котором вы придерживаетесь искажений без ясного представления о последствиях. Но это не рациональность второго порядка. Это упрямое пребывание в глупости.

Иррациональный оптимизм относительно своих водительских навыков позволит вам быть беспечно счастливым там, где других прошибет пот от страха. Вам не придется терпеть неудобство ремня безопасности. Вы будете беспечно счастливым день, неделю, год. А потом БАХ! И остаток жизни будете изнывать от желания почесать фантомную конечность. Или будете парализованы ниже шеи. Или мертвы. Необязательно случится так, но эта ситуация возможна, вопрос в том, насколько она вероятна? Вы не можете ответить на этот вопрос рационально, пока не узнаете реальный уровень своих водительских навыков и не поймете, какой опасности себя подвергаете. Вы не можете ответить на этот вопрос рационально, пока не узнаете о таких искажениях, как отрицание вероятности.

Не имеет значения сколько дней пройдут в блаженном неведении, достаточно будет единичной ошибки, чтобы аннулировать человеческую жизнь, чтобы перевесить все монетки, собранные вами на рельсах глупости.

Один из ключевых советов, которые я даю целеустремленным рационалистам, заключается в следующем: «Не пытайтесь быть умными». И ещё: «Прислушивайтесь к этим тихим надоедливым сомнениям». Если вы что-то не знаете, тогда вы не знаете, что именно вы не знаете, как много вы не знаете и сколько вам на самом деле нужно узнать.

Не существует рациональности второго порядка. Есть только слепой прыжок, который может закончиться в яме с раскаленной лавой (а может и не закончиться). И если вы уже знаете о конечном пункте прыжка, уже поздно зажмуривать глаза.

Но люди пренебрегают этим, поскольку они не знают, чего они не знают. К неизвестным переменным, если неизвестно даже об их существовании, невозможно получить доступ. Люди не сосредотачиваются на пустой области карты, а просто считают ее пустой территории. Когда они рассматривают возможность слепого прыжка, они ищут в памяти опасности и не обнаруживают на пустой карте ям с лавой. Так почему бы не прыгнуть?

Был там. Пробовал. Обжегся. Не пытайтесь быть умными.

Однажды в разговоре с подругой я поделился подозрениями о том, что счастье глупости сильно переоценено. Но она потрясла головой и серьезно сказала: «Нет, нет, совсем нет».

Возможно, существуют счастливые глупцы. Возможно, они счастливей вас. Жизнь несправедлива и нельзя стать счастливее, завидуя тому, чего у тебя нет. Подозреваю, что подавляющее большинство читателей блога «Overcoming Bias» не смогут достичь счастья глупости, даже если попытаются. Этот путь закрыт для вас. Вы никогда не сможете достичь нужной степени невежества, не сможете забыть что знаете, не можете перестать видеть то, что видите.

Счастье глупости закрыто для вас. Вы никогда его не получите без повреждения мозга и даже с ним скорее всего нет. Думаю, вам следует задаться вопросом, оптимально ли счастье глупости (если это наибольшее счастье, к которому может стремиться человек), но ответ на него не важен. Этот путь для вас закрыт, даже если он когда-нибудь появится.

Все, что вам теперь осталось, — это стремиться к тому счастью, которого может достичь рационалист. Я думаю, что в конечном счете оно может оказаться даже больше. Есть строго определенные пути и свободные пути; плато для отдыха и горы для преодоления; и если подъем занимает больше усилий, покоренная вершина оказывается более высокой.

Также в жизни есть нечто большее, чем счастье; и при принятии решений вы можете учитывать чужое, а не свое счастье.

Но это не имеет практического применения. Когда вы осознаете наличие выбора, выбора уже нет. Вы не можете перестать видеть то, что видите. Другой путь закрыт.

Перевод: 
Remlin
Номер в книге "Рациональность: от ИИ до зомби": 
82
Оцените перевод: 
Средняя оценка: 4.7 (7 votes)

Серьёзно, я обманул себя

Элиезер Юдковский

Я недавно говорил с женщиной, которая… сложно описать что. Формально она ортодоксальная еврейка. Ещё она очень умна, знакома с некоторыми археологическими доказательствами, опровергающими её религию, а также стандартными поверхностными аргументами против иудаизма. Например, она знает, что Мордекай, Хаман и Вашти не были найдены в персидских исторических записях, зато в древней Персии существовала легенда о вавилонских богах Мардуке и Иштар и враждующих с ними эламских богах Хуммане и Вашти. Она знает это и тем не менее справляет Пурим. Наверное, она одна из тех умных но религиозных людей, которые варятся в своих противоречиях, дёргаясь и выдумывая причины, пока изнанка их мозга не начинает выглядеть, как картина Эшера.

Большинство людей такого типа притворяются, что они слишком мудрые, чтобы говорить с атеистами, но она согласилась пообщаться со мной несколько часов. В результате я, наконец, понял по крайней мере ещё одну вещь о самообмане, которую я никогда раньше явно не высказывал, а именно, что не нужно действительно обманывать себя, пока ты веришь, что ты обманул сам себя. Назовём это «верой в самообман».

Когда эта женщина ходила в старшую школу, она считала себя атеисткой. Но потом она решила, что должна вести себя, будто верит в бога. Затем — говорила она убедительно — со временем, она действительно поверила в бога. Из того, что я понял, это абсолютная неправда. В течение нашего разговора она всё время повторяла, снова и снова: «Я верю в бога», — но ни разу: «Бог есть». Когда я её спросил, почему она верит, она ни разу не упомянула о последствиях существования бога, только о последствиях веры в бога. Никогда: «Бог поможет мне», — всегда: «Моя вера в бога поможет мне». Когда я ей явно сказал: «Если кто-то просто захочет узнать истину и посмотрит на нашу Вселенную, как она есть, он даже не рассмотрит бога как гипотезу», — она мгновенно согласилась.

Она не заставила себя на самом деле верить в бога или в истинность иудаизма. Даже не близко, как я смог заметить. С другой стороны, она действительно верит в то, что обманула себя. Так что хоть она не получает никакой пользы от веры в бога — потому что не верит в него — она честно полагает, что хитростью заставила себя верить в бога, и честно ожидает получить бонусы от такого самообмана, таким образом создавая эффект плацебо вместо настоящей религиозности.

Это объясняет, почему она так рвалась убедительно защищать мои скептические предположения о её вере в бога, ни разу при этом не сказав: «А, и кстати, бог на самом деле существует», — или хотя бы не показавшись действительно заинтересованной в этом утверждении.

Перевод: 
Siarshai
Номер в книге "Рациональность: от ИИ до зомби": 
83
Оцените перевод: 
Средняя оценка: 5 (4 votes)

Вера в самообман

Элиезер Юдковский

Я рассказывал о моём разговоре с формально ортодоксальной иудейкой, которая живо защищала утверждение, что она верит в бога, при этом не проявляя, собственно, веры в бога.

Задавая ей вопросы о плюсах, которые, как она думала, получала от веры, я познакомил её с литанией Тарского, которая на самом деле является бесконечным семейством литаний вида:

Если небо синее, я хочу верить, что «небо синее».

Если небо не синее, я хочу верить, что «небо не синее».

«Это не моя философия», — сказала она.

«Я и не предполагал этого», — я ответил. — «Я просто спрашиваю; предполагая, что бог не существует, и это известно, должна ли ты верить в бога?»

Она колебалась. Было видно, что она пытается действительно подумать об этом, что меня удивило.

«Ну это гипотетический вопрос…» — произнесла она медленно.

Тогда я подумал что ей должно быть сложно позволить себе представить визуализировать мир, где бога нет, из-за её привязанности к миру с существующим богом.

Сейчас же я подозреваю, что ей скорее было трудно уловить разницу между тем как выглядел мир с существующим и несуществующим богом, потому что все её мысли были о её вере в бога, но причинно-следственный блок в её мозге не содержал узла «бог». Так что она могла легко ответить на вопрос: «Как бы выглядел мир, если бы ты не верила в бога», — но не на вопрос: «Как бы выглядел мир, если бы в нём не было бога?»

Она не ответила на этот вопрос в тот раз. Зато она предложила контрпример к литании Тарского:

Она сказала: «Я верю, что люди добрее, чем они есть».

Я попытался объяснить ей, что если она говорит: «Люди злые», — это на самом деле означает, что она верит, что люди злые, а если она говорит: «Я верю, что люди добрые», — это показывает, что она верит, что она верит, что люди добрые. Отсюда выходит, что «Люди злые, но я верю, что люди добрые» переводится как «Я верю, что люди злые, но я верю, что я верю, что люди добрые».

Я процитировал:

«Если бы существовал глагол со значением „ложно верить“, он бы не имел осмысленного употребления от первого лица настоящего времени изъявительного наклонения», — Людвиг Витгенштейн.

Она ответила, улыбаясь: «Да, я действительно верю, что люди действительно добрее, чем они на самом деле являются. Я просто подумала, что так понятнее для тебя».

«Мне кажется Матушка Ветровоск должна хорошенько взглянуть на тебя, Уолтер», — сказала Нянюшка Ягг. — «Я думаю, что твой разум спутан, как клубок пряжи, который уронили», — Терри Пратчетт, «Маскарад».

И я могу даже явно напечатать мысль: «Ладно, предположим, что она не считает, что её размышления должны быть согласованы при их обдумывании», — но я до сих пор не могу уловить их смысл.

Я могу понять значение произносимых ею слов, но я не могу понять смысл на эмпатическом уровне. Я могу представить себя на месте детопожирающих пришельцев и Леди Кирицугу Третьей, но я не могу представить, каково быть ей. Или просто не хочу?

Вот почему сообразительные люди могут выдержать только конечное субъективное количество времени, затраченное на мысли о религии, перед тем как стать атеистами. После определённого порога, если ты умён, но, защищая свою религию, не избежал когтей эпистемологии Тёмной стороны, то твой разум станет похож на картину Эшера. (Один из немногих моментов, которые заставили её остановиться и подумать — упоминаю на случай, если вам подвернётся возможность использовать этот приём — это когда она говорила о том, как приятно верить, что кому-то не всё равно, хорошо или плохо ты поступаешь, вне зависимости правда это или нет — не выражая явно, существует ли в действительности бог, которому не всё равно, делаешь ли ты правильные вещи или нет (это не было частью её веры).

И я ответил: «Но мне не всё равно хорошо или плохо ты поступаешь. То есть ты говоришь, что это недостаточно, и тебе нужно знать, что есть сущность выше человечества, которой было бы это важно». Это остановило её на секунду, потому что, разумеется, она никогда не думала в этом ключе. Просто стандартный приём из нестандартного набора.

Позже в некоторый момент я спросил её, было бы хорошо делать что-то по-другому, если бы стало известно, что бога точно не существует, и в этот раз она ответила: «Нет».

«Итак», — скептически спросил я, — «существует бог или нет, это не оказывает абсолютно никакого эффекта на то, как следует вести себя людям? Я думаю, даже рабби бы отнёсся недоверчиво к такой точке зрения».

Её религия представляла собой одно лишь поклонение поклонению. Как раньше истинные верующие верили, что всевидящий отец всего живого спасёт их, так она верит, что вера в бога спасёт её.

После того как она сказала: «Я верю, что люди добрее, чем они есть», — я спросил: «Значит, ты постоянно удивляешься, когда люди не соответствуют твоим ожиданиям?» После длинной паузы, она медленно ответила: «Ну… удивлена ли я, когда люди… не соответствуют моим ожиданиям?»

Я не понял смысл этой паузы во время разговора. Я намеревался сказать, что если она постоянно разочаровывается реальностью, то это скорее всего просто недостаток неверных убеждений. Но вместо этого, мне показалось, её застал врасплох подтекст отсутствия у неё удивления.

Теперь я понимаю, что вся её философия зиждилась на вере, что она обманула себя, и возможность, что её настоящая оценка поведения людей была точной, угрожала эпистемологии Тёмной стороны, возведённой вокруг убеждений вроде «Я получаю пользу от веры, что люди добрее, чем они есть».

Она сняла старого идола с трона и заменила его явным поклонением тёмной эпистемологии, которую однажды изобрела, чтобы защищать идола; она поклоняется её же попытке самообмана. Попытка провалилось, но она честно не знает об этом.

Теперь образцовые стражники здравого смысла (девиз: «Обламываем вашу мелкую безумную братию со времён Эпикура») должные бороться ещё и активным поклонением самообману, поклонением предполагаемой пользе веры, вместо бога.

На самом деле это объясняет один факт обо мне самом, который я не совсем понимал ранее. Причина, по которой меня так раздражает, когда люди говорят, будто самообман — это просто, и почему я пишу целые эссе на тему, почему сделать мысленный выбор верить, что небо зелёное, и остаться без каши в голове сложнее, чем думают люди.

Потому что, хоть и нельзя просто так выбрать верить, что небо зелёное, если ты этого не сознаёшь, ты можешь на самом деле обмануть себя в том, что ты успешно обманул себя.

И раз уж ты искренне веришь, что получишь определённую пользу от самообмана, ты действительно получишь такой же плацебо-эффект, какой бы получил от успешного самообмана.

Так что когда я объяснял, насколько сложен самообман, я скорее критиковал плацебо-пользу, которую получали бы люди от веры в успешность этого действия, целясь в новый тип религии, который поклоняется поклонению богу.

Интересно, породит ли эта битва, новый список причин, почему не вера а вера в веру сама по себе - хорошая вещь? Почему люди выискивают великую пользу от почитания факта почитания определённой вещи? Придётся ли нам продолжать цепочку с верой в веру в веру и поклонением поклонению поклонению? Или разумные теисты не будут плодить сущности?

Хотел бы я верить, что никто не будет верить в веру в веру в веру, но аргумент мира зомби в философии ещё более запутанный чем это, и его сторонники всё ещё не забросили его.

Перевод: 
Siarshai, deep_blue_hex
Номер в книге "Рациональность: от ИИ до зомби": 
84
Оцените перевод: 
Средняя оценка: 4.8 (6 votes)

Парадокс Мура

Элиезер Юдковский

Парадокс Мура это стандартный термин для выражения «За окном идёт дождь, но я в это не верю». Снимаю шляпу перед painquale на MetaFilter.

Я думаю, я стал понимать парадокс Мура немного получше, после того как прочитал некоторые комментарии на Less Wrong. Jimrandomh подсказывает:

Многие люди не могут разделить разные уровни косвенности. Для них «Я верю в X» и «X» это одно и то же. Следовательно, причины, почему полезно верить в X, это те же причины, почему X - истина.

Я не думаю, что это правда. Сравнительно маленькие дети могут понять концепцию ложного убеждения, которая требует раздельных ментальных вёдер для карты и территории. Но эта мысль указывает в направлении похожей идеи:

Многие люди не могут сознательно различить веру во что-то и поддерживание чего-то.

В конце концов, «Я верю в демократию» в разговорной речи означает, что ты поддерживаешь концепцию демократии, а не веру в то, что демократия существует. Слово «вера», таким образом, имеет более одного значения. Может, запутанные слова порождают путаницу в мыслях, а может, они просто отображают уже существующую путаницу.

Отсюда, в исходном примере: «Я верю, что люди добрее, чем они есть», женщина, с которой я разговаривал, выдумала несколько причин, почему хорошо верить, что люди добрые - польза для психического здоровья и прочее - и так как эта мысль вызывала тёплый отклик в её сознании, она исследовала его и заключила:

«Я верю, что люди добрые». Таким образом, она перенесла положительное чувство, связанное с поддерживаемым убеждением, на сигналирование веры в это заявление. В то же время, сам окружающий мир выглядит, будто люди не такие уж добрые. Поэтому она сказала: «Я верю, что люди добрее, чем они есть».

И это граничит с честной ошибкой - или вроде того - так как обычно людей не учат явно определять, как это выглядит, когда они во что-то верят. Как в притче о драконе в гараже; человек, который говорит: «В моём гараже есть дракон, но он невидимый», - не понимает, что его ожидание не увидеть дракона показывает, что на самом деле он поддерживает (точную) модель мира без дракона в ней.

Не то чтобы люди тренируются распознавать, когда они во что-то верят.

Не то чтобы их кто-то учил в старшей школе: «Когда вы действительно верите во что-то - это утверждение в вашем активном наборе убеждений - это выглядит будто мир такой и есть. Вы должны распознавать это чувство, которое и есть настоящее (без кавычек) убеждение, и отделять его от приятных ощущений от веры во что-то, которую вы распознаёте как веру во что-то; это есть просто „вера“ (с кавычками)». Такой подход к обучению позволил бы сделать пример парадокса Мура из жизни намного менее философски чуждым, и дало бы ещё один механизм при помощи которого люди могли бы быть одновременно и правы и неправы.

Как Kurige, который писал:

Я верю, что существует бог, и что он вселил в нас чувство правильного и неправильного, с помощью которого мы можем оценивать мир вокруг нас. Также я верю, что чувство морали было эволюционно запрограммировано в нас - чувство морали, которое скорее всего стало результатом метаполитических игр в популяциях бонобо много-много лет назад.

Эти два убеждения не противоречат друг другу, но сложно сшить их в одну философию.

Подозреваю, Kurige решил, что у него есть причины поддерживать убеждение, что бог внушил нам внутреннее чувство добра и зла. А также, что он должен следовать вердикту науки. И научное и религиозное сообщества кажутся весьма достойными, правда? Есть же плюсы в каждом наборе убеждений? При рефлексии можно обнаружить, что и то и другое даёт положительные эмоции?

Но он не сказал: «Бог вселил в нас чувство правильного и неправильного, а чувство морали было эволюционно запрограммировано в нас. Оба состояния реальности одновременно нестабильны, сложно их сочетать».

Если ты читаешь это, Kurige, попробуй быстро сказать эту фразу вслух, чтобы заметить, что её немного сложнее проглотить. Заметь субъективную разницу до того как займёшься рационализацией.

Это и есть субъективная разница между «иметь причины поддерживать обе точки зрения» и «иметь в мыслях единую модель мира».

Перевод: 
Siarshai
Номер в книге "Рациональность: от ИИ до зомби": 
85
Оцените перевод: 
Средняя оценка: 4.5 (6 votes)

Не верь, что самообман удался

Элиезер Юдковский

Не хочу, чтобы показалось, будто я придираюсь к Kurige, но думаю, что следует ожидать определённого потока вопросов, если ты показываешься на Less Wrong и делаешь заявления вроде

Идея, которая позволила мне объяснить несоответствия, которые я чувствую, когда говорю с другими христианами — это мысль, что где-то на пути к моему текущему мировоззрению я сделал большой скачок от слепой веры к чему-то вроде Оруэлловского двоемыслия.

«Если ты знаешь, что это двоемыслие… как ты можешь всё ещё в него верить?» — не могу я не спросить.

Или:

я выбрал верить в существование бога — сознательно и преднамеренно. И это моё решение, как бы то ни было, не имеет абсолютно никакого эффекта на действительное существование бога.

Если ты знаешь, что твоё убеждение никак не коррелирует с реальностью, как ты всё ещё можешь его придерживаться?

Не должно ли осознание нутром «Стойте-ка, небо на самом деле не зелёное» сразу следовать за мыслю «Моя карта, утверждающая „небо зелёное“, не имеет никаких причин соответствовать территории»?

Ну… видимо нет.

По крайней мере частью этой загадки может быть моё объяснение парадокса Мура («На улице дождь, но я не верю в это») — что люди внутренне принимают положительные ассоциации, связанные с утверждением, за настоящую достоверность.

Но другая часть того, чем это просто могло быть (в противоположность негодованию, которое я изначально хотел сюда поместить) — действительная лёгкость застрять на шаге: «Карта, отражающая территорию, сказала бы „X“» — не перейдя к действительной убеждённости в „X“. Потребуется немного потрудиться, чтобы объяснить идеи о разуме как строителе картотерриториальных связей, и даже тогда, чтобы понять смысл нутром, может потребоваться больше работы.

Теперь я понимаю, что когда писал: «Вы не можете заставить себя верить, что небо синее, усилием воли», — я не был лишь беспристрастным обозревателем существующих фактов, а также пытался внушить самоисполняющееся пророчество.

Наверное, было бы мудрым решением повторять себе: «Я не смогу безнаказанно пользоваться двоемыслием! Глубоко внутри, я знаю, что это неправда! Если я узнаю, что у моей карты нет причин коррелировать с территорией, я не буду верить ей!»

Потому что так — если когда-нибудь появится соблазн попытаться обмануть себя — мысли «Но я же знаю, что это не правда!» и «Я не могу обмануть себя!» будут постоянно приходить на ум, и вы в самом деле с меньшей вероятностью преуспеете в самообмане. Вы с большей вероятностью поймёте на уровне подсознания, что убеждение себя в X не сделает X истиной.

Если вы будете говорить себе, что не можете преднамеренно поверить, что небо зелёное, тогда вы с меньшей вероятностью обманете себя на том или ином уровне: на уровне действительной веры во что-то или попадания в ловушку парадокса Мура, веры в веру или веры в самообман.

Если вы будете повторять, что в глубине души вы будете знать правду…

Если вы будете повторять, что можете просто глядеть на хитро сконструированную ложную карту, и знать, что она ложная, не ожидая никакой корреляции с территорией, и следовательно, не смотря на всю причудливость сооружения, не будете вкладывать в неё доверия…

Если вы будете повторять, что согласованность с реальным миром победит и не позволит вам верить в придуманные вещи на объектном уровне, как только вы придёте к мета-уровневому осознанию, что карта не отражает территорию, тогда положение дойдёт до критического момента и вы в самом деле можете не суметь с ним справиться.

Когда дело доходит до умышленного самообмана, вы должны верить в собственное неумение этого делать!

Скажите себе, что попытка обречена — и она будет!

Это сила позитивного мышления или сила негативного мышления?

В любом случае, кажется, что это мудрая предосторожность.

Перевод: 
Siarshai, deep_blue_hex
Номер в книге "Рациональность: от ИИ до зомби": 
86
Оцените перевод: 
Средняя оценка: 3.6 (14 votes)

Свежий взгляд на вещи

В этой цепочке описывается, как можно заставить мозг действительно о чём-то задуматься, вместо того, чтобы остановиться на первой пришедшей в голову мысли.

Материалы цепочки распространяются по лицензии CC BY-NC-SA 3.0

Автор: 
Элиезер Юдковский

Якорение и корректировка

Элиезер Юдковский

Предположим, я у вас на глазах раскручиваю рулетку и выпадает число 65. После чего я спрашиваю: «Как вы думаете, процент африканских стран в ООН больше этого числа или меньше? Какова вообще доля африканских стран в ООН?» Попробуйте немного подумать над этими вопросами, только, пожалуйста, без Гугла.

А ещё попробуйте за 5 секунд примерно оценить результат следующего арифметического выражения. 5 секунд. Готовы? Внимание… время пошло!

$$1 \cdot 2 \cdot 3 \cdot 4 \cdot 5 \cdot 6 \cdot 7 \cdot 8$$

Тверски и Канеман изучали, какие ответы дают люди в зависимости от того, какие числа они видят на рулетке1. Медианная оценка тех, у кого выпадало число 65, равнялась 45%. Для тех, у кого выпадало 10, медианная оценка равнялась 25%.

В настоящее время результаты этого эксперимента и ему подобных объясняются тем, что испытуемые берут начальное — неинформативное — число в качестве стартовой точки (или «якоря»), а затем корректируются в большую или меньшую сторону, пока не получат ответ, который будет «звучать правдоподобно». На этом корректировка заканчивается. Обычно люди корректируются недостаточно — более удалённые от «якоря» числа тоже могут выглядеть «правдоподобно», но люди останавливаются на первом ответе, который кажется удовлетворительным.

Аналогично, у студентов, которым показали произведение $1 \cdot 2 \cdot 3 \cdot 4 \cdot 5 \cdot 6 \cdot 7 \cdot 8$, медианной оценкой было 512, а у студентов, которым показали произведение $8 \cdot 7 \cdot 6 \cdot 5 \cdot 4 \cdot 3 \cdot 2 \cdot 1$, медианная оценка равнялась 2250. Это объясняется гипотезой, что студенты пытались перемножать (или прикидывать) результаты произведения первых сомножителей, а затем корректировались в большую сторону. В обоих случаях корректировка оказалась недостаточной — верный ответ равен 40320. Но ответы первой группы оказались хуже, потому что они отталкивались от меньшего «якоря».

Тверски и Канеман утверждают, что, даже когда людям предлагают награду за большую точность, эффект якорения не уменьшается.

Страк и Муссвайлер задавали людям вопрос, в каком году Эйнштейн в первый раз посетил США2. Обнаружилось, что совершенно неправдоподобные якоря, такие как 1215 или 1992, дают такой же эффект, как и более правдоподобные, такие как 1905 или 1939.

Эффект якорения часто используется при обсуждении заработной платы и при покупке машины. Я не призываю вас самих им пользоваться, но рекомендую следить, чтобы его не использовали против вас.

И главное: наблюдайте за своими мыслями, старайтесь замечать, когда вы корректируетесь в поисках ответа.

Способов противодействия якорению с доказанной эффективностью пока не обнаружено. Я бы предложил использовать следующие два. Во-первых, если первоначальное предположение выглядит неправдоподобным, попытайтесь полностью его отбросить и получить новую оценку, а не корректируйтесь относительно «якоря». Однако, этого может быть недостаточно — когда испытуемым говорили избегать якорения, судя по всему, это им не удавалось3. Поэтому, во-вторых, даже когда вы используете первый метод, пытайтесь также придумать «якорь» с противоположной стороны — «якорь», который явно слишком мал или слишком велик (в зависимости от того, велик или мал изначальный «якорь») — и немного подумайте о нём.

  • 1. Amos Tversky and Daniel Kahneman, «Judgment Under Uncertainty: Heuristics and Biases», Science 185, no. 4157 (1974): 1124–1131, doi:10.1126/science.185.4157.1124.
  • 2. Fritz Strack and Thomas Mussweiler, «Explaining the Enigmatic Anchoring Effect: Mechanisms of Selective Accessibility», Journal of Personality and Social Psychology 73, no. 3 (1997): 437–446.
  • 3. George A. Quattrone et al., «Explorations in Anchoring: The Effects of Prior Range, Anchor Extremity, and Suggestive Hints» (Unpublished manuscript, Stanford University, 1981).
Перевод: 
Remlin, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
87
Оцените перевод: 
Средняя оценка: 5 (5 votes)

Прайминг и контаминация

Элиезер Юдковский

Предположим, вы просите людей нажимать одну клавишу, если строка из букв представляет собой слово, и другую клавишу, если строка не является словом (например, «вывеска» и «выверк»). Потом вы показываете им слово «вода». После этого люди опознают строку «пить» как слово гораздо быстрее. Это явление известно как «когнитивный прайминг». Конкретно эту форму можно назвать «семантический прайминг» или «концептуальный прайминг».1

Самое интересное в прайминге — это то, что он работает на очень низком уровне. Прайминг ускоряет идентификацию букв как слова, при том, что естественно было бы ожидать, что человек сначала опознаёт буквы как слово, а только потом понимает смысл этого слова.

Прайминг также показывает масштабность процесса параллельно активирующихся цепочек ассоциативных связей. Если при виде слова «вода» активируется слово «пить», то, скорее всего, активируются и слова «река», «чашка», «всплеск»… И эта активация распространяется через семантическую связь концептов, действуя начиная с распознавания строчек из букв.

Прайминг происходит подсознательно и его невозможно остановить, это артефакт человеческой нейронной архитектуры. Пытаться остановить прайминг у себя всё равно что пытаться остановить активацию собственных нейронных цепей. Попробуйте вслух произнести цвет — не значение, а именно цвет — следующего набора букв:

Зелёный

В исследовании Массвайлера и Страка испытуемым задавали вопрос (подразумевавший якорение): «Ежегодная средняя температура в Германии выше или ниже 5 градусов/20 градусов?»2 В дальнейшем, при выполнении задачи на распознание слов, описанной выше, испытуемые, которым задавали вопрос, где фигурировало «5 градусов», быстрее опознавали слова наподобие «холодно» или «снег», а те, кто отвечал на формулировку с 20 градусами, быстрее узнавали «тепло» и «солнце». Это показывает некорректируемый при якорении механизм: прайминг сходных мыслей и воспоминаний.

Более общие результаты исследований прайминга показывают, что даже совершенно неинформативная, очевидная ложь или совершенно посторонняя «информация» могут влиять на оценки и решения. В области эвристик и искажений данное общее явление известно как контаминация.3

Ранние исследования в области эвристик и искажений продемонстрировали эффекты якорения. Например, испытуемые оценивали процент африканских стран в ООН ниже(выше), в зависимости от того, спрашивали ли их перед этим, больше или меньше ли этот процент, чем 10 (65). Этот эффект изначально объяснялся тем, что испытуемые брали «якорь» как стартовую точку, а потом корректировали свой ответ и прекращали корректировку сразу же, когда достигали какого-то правдоподобного значения — останавливались на одном из концов доверительного интервала.4

Судя по всему, ранняя гипотеза Тверски и Канемана верно объясняла явление в некоторых случаях, особенно когда испытуемые сами определяли начальные значения.5 Но, похоже, современные исследования показывают, что в большинстве случаев якорение вызывается контаминацией, а не недостаточной корректировкой. (Спасибо анонимному читателю за напоминание — много лет назад я читал статью Эпли и Гиловича, как главу в «Правилах и предубеждениях», но совершенно забыл о ней.)

Скорее всего, в супермаркете, куда вы ходите, есть раздражающие таблички, на которых написано: «не более 12 в одни руки» или «5 штук за 10$». Успешно ли эти таблички заставляют посетителей покупать больше? Вероятно, вы думаете, что на вас такие трюки не действуют. Но известно, что такие таблички работают — именно поэтому магазины их и используют.6

И всё же самое ужасное в контаминации — то, что она является ещё одним из тысячи обликов предвзятости подтверждения. Когда идея попадает человеку в голову, она влияет на всю связанную с ней информацию — и тем самым способствует своему дальнейшему существованию. Выработанное средой стремление побеждать в политических дебатах тут уже не важно. Предвзятость подтверждения напрямую встроена в наше «железо», ассоциативные сети влияют на все связанные мысли и воспоминания. Печальный побочный эффект нашей нейронной архитектуры.

Мимолётного образа может быть достаточно для быстрого распознавания связанных с ним слов. Этого уже хватит, чтобы запустить предвзятость подтверждения. Один миг - и нижняя строчка уже определена, поскольку мы меняем своё мнение реже чем нам кажется.

  • 1. Нобелевский лауреат публично признал ошибки — Прим.перев.
  • 2. Thomas Mussweiler and Fritz Strack, «Comparing Is Believing: A Selective Accessibility Model of Judgmental Anchoring», European Review of Social Psychology 10 (1 1999): 135–167, doi:10.1080/14792779943000044.
  • 3. Gretchen B. Chapman and Eric J. Johnson, «Incorporating the Irrelevant: Anchors in Judgments of Belief and Value», in Gilovich, Griffin, and Kahneman, Heuristics and Biases, 120–138.
  • 4. Tversky and Kahneman, «Judgment Under Uncertainty.»
  • 5. Nicholas Epley and Thomas Gilovich, «Putting Adjustment Back in the Anchoring and Adjustment Heuristic: Differential Processing of Self-Generated and Experimentor-Provided Anchors», Psychological Science 12 (5 2001): 391–396, doi:10.1111/1467-9280.00372.
  • 6. Brian Wansink, Robert J. Kent, and Stephen J. Hoch, «An Anchoring and Adjustment Model of Purchase Quantity Decisions», Journal of Marketing Research 35, no. 1 (1998): 71–81, http://www.jstor.org/stable/3151931 .
Перевод: 
Remlin, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
88
Оцените перевод: 
Средняя оценка: 5 (Всего оценок: 1)

Мы верим всему, что нам говорят?

Элиезер Юдковский

В некоторых из ранних экспериментов по якорению и корректировке проверялось, ухудшится ли у испытуемых качество корректировки (и, как следствие, увеличится ли влияние «якоря»), если их отвлекать — например, испытуемых просили отыскивать среди многих цифр «пятёрку», обеспечивая тем самым им когнитивную «нагрузку». Судя по всему, большинство экспериментов подтвердили точку зрения, что когнитивная нагрузка усиливает эффект якорения и, в общем случае, контаминацию.

Когда Дэниэл Гилберт изучал накапливающиеся результаты экспериментов — всё больше и больше подтверждений контаминации, которую усиливала когнитивная нагрузка — ему пришла в голову поистине безумная гипотеза: Мы верим вообще всему, что нам говорят?

Естественно было бы предположить, что, когда мы слышим некое утверждение, мы сперва понимаем его суть, затем размышляем над ним, и в итоге принимаем его или отвергаем. Такая напрашивающаяся модель познавательного процесса предлагалась ещё Декартом. Но оппонент Декарта — Спиноза — возражал: по его мнению, мы в процессе понимания утверждения сперва пассивно принимаем его, и только затем активно отказываемся от утверждений, которые отвергаем в процессе размышлений.

На протяжении нескольких последних веков философы в основном придерживались точки зрения Декарта, поскольку она казалась, ну вы понимаете — более логичной и интуитивно понятной. Но Гилберт придумал способ экспериментально проверить гипотезы Декарта и Спинозы.

Если Декарт прав, то отвлечение испытуемых помешает им как принимать истинные утверждения, так и отвергать ложные. Если прав Спиноза, то отвлечение испытуемых приведёт к тому, что они будут чаще принимать ложные утверждения за истинные, но не станут чаще принимать истинные утверждения за ложные.

Исследование Гилберта, Крула и Мэлоуна подтвердило точку зрения Спинозы. Испытуемым показывали новые для них утверждения с пометками ИСТИННО или ЛОЖНО. В результате испытуемые примерно одинаково точно опознавали истинные утверждения (55% утверждений было опознано правильно, если испытуемых не отвлекали и 58%, если отвлекали). Однако, отвлечение влияло на идентификацию ложных (55% было опознано правильно, когда испытуемых не отвлекали, и 35%, когда отвлекали).1

Последующие эксперименты Гилбера, Тафароди и Мэлоуна2 дали ещё более поразительные результаты. Испытуемые зачитывали вслух с монитора отчёты о преступлениях. В тексте цветом помечалось, является ли конкретное утверждение истинным или ложным. Некоторые отчёты содержали ложные утверждения, усугубляющие тяжесть преступления, некоторые — ложные утверждения, смягчающие тяжесть преступления. Некоторым испытуемым во время чтения отчётов приходилось отвлекаться на строку цифр и выискивать в них цифру «5» — это было отвлечение для создания когнитивной нагрузки. В конце испытуемых просили дать рекомендацию, сколько лет тюрьмы следует назначить каждому преступнику (от 0 до 20 лет).

Испытуемые, которые действовали под когнитивной «нагрузкой» в среднем предлагали 11,15 лет заключения за преступления, описанные в отчётах с ложными отягчающими обстоятельствами. За преступления, описанные в отчётах с ложными смягчающими обстоятельствами, эти испытуемые в среднем предлагали 5,83 лет заключения. Разница оказалась почти двукратной, что, как вы можете догадаться, статистически значимо.

Контрольная группа действовала без когнитивной нагрузки — с теми же пометками и с той же бегущей строкой цифр, но им не нужно было искать цифру «5». Таким образом они могли уделить больше внимания «неправдоподобным» утверждениям, отмеченным как ложные. Участники из контрольной группы предлагали 7,03 лет заключения для преступников с ложными отягчающими обстоятельствами против 6,03 лет для преступников с ложными смягчающими обстоятельствами.

Статья Гилберта, Крула и Мэлоуна вышла под названием «Вы не можете не верить всему, что вы читаете».

Эти результаты наводят на мысль, что нам, как минимум, следует вести себя очень осторожно, когда нам попадается ненадёжная информация. Особенно, если в это время мы заняты чем-то ещё. Будьте бдительны, читая газеты в супермаркете.

P.S. Согласно непроверенным слухам, которые я просто выдумал, люди будут больше доверять написанному в этом эссе, поскольку для отвлечения внимания я использую здесь шрифт разных цветов.

  • 1. Daniel T. Gilbert, Douglas S. Krull, and Patrick S. Malone, «Unbelieving the Unbelievable: Some Problems in the Rejection of False Information», Journal of Personality and Social Psychology 59 (4 1990): 601–613, doi:10.1037/0022-3514.59.4.601.
  • 2. Gilbert, Tafarodi, and Malone, «You Can’t Not Believe Everything You Read».
Перевод: 
Remlin, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
89
Оцените перевод: 
Средняя оценка: 4.6 (7 votes)

Кешированные мысли

Элиезер Юдковский

Одна из величайших загадок человеческого мозга заключается в том, как он вообще может работать, если частота импульсации большинство нейронов составляет 10-20 раз в секунду, в лучшем случае 200 Гц. В нейронауках есть правило ста шагов, согласно которому любая теоретически допустимая операция должна занимать не более 100 последовательных шагов: вы можете сделать процессы обработки настолько параллельными, насколько вам хочется, но вы не можете задействовать в них больше 100 (а лучше меньше) нейронных импульсов, следующих подряд.

Можете ли вы вообразить программу, которая использует 100-герцовые процессоры, независимо от имеющегося их количества? Чтобы сделать в реальном времени хоть что-нибудь, понадобится сто миллиардов процессоров.

Если нужно написать действующие в реальном времени программы для сотни миллиардов 100-герцовых процессоров, можно использовать такой трюк, как кеширование. Суть его следующая: вы сохраняете результаты предыдущих операций и в следующий раз обращаетесь сразу к ним, а не вычисляете с нуля. И это весьма характерно для работы мозга, заключающейся в распознавании, поиске ассоциаций, выборе шаблона.

Разумно предположить, что большая часть когнитивных процессов у человека представляет собой поиск в кеше.

Данная мысль мелькает в моем мозгу время от времени.

Есть очень показательная история, которую я вроде бы сохранил в закладках, но потом не смог найти — это рассказ о человеке, чей сосед-всезнайка однажды мимоходом заметил, что легче всего убрать дымовую трубу из дома так: выломать топку, подождать пока труба опустится ниже, убрать видимый ее кусок, подождать пока она опустится еще и так далее, пока вся труба не будет убрана. Годы спустя, когда тот человек хотел убрать дымовую трубу из своего дома, эта кешированная мысль всплыла в его сознании…

Как рассказывал этот человек уже потом — как можно догадаться, дело отнюдь не заладилось — его сосед не особенно хорошо разбирался в этой сфере и не был надежным источником. Если б герой нашей истории подверг ту идею сомнению, он скорее всего понял, что она неудачна. Некоторые кешированные результаты все же лучше вычислять заново. Но мозг следует шаблону автоматически: если вы не осознаете, что шаблон нуждается в исправлении, вы так и продолжите действовать по прежнему шаблону.

Я подозреваю, что если бы та мысль пришла к человеку самостоятельно — если бы он сам додумался до той идеи о том, как убрать дымоход — он бы отнесся к ней более критически. Но если кто-то уже обдумал идею со всех сторон, вы можете сэкономить свои вычислительные ресурсы, просто кешировав результат — так?

Никто не может думать достаточно быстро, чтобы использовать исключительно свои собственные мысли, особенно в условиях современной цивилизации. Если бы меня в младенчестве бросили в лесу, где меня воспитали бы волки либо бессловесные роботы, во мне едва ли можно было бы узнать человека. Никто не может думать достаточно быстро, чтобы за одну жизнь кратко воссоздать мудрость племени охотников-собирателей, начиная с самого нуля. И уж подавно это невозможно для мудрости цивилизации, овладевшей письменностью.

С другой стороны, я постоянно вижу поборников критического мышления, которые при этом повторяют кешированные мысли, придуманные теми, кто думает отнюдь не критично.

Хорошим примером будет скептик, который согласен с невозможностью доказать или опровергнуть религию фактическим свидетельством. Как я уже отмечал, согласно теории вероятности, это просто ложь. И относительно реальной психологии религии это тоже просто ложь — если б вы сказали такое несколько веков назад, то оказались на костре. Мать, чья дочь больна раком, молится: «Господь, пожалуйста, исцели мою дочь», а не «Дорогой Господь, я знаю, что религии не позволяют иметь каких-либо фальсифицируемых последствий, а это значит, что ты, скорее всего, не можешь исцелить мою дочь, так что… ну, в общем, я молюсь, чтобы почувствовать себя лучше, вместо того, чтобы сделать что-то действительно полезное для моей дочери».

Но люди читают «Нельзя доказать или опровергнуть религию фактическим доказательством» и в следующий раз, когда они видят часть доказательства, которое опровергает религию, их мозг реагирует по шаблону. Даже некоторые атеисты повторяют этот абсурд без тени сомнений. Если бы они обдумали данную идею самостоятельно, а не услышали от кого-то еще, они бы отнеслись к ней скептичнее.

Смерть. Шаблон «смерть придает смысл жизни».

Так раздражает, когда хорошие и достойные люди, которые сами никогда бы в жизни не додумались о том, чтобы стереть человечество с лица земли, поднимают в разговоре тему экзистенциальных рисков и говорят: «Ну, возможно, человечество не заслуживает выживания». Они в жизни бы не выстрелили бы в собственного ребенка — а ведь он тоже часть человечества — однако их мозг следует шаблону.

От каких из шаблонов, работающих в вашем мозге, вы хотели б избавиться?

Рациональность. Шаблон «любовь нерациональна».

Если бы эта идея внезапно пришла бы именно к вам как совершенно новая мысль, как бы вы стали ее критически анализировать? Я знаю, что я бы сказал, но что сказали бы вы? Взглянуть свежим взглядом может быть нелегко. Старайтесь не давать вашему мозгу следовать по стандартному, ожидаемому, уже известному пути. В конкретном случае может не существовать лучшего ответа, чем привычный, но вы не можете обдумать ответ на этот вопрос, пока не заставите свой мозг не выдавать ответ автоматически.

Теперь, когда вы прочитали мое эссе, в следующий раз, услышав, что кто-то уверенно повторяет мем, который вам кажется глупым или ложным, вы подумаете: «кешированная мысль». Мое убеждение теперь у вас в голове, ждет возможности стать шаблоном. Но верно ли оно? Не позволяйте мозгу следовать шаблону! Думайте!

Перевод: 
Remlin, Sergey Skeptic
Номер в книге "Рациональность: от ИИ до зомби": 
90
Оцените перевод: 
Средняя оценка: 5 (8 votes)

Стандартный «нестандарт»

Элиезер Юдковский

Всякий раз, когда кто-то призывает вас «думать нестандартно», они обычно, для вашего удобства, точно указывают рамки этого «нестандартно». Не забавно ли видеть одинаково выглядящих нонконформистов?..

В области исследований искусственного интеллекта все агитаторы нестандартного подхода призывают использовать нейронные сети. Они ведь могут имитировать работу человеческого мозга! Новая ИИ идея: завершите шаблон: «Логические ИИ, несмотря на все обещания, так и не дают реальный результат десятилетиями — все что нужно, это нейронные сети!»

Этой шаблонной мысли уже около трех десятилетий. А интеллекта пока нет. Но почему-то все знают, что нейронные сети являются Доминантной-Парадигмой-Инновационной-Идеей, причем еще со времен изобретения алгоритма обратного распространения ошибки в 1970-х. Со времен хиппи.

Нонконформисты по своей природе хотят отличаться от нормы. Если вы не носите черное, как люди узнают, что вы угнетенный художник? Как людям распознать уникальность, если неизвестен шаблон, в соответствии с которым распознается уникальность? Как кто-либо поймет, что ваш концепт ИИ революционен, если это не нейронные сети?

Другим примером этого же явления можно назвать «антиправительственную» литературу, которая вся звучит одинаково, основываясь на маленькой открытой лиге повстанцев, которые управляют целым английским департаментом. Как спросил Анонимус в блоге Скотта Ааронсона:

«Хоть что-то из антиправительственной литературы, которую вы читали, заставило вас изменить свои политические взгляды?»

Или как замечает Лизард:

«Революция уже похожа на телепрограмму. Ее уже можно приобрести. Она уже является покупаемым стилем, доступным в магазине. Двадцать долларов за маску, за баллончик с краской, за транспарант «Бей фашистов» и доступ в ваш блог, где вы можете писать о жестокости полиции, когда вы подставились под пожарный гидрант. Капитализм учится как продавать антикапитализм».

Многие в Силиконовой Долине наблюдают, как большинство венчурных капиталистов в любой момент времени гонятся за одной и той же Революционной Инновацией, которая является абсолютно той же, что и полгода назад. Это особенно разрушительное наблюдение в венчурном капитале, поскольку там есть прямой экономический мотив не следовать за стадом — даже если кто-то еще развивает продукт или снижает цену на стартап. Стив Юрветсон однажды сказал мне, что в Драпер Фишер Юрветсон только двум партнерам нужно согласиться, чтобы основать любой стартап до полутора миллионов долларов. И если все партнеры согласны, что какая-то вещь звучит здорово, они этого не делют. Если бы только комитеты по распределению грантов были так же разумны.

Проблема с оригинальностью в том, что вы по-настоящему должны думать, чтобы добиться этого, вместо того, чтобы позволить мозгу последовать шаблону. Нет ничего с наклейкой «за границами шаблона», куда вы могли бы сразу отправиться. Это почти что дзен — типа того, что вы не можете понять сатори через слова, потому что сатори это опыт, который происходит без слов. Чем больше вы стараетесь следовать инструкциям мастера дзен, которые он дает вам через слова, тем дальше вы будете от очищения своего разума.

По этой причине, как я думаю, люди и не добиваются новизны, стремясь к ней. Свойства типа правды или хорошего дизайна независимы от новизны: 2 + 2 = 4, да, правда, даже несмотря на то, что каждый так думает. Люди, которые стремятся открыть правду или изобрести хороший дизайн, могут достигать креативности. Не каждое изменение есть улучшение, но каждое улучшение есть изменение.

Каждое улучшение есть изменение, но не каждое изменение есть улучшение. Тот, кто говорит «я хочу построить оригинальную мышеловку!», а не «я хочу построить оптимальную мышеловку!», всегда желает восприниматься как оригинал. «Оригинальность» в этом смысле по существу социальна, потому что может быть определена только в сравнении с другими людьми. Так что их мозг просто выполняет стандартный шаблон для которого распознается «оригинальность», после чего их друзья кивают, соглашаясь, и говорят что это антиправительственно.

Книги по бизнесу всегда говорят вам, для вашего удобства, куда нужно идти, чтобы получить кусочек сыра. В ином случае читателям оставалось бы только спрашивать «Где это «за пределами», куда мне нужно идти?»

Настоящее мышление, наподобие сатори, — бессловесный акт сознания.

Знаменитые философы Монти Пайтона сказали лучше всего.

Перевод: 
Remlin
Номер в книге "Рациональность: от ИИ до зомби": 
91
Оцените перевод: 
Средняя оценка: 5 (2 votes)

Непосредственный взгляд

Элиезер Юдковский

Поскольку Роберт Пёрсиг выразил это очень хорошо, я просто скопирую ниже то, что он сказал. Я не знаю, основана ли эта история на реальных событиях или нет, но в любом случае она истинна.

У него возникали трудности со студентами, которым нечего было сказать. Вначале он полагал, что это лень, но позднее стало очевидно, что это не так. Они просто не могли придумать, что говорить.

Одна из них, девушка в стильных очках, хотела написать эссе на 500 слов о Соединённых штатах. Он привык уже, когда внутри все опускается от подобных утверждений, и, не отговаривая её, предложил ей лучше сузить тему только до Бозмена.

Когда подошёл срок, работы у неё не вышло, и она была довольно сильно расстроена этим. Она сказала, что пробовала и пыталась писать так и этак, но не смогла ничего придумать.

Это просто обескуражило его. Теперь он сам не мог сообразить, что же ему сказать. Наступило молчание, и затем последовал своеобразный совет: “Ограничьтесь-ка только главной улицей Бозмена”. И это оказалось просто озарением.

Она покорно кивнула и вышла. Но перед следующим уроком она вернулась в совершенном отчаянии, со слезами, отчаяние это назревало у неё, очевидно, уже давно. Она ничего не смогла придумать и не понимала, почему, если она не может ничего сказать обо всём Бозмене, она должна суметь написать что-либо всего лишь об одной улице.

Он рассвирепел. “Вы просто не смотрите!” — заявил он. Ему вспомнилось, как его самого отчислили из университета за то, что он слишком много говорил. По каждому факту есть бесконечное множество гипотез. Чем больше смотришь, тем больше видишь. Она в действительности не смотрела и почему-то не осознавала этого.

Он сердито предложил ей: “Ограничьтесь тогда фасадом одного из зданий на главной улице Бозмена. На оперном театре. Начните с верхнего левого кирпича”.

Ее глаза за толстыми линзами очков, широко распахнулись.

На следующий урок она пришла с озабоченным взглядом и вручила ему эссе на пять тысяч слов о фасаде здания оперы на главной улице Бозмена, штат Монтана. “Я сидела в закусочной через дорогу, — писала она, — и начала описывать первый кирпич, затем второй, а на третьем кирпиче всё началось, и я не смогла остановиться. Они посчитали меня чокнутой и всё время подтрунивали надо мной, но вот так оно получилось. Ничего не понимаю.”

Он тоже не понимал, но во время долгих прогулок по улицам города размышлял об этом и пришёл к выводу, что ей мешала та самая преграда, которая парализовала его в первый день его преподавательской деятельности. Она зациклилась, потому что пыталась повторить на письме то, что уже когда-то слышала, так же как и он сам в тот первый день пытался повторить то, что уже решил рассказать. Она не могла придумать, что бы ей написать о Бозмене, потому что не могла вспомнить ничего стоящего, что можно было бы повторить. Ей как-то не приходило в голову, что можно смотреть своим собственным свежим взглядом, и писать, не обращая внимания на то, что уже было сказано раньше. Ограничение темы одним кирпичом разрушило эту преграду, ибо стало очевидно, что ей нужно непосредственно увидеть нечто самой.

(Из книги Роберт М. Пёрсиг, «Дзен и искусство ухода за мотоциклом».)

Перевод: 
Remlin
Номер в книге "Рациональность: от ИИ до зомби": 
92
Оцените перевод: 
Средняя оценка: 5 (4 votes)

Страннее истории

Элиезер Юдковский

Представьте, если бы я сказал вам, что следующие заявления абсолютно точно являются истинными:

  • Если вы покраситесь в строго определённый цвет между синим и зелёным, сила гравитации поменяет свое направление и вы будете падать вверх.
  • В будущем по всему небу будут плавать миллиарды черных сфер. Каждая из них будет больше всех когда-либо существовавших до этого дирижаблей вместе взятых. Если вы предложите ей деньги, для вас на тросе спустится мужчина по вызову.
  • Ваши внуки будут думать, что отправлять воров в тюрьму вместо того, чтобы их просто шлёпать, — не просто глупо, но и очень жестоко.

Вы бы решили, что я сошел с ума, верно?

А теперь представьте, что сейчас — 1901 год, и вам нужно выбрать, что более правдоподобно — утверждения, перечисленные выше, или следующие:

  • Существует абсолютный предел скорости, при которой объекты будут все еще казаться движущимися относительно друг друга, и точное значение этой скорости — 1 079 252 848,8 километров в час. Если вы прыгнете в поезд, идущий с такой скоростью, и выстрелите из окна, фундаментальные единицы измерения длины изменятся, и вам будет казаться, что пуля летит быстрее вас, однако другие люди будут видеть это иначе. О, и время изменится тоже.
  • В будущем будет существовать суперсвязанная глобальная сеть, состоящая из миллиардов постоянно подключающихся к ней машин, причем каждая из этих машин будет мощнее всех когда-либо существовавших до 1901 года машин вместе взятых. Одним из главных способов использования этой сети будет передача движущихся картинок, изображающих лесбийский секс, поскольку эти картинки якобы состоят из чисел.
  • Ваши внуки будут думать, что говорить, будто женщина не должна быть президентом Соединённых Штатов только потому, что она — чёрная, — не просто глупо, но и очень жестоко.

Это эссе появилось по мотивам комментария Робина Хэнсона: «Интересно, можно ли написать со всеми сопутствующими подробностями рассказ об альтернативной реальности, которую наши предки не смогли бы отличить от правды, чтобы показать со всей ясностью, насколько неожиданной она действительно оказалась».

Перевод: 
deep_blue_hex, stas
Номер в книге "Рациональность: от ИИ до зомби": 
93
Оцените перевод: 
Средняя оценка: 5 (2 votes)

Ошибка обобщения на основе вымышленного свидетельства

Элиезер Юдковский

Когда я пытаюсь познакомить человека с концепцией продвинутого ИИ, что я слышу в первую очередь в более чем половине случаев?

«А, это как в Терминаторе/Матрице/у Азимова!»

И я отвечаю, «Э, нет, не совсем. Я склонен избегать логического заблуждения обобщения на основе выдуманного свидетельства.»

Некоторые люди понимают сразу и смеются. Другие начинают защищать свое право на использование таких примеров, отрицая, что это заблуждение.

Что плохого в использовании кино или книг как исходной точки обсуждения? В конце концов, никто ведь и не говорит, что это истина. Где же ложь, в чем здесь грех рационалиста? Научная фантастика представляет собой попытку автора представить будущее; почему бы не воспользоваться плодами уже сделанных размышлений, вместо того, чтобы начинать заново?

Не каждый неверный шаг в точном танце рациональности заключается в явно видимом убеждении в чем-то ложном; есть менее заметные пути ошибаться.

Сначала давайте предположим, что научная фантастика представляет собой полноценную рациональную попытку предсказать будущее. Даже наиболее добросовестные писатели в первую очередь повествователи; требования к повествованию непохожи на требования к прогнозированию. Как отметил Ник Бостром:

«Когда в последний раз вы видели фильм о том, как человечество внезапно вымирает (без предупреждения и без того, чтобы его кто-то заменил)? А ведь такой сценарий может быть куда вероятнее, чем сценарий где люди-герои успешно отражают вторжение монстров или роботов, хотя он намного скучнее.»

Художественная литература имеет свои специфические искажения. Но попытки исправить их недостаточно. Повествование никогда не является рациональной попыткой анализа, даже у лучших фантастов, поскольку истории не используют распределения вероятностей. Я покажу это так:

«Боб Меркельфуд с опаской проскользнул в дверь инопланетного звездолета, поглядывая направо и налево (или наоборот) на предмет того, не остались ли где-то ужасные Космические Монстры. У него было только одно оружие, которые было эффективно против них, Космический Меч, который с 30% вероятностью состоял из чистого титана, 20% — обычного железа, 45% — таинственных черных дисков, найденных на развалинах Стоунхеджа и 5% других возможных результатов, слишком незначительных, чтобы их перечислять.

Меркельфуд (хотя был значительный шанс, что на самом деле там была Сьюзан Виффлифуфер) сделал два шага вперед и отпрыгнул назад, когда громкий рев разорвал тишину темного шлюза! Или тихий фоновый гул светлого шлюза! Хотя Амфер и Вуфи (1997) доказали, что Меркельфуд был съеден в тот момент, Споклабакл (2003) указывает на то, что…»

Персонажи могут быть невежественны, однако автор не может сказать три волшебных слова «я не знаю». Протагонист должен следовать единой линии событий в будущее, полной подробностей и окружения истории, от возможной будущей точки зрения Виффлифуфер по поводу феминизма, до цвета ее серег.

Потом все эти обременительные детали и сомнительные предположения упаковываются и получают короткий ярлык, создавая иллюзию, что они являются единым пакетом.

С проблемами, у которых большое пространство ответов, наибольшая трудность не проверка верного ответа, но просто поиск, где именно начать поиск в этом пространстве. Если кто-либо начинает с вопросов о том, будет ли ИИ помещать нас в капсулы как в «Матрице», они сразу начинают со 100-битового предположения, без подтверждения 98 бит свидетельства для определения этого в пространстве ответов как возможности стоящей точного обсуждения. Об этом стоит беспокоиться только после того как первые 98 бит будут подтверждены до почти определенности, что скажет вам, где следует проводить всю работу.

«Предварительный» шаг определения возможностей, стоящих точного обсуждения включает в себя шаги вида: взвешивание того, что вы знаете и не знаете, что вы можете предсказать и чего не можете, приложение сознательные усилий для избежания искажения абсурдности и широких интервалов подтверждения, обдумать, какие вопросы наиболее важны, пытаясь не упустить возможных «черных лебедей» и подумать (заблаговременно) о неизвестных неизвестных. Преждевременный переход к «Матрица: да или нет?» пропускает все это.

Любой профессиональный спорщик знает, что управление определениями в споре — это практически управление исходом спора. Если вы начали с размышлений о Матрице, то в вашей голове станут возникать образы марширующих армий роботов, с трудом побеждающих людей — а не образ суперинтеллекта, похрустывающего нанотехнологическими пальцами. Такая постановка вопроса заставляет фокусироваться на «Мы против них», переводя потом внимание на вопросы типа «Кто победит?», «Кто должен победить?», «ИИ на самом деле будет такой?» Это создает общую атмосферу зрелищности, типа «Каково твое удивительное видение будущего?»

Позабытыми в гулкой пустоте являются: рассмотрения, что возможно более одного варианта реализации ИИ; зависимость будущего от начальных условий; мощь интеллекта, превосходящего человеческий, и аргумент его непредсказуемости; есть люди, которые принимают риски всерьез и стараются предотвратить их.

Если определенные нечестные спорщики хотят, чтобы люди пришли к нужному им выводу, и начинают обсуждение с опровержения «Терминатора», то они искажают рамки данного обсуждения. В дебатах по контролю над оружием, ратующий за оружие не хочет начинать спор как «помешанный на стрельбе псих», а противник оружия не хочет начинать спор как «сторонник обезоруживания населения». Так почему вы следуете такому изменению рамок со стороны сценаристов Голливуда, пусть даже неумышленно?

Журналисты не говорят мне «будущее будет похоже на 2001 год.». Но они спрашивают «будет ли похоже будущее на 2001 год или вероятен приход ИИ?» Это столь же неправильная формулировка как и «Должны ли мы создать льготы для ветеранов или поднять налоги для богатых?»

В родовых сообществах не было движущихся картинок; то что ты видел своими глазами, было истиной. Краткий отблеск отдельного слова может вызвать у нас прайминг и сделать доступнее более подходящие мысли, что оказывает сильное влияние на оценки вероятностей. Насколько же тогда разрушителен может быть двухчасовой фильм для вашего суждения? Трудно исправить этот ущерб даже сознательными усилиями — так зачем приглашать вампира в свой дом? В шахматах или го, любой бесцельный ход это потеря; в рациональности, любое влияние, не подкрепленное свидетельствами, это (в среднем) энтропия.

Преуспевают ли те, кто смотрит кино, в неверии тому, что они видят? Насколько я могу сказать, весьма немногие из этих людей действуют так, словно видели точное будущее Земли. Люди, смотревшие Терминатора, не прятались в бомбоубежища 29 августа 1997. Однако те, кто попал под заблуждение, склонный действовать так, словно данные события истинны, но произошли на какой-то другой планете; не Земле, но очень похожей.

Вы говорите, «Предположим, что мы построим очень умный ИИ», а они говорят, «Но не приведет ли это к ядерной войне как в Терминаторе?» Насколько я могу сказать, точно так же, вплоть до тона, мыслил бы кто-либо, кто мог бы сказать «не приведет ли это к ядерной войне на Альфа Центавра?» или «не это ли привело к падению итальянского города-государства Пикколо в 14 веке?» Фильмам не верят, но информация из них доступна. Она рассматривается не как пророчество, но как исторический случай, подходящий для иллюстрации. Повторится ли история? Кто знает?

В недавнем обсуждении сингулярности, кто-то упомянул, что похоже, что Винж не думал, что компьютерно-мозговые интерфейсы сильно увеличат интеллект, и привел в пример Тунка Блументаля из «Marooned in Realtime», который был наиболее продвинутым персонажем, но не казался слишком уж сильным. Я возмущенно ответил: «Но Тунк потерял большую часть оборудования! Он был калекой!» Потом я обдумал все еще раз и подумал про себя: что за чушь я несу.

Насколько правилен ответ на данный вопрос ведь не зависит от того, как Винж изобразил своих героев, так? Тунк Блументаль не был «калекой», он не существовал в реальности. Я мог бы сказать «Винж решил изобразить Тунка калекой, потому что у него могли быть, а могли не быть свои причины, согласно его лучшему предсказанию будущего» и что это дает его авторскому выбору соответствующий вес свидетельства. Я не мог сказать «Тунк был калекой.» Тунка Блументаля не существовало.

Я осознанно оставил сделанную мной ошибку в первом наброске вверху данного поста: «Другие начинают защищать свое право на использование таких примеров, отрицая, что это заблуждение.» Но «Матрица» — это не пример!

Соседствующим будет логическое заблуждение оспаривания на основе вымышленного свидетельства: «Хорошо, если вы дойдете до конца радуги, вы найдете горшок с золотом — что только доказывает мою правоту!» (Обновление на основе предсказанного, а не наблюдаемого, свидетельства — это математическое отражение искажения знания задним числом.)

Мозг имеет множество механизмов для обобщения из наблюдения, не только эвристику доступности. Вы видите трех зебр, формируете категорию «зебра» и эта категория объединяет все автоматически воспринимаемое. Похожие на лошадей создания с черными и белыми полосками теперь классифицируются как «Зебры», то есть сразу распознаются как быстрые и хорошие на вкус; ожидается, что они будут похожи на ранее встреченных зебр.

Когда люди видят (двигающиеся картинки) трех боргов, их мозг автоматически создает категорию «борг», и они автоматически делают вывод, что люди с компьютерно-мозговыми интерфейсами принадлежат к категории «борг» и будут похожи на наблюдавшихся ранее боргов: холодных, не знающих жалости, одетых в черную кожу, ходящих словно роботы. Журналисты не верят, что в будущем будут борги — они не рассматривают «Звездный путь» как пророчество. Но когда кто-то говорит о компьютерно-мозговых интерфейсах, они думают «В будущем будут Борги?», а не «Как я могу знать, что обеспечиваемая при помощи компьютеров телепатия сделает людей менее приятными?», не «Я никогда не видел раньше боргов и никто не видел» и не «я формирую расистский стереотип на основе буквально нулевого свидетельства.»

Как Джордж Оруэлл говорил о шаблонах:

«Что нужно превыше всего — это позволить значению выбирать себе слово, и никак иначе… Когда вы думаете о чем-либо абстрактном, вы больше склонны использовать сначала слова, и пока вы не сделаете сознательное усилие, чтобы прекратить это, существующий язык будет врываться в ваши мысли и мыслить за вас, в обмен на запутывание или даже изменение вашего значения.»

Согласно моей оценке, наиболее разрушительный аспект использования представлений других авторов состоит в том, что оно не дает людям использовать свое собственное. Как сказал Роберт Пирсиг:

«Она зациклилась, потому что пыталась повторить на письме то, что уже когда-то слышала, так же как и он сам в тот первый день пытался повторить то, что уже решил рассказать. Она не могла придумать, что бы ей написать о Бозмене, потому что не могла вспомнить ничего стоящего, что можно было бы повторить. Ей как-то не приходило в голову, что можно смотреть своим собственным свежим взглядом, и писать, не обращая внимания на то, что уже было сказано раньше.»

Запомненные произведения врываются в ваше мышление и делают его за вас; они заменяют вам возможность видеть — самое ужасное удобство из всех возможных.

Точки зрения, рассмотренные здесь, более подробно рассмотрены в эссе: Якорение и калибровка, Прайминг и контаминация, Доступность, Запасённые мысли, Мы верим всему, что нам говорят?, Самоуверенность Эйнштейна, Обременительные детали

Перевод: 
Remlin
Номер в книге "Рациональность: от ИИ до зомби": 
94
Оцените перевод: 
Средняя оценка: 4 (3 votes)

Добродетель узости

Элиезер Юдковский

Свойство этого яблока может не быть свойством того яблока. Поэтому про одно яблоко можно рассказать большее, чем про все яблоки в мире.

Двенадцать добродетелей рациональности

Внутри своих профессий люди понимают важность узости: автомеханик никогда не перепутает деталь автомобиля под названием «карбюратор» с деталью автомобиля под названием «радиатор» — он знает, в чём состоит разница между ними. Первобытный охотник знает, чем лев отличается от пантеры. Уборщик не отмывает полы средством для чистки окон, сколь похожими не казались бы бутылки непосвящённым.

Снаружи своих профессий люди часто совершают ошибку, пытаясь расширить слово настолько, насколько возможно, пытаясь покрыть им как можно большую территорию. Разве не восхитителен, внушителен и мудр разговор о всех яблоках в мире? До чего же возвышенна возможность объяснить человеческое мышление в общих чертах, не отвлекаясь на мелкие вопросы: например, о том, как люди придумывают техники собирания кубика Рубика. Несомненно, размышления о чём-то частном даже не кажутся необходимыми; разве общая теория не есть блистательное достижение сама по себе?

Ты любопытен, и ты замечаешь что-то необычное в одном камешке; что-то новое, что-то интересное, что-то, отличающее его от миллиона других камешков, лежащих рядом. Ты решаешь называть такие камешки «алмазами», и пытаешься понять, в чём состоит их особенность: какие внутренние качества они разделяют, не считая уже замеченного тобой яркого блеска. И затем появляется кто-то ещё, и говорит: «Почему бы не назвать алмазом и этот камешек тоже? И этот, и ещё тот?». Он говорит воодушевлённо и желает добра. Ибо кажется недемократичным, ограниченным, элитаристским и нехолистичным намерение называть какие-то камешки «алмазами», а какие-то — не называть. Ты выглядишь, если можно так сказать, человеком узких взглядов. Едва ли тебя можно назвать открытым к новым веяниям, не закостенелым, волнующимся о судьбе коллектива.

Возможно, вкладывание в одно слово множества значений кажется тебе поэтичным: вокруг расцветают оттенки и скрытые смыслы. Но даже поэтам — хорошим поэтам — необходимо научиться видеть мир ясно и точно. Просто сравнить любовь с цветком — недостаточно. Горячая ревнивая неофициальная любовь отличается от любви женатой пары, живущей друг другом несколько десятков лет. Если ты хочешь найти цветок, подобный ревнивой любви, то тебе придётся пойти в сад, и наблюдать, и обращать внимание на тонкие различия: тебе нужен цветок с сильным запахом, яркого цвета и острыми шипами. Даже если твоя цель состоит в том, чтобы обогатить текст оттенками и отсылками, тебе всё равно нужно следить за тем, какие именно смыслы, отсылки и оттенки ты привносишь.

Умение узко фокусироваться на необычных камешках, обладающих каким-то редким свойством — необходимая часть и искусства рационалиста, и искусства поэта. И умение замечать особенности, которыми обладают эти камешки (и лишь эти камешки, больше ничто!) тоже. В этом нет ничего зазорного.

Нет ничего плохого в том, что современная эволюционная биология может объяснить всего лишь закономерности развития живых существ, но не «эволюцию» звёзд или «эволюцию» технологии. Увы, некоторые несчастные души используют одно и то же слово «эволюция» для того, чтобы описать порождённые естественным отбором закономерности самореплицирующейся жизни, и совершенно случайную структуру звёзд, и созданную разумом структуру технологии. И, как всем известно, если две вещи называются одним и тем же словом, то они в сущности одно и то же. Следует автоматически переносить всё, известное тебе о биологической эволюции, на развитие технологии. Если кто-то возражает против этой стратегии, то он, должно быть, просто зануда и педант. Твоё бездонное невежество в отношении современной теории эволюции не может быть настолько всеобъемлющим, чтобы ты не смог увидеть различие между карбюратором и радиатором. Это немыслимо. Нет, просто твой собеседник — да, тот, который изучал математику — настолько глуп, что не может увидеть взаимосвязей между предметами.

А что может заслуживать большего уважения, чем способность видеть взаимосвязи? Несомненно, мудрейшие из людей — гуру Нью Эйджа, произносящие «всё связано со всем». Если тебе доведётся произнести эту фразу вслух, не забудь сделать паузу, чтобы окружающие могли полностью осознать всё величие этой Глубокой Мудрости.

Имея граф, можно совершенно тривиальным образом получить его дополнение. Полный граф, в котором каждую пару вершин соединяет ребро, несёт в себе точно такое же количество информации, что и граф вообще без рёбер. Важные интересные графы относятся к числу тех графов, в которых некоторые штуки не соединены с некоторыми другими штуками.

Когда невежа старается показаться мудрецом, он без конца говорит о том, что это похоже на то, а то подобно сему, а оно сравнимо с вот этим; и его граф становится полностью и связным, и бесполезным. Лечение этой беды — знание деталей и доскональное изучение темы. Когда ты знаешь два предмета до мельчайших подробностей, ты можешь увидеть, насколько они непохожи, и тогда самое время начать с воодушевлением удалять из графа рёбра.

Аналогично, важные интересные категории относятся к числу тех категорий, которые не содержат внутри себя все сущности вселенной. Хорошая гипотеза не может объяснить все возможные исходы, но только некоторые из них.

Нет ничего плохого в том, что Исаак Ньютон объяснил лишь гравитацию, лишь то, почему и каким образом вещи падают вниз (и то, как планеты вращаются вокруг Солнца, и то, как Луна создаёт приливы), но не объяснил роль денег в человеческом обществе, или то, как сердце разгоняет кровь по телу. Презрительное отношение к узости напоминает мне о древних греках, приравнявших подход «выйти на улицу и посмотреть на мир, прежде чем рассуждать о нём» к ручному труду (а ручной труд был уделом рабов).

Вот как излагает эту мысль Платон («Государство», книга седьмая):

«Если кто-нибудь, запрокинув голову, разглядывает узоры на потолке и при этом кое-что распознает, то он видит это при помощи мышления, а не глазами. Глядит ли кто, разинув рот, вверх или же, прищурившись, вниз, когда пытается с помощью ощущений что-либо распознать, все равно, утверждаю я, он никогда этого не постигнет, потому что для подобного рода вещей не существует познания и душа человека при этом смотрит не вверх, а вниз, хотя бы он даже лежал навзничь на земле или плыл по морю на спине.»

Многие сегодня делают похожую ошибку, думая, что узкие понятия — приземлены, не величавы и недостойны философии: также, как, скажем, и подход «выйти на улицу и посмотреть на мир, прежде чем рассуждать о нём»; пусть этим занимается чернь. Но рационалистам — ­и поэтам — требуются узкие слова для выражения точных мыслей, им нужны категории, содержащие лишь одни вещи и не содержащие другие. Нет ничего плохого в фокусировке разума, в сужении категорий, исключении возможностей и заострении утверждений. В этом действительно нет ничего постыдного, правда! Если ты сделаешь свои слова слишком широкими, то в итоге ты получишь что-то далёкое от истины и даже не радующее глаз ценителей поэзии.

И не говорите при мне, что Википедия — «искусственный интеллект», что синтез ЛСД был «сингулярностью», или что корпорации обладают «сверхчеловеческим интеллектом»!

Перевод: 
BT
Номер в книге "Рациональность: от ИИ до зомби": 
95
Оцените перевод: 
Средняя оценка: 4 (13 votes)

Как казаться (и быть) глубокомысленным

Элиезер Юдковский

Недавно я посетил дискуссионную группу, темой которой на этой сессии была смерть. Это взволновало всех. Думаю, что из всех ланчей, на которых я был в Кремниевой Долине, этот был наиболее честным; люди говорили о смерти близких и друзей, что они думают о своей собственной смерти. Они на самом деле слушали друг друга. Хотел бы я знать, как такие условия беседы воспроизводить.

Я был единственным присутствовавшим трансгуманистом и мне пришлось быть крайне осторожным, чтобы не показаться назойливым. («Фанатик это тот, кто не может изменить свое мнение и не способен сменить тему». Я стараюсь по крайней мере менять тему.) Что неудивительно, люди говорили о значении, которое смерть придает жизни, о том, что смерть на самом деле благо. Но я, очень аккуратно, объяснил, что трансгуманисты в общем позитивно относятся к жизни, но категорически не одобряют смерть.

После обсуждения несколько людей подошли ко мне и сказали, что я был весьма «глубокомысленен». Да, так и было, но это заставило меня задуматься над тем, что заставляет людей казаться глубокомысленными.

В один из моментов обсуждения, женщина сказала, что мысли о смерти дают ей возможность быть вежливой с людьми, ведь никто не знает, увидит ли она их снова. «Когда я могу сказать человеку что-то хорошее, — рассказывала она, — я говорю это ему прямо сейчас, а не жду чего-то еще».

«Прекрасная мысль, — сказал я, — и даже если когда-либо угроза смерти перестанет висеть над вами, надеюсь вы продолжите так делать…»

Эта женщина была одной из тех, кто подошел ко мне после обсуждения.

В другой момент дискуссии, один мужчина рассказывал о каком-то преимуществе смерти Х, не помню точно каком. И я сказал на это: «Знаете, учитывая человеческую природу, если людей бить по голове битой каждую неделю, довольно скоро они изобретут причины, по которым получать удары по голове — это хорошо. Но если вы подойдете к кому-либо, кого не бьют, и спросите, не хотели бы они к вам в этом присоединиться, они откажутся. Думаю, если вы подойдете к бессмертному и спросите, не хотел бы он умереть в обмен на преимущество Х, он откажется».

И этот человек тоже был среди тех, кто подошел после обсуждения.

Корреляция — это не причинность. Возможно я просто говорил таким тоном в этот день, что звучал крайне мудро.

Однако я подозревал, что произвел впечатление «глубокомысленного» потому, что связно опроверг запасенный шаблон «глубокой мудрости» так, что это имело смысл.

Есть стереотип Глубокой Мудрости. Смерть: завершите шаблон: «Смерть дает смысл жизни». Все знают этот стандартный ответ Глубокой Мудрости. И он включает в себя как одну из составляющих аплодисменты. Если вы скажете подобное, люди согласно кивнут, поскольку мозг завершит шаблон и они знают, что им предписано кивнуть. Они могут даже сказать «Как мудро!», возможно в надежде самим показаться глубокомысленными. Но они не будут удивлены; они не услышат ничего выходящего за пределы стандартного; они не услышат ничего, насчет чего у них не было бы мыслей. Можно назвать это убеждением в мудрости — мысль с меткой «очень мудрая», и это завершаемый стандартный шаблон для «глубокой мудрости», но сам по себе не приносящий опыта озарения.

Люди, пытающиеся выглядеть Глубоко Мудрыми, часто выглядят повторяющими за другими пустышками, поскольку они пытаются казаться глубокомысленными, вместо того, чтобы оптимизировать.

Сколько я думал, что мне нужно сделать, в рамках того, чтобы казаться глубокомысленным? Человеческие мозги работают только на 100 Гц, а я ответил сразу же, так что большая часть размышлений должна была быть проведена заранее. Наиболее трудоемким для меня было подобрать ответ с минимальным понятийным расстоянием и выразить его так, чтобы он осуществил максимальный эффект.

Философски говоря, почти вся моя работа была сделана заранее. Завершите шаблон: существующее условие Х действительно оправдывается преимуществом Y: «Натуралистическая ошибка?»"Предубеждение статуса кво?»"Можем ли мы получить Y без Х?»"Если бы мы ранее не знали о Х, приняли бы мы его добровольно, чтобы получить Y?» Думаю, что могу честно сказать, что эти мысленные шаблоны у меня срабатывают автоматически, они столь же естественны для меня, как и дыхание. В конце концов большинство человеческих мыслей должны быть в кэше мозга, чтобы вообще работать.

И я уже придерживался развитой философии трансгуманизма. Он тоже имеет запасенные мысли о смерти. Смерть: завершаем шаблон: «Смерть это бессмысленная трагедия, рационализируемая людьми». Это нестандартный кэш, такой, с каким мои слушатели незнакомы. У меня было несколько возможностей использовать нестандартный кэш и, поскольку весь он был частью развитой философии трансгуманизма, все эти возможности явно принадлежали к одной теме. Это помогло мне выглядеть связно, а также оригинально.

Подозреваю, что это одна из причин, по которым восточная мудрость кажется глубокой для западных людей — она имеет нестандартный, но связный кэш Глубокой Мудрости. Аналогично это работает в японской художественной литературе — в ней Христиане иногда изображены как хранители глубокой мудрости и\или мистических секретов (хотя иногда нет).

Если я верно помню, один экономист однажды заметил, что аудитория чаще всего настолько незнакома с обычной экономикой, что когда он выступал на телевидении, ему достаточно было повторить некоторые места из учебника по экономике, чтобы получить славу оригинально мыслящего.

Значимым для моих слушателей было также то, что они могли сразу же видеть, что мои ответы имеют смысл. Они могли соглашаться с этим или нет, но для них это не было нелогичным заключением. Я знаю трансгуманистов, которые не могут казаться глубокомысленными, потому что не в силах подобрать слова, которые были бы уже известны их собеседникам. Если вы хотите казаться глубокомысленным, вы не должны никогда говорить того, что находится далее, чем в минимальном понятийной расстоянии от текущего состояния сознания слушателей. Только так.

Чтобы казаться глубокомысленным, изучайте необычные философии. Ищите обсуждения тех тем, что дадут вам шанс проявить ваши знания. Размышляйте над темой заранее, чтобы потом концентрироваться исключительно над тем, как ее донести до слушателей. И прежде всего — практикуйтесь оставаться на минимальном понятийном расстоянии от слушателей.

Чтобы быть глубокомысленным, размышляйте самостоятельно над «мудрыми», важными или эмоционально значимыми темами. Думать самостоятельно не значит просто получить необычный ответ. Это значит смотреть самому, а не позволять мозгу закончить шаблон. Если вы не останавливаетесь на первом ответе, и отбрасываете ответы, кажущиеся смутно неудовлетворительными, постепенно ваши мысли сформируются в связную форму, проистекающую из одного источника внутри вас, а не будут фрагментарными повторениями заключений других людей.

Перевод: 
Remlin
Номер в книге "Рациональность: от ИИ до зомби": 
96
Оцените перевод: 
Средняя оценка: 5 (6 votes)

Мы меняем мнение реже, чем нам кажется

Элиезер Юдковский

«В последние несколько лет, когда кто-то из наших коллег сталкивался с выбором из нескольких предложений о работе, мы просили его оценить вероятность, что он предпочтёт одну работу другой. Средняя уверенность в предсказанном выборе у опрошенных составила 66%, но только 1 человек из 24 сделал выбор, которому изначально присвоил низшую вероятность, что дает нам действительную точность в 96%»

— Dale Griffin and Amos Tversky, «The Weighing of Evidence and the Determinants of Confidence» (Cognitive Psychology, 24, pp. 411-435).

Когда я впервые прочитал вышеприведенные слова — первого августа 2003 года, около трех часов дня — они изменили мое мышление. Я понял, что как только я могу предположить каков был бы мой ответ — присвою ли я высокую вероятность тому или иному ответу — то я уже решил со всей вероятностью. Мы меняем наше мнение куда реже, чем думаем. И чаще всего мы становимся способны предположить свой ответ в течение полсекунды после вопроса.

Этот незаметный момент проходит очень быстро — момент, когда мы еще не можем предположить каков будет наш ответ; крошечное окно возможности действовать интеллекту. Как в вопросах выбора, так и и в вопросах фактов.

Принцип нижней строчки гласит, что только настоящие причины ваших убеждений определяют вашу эффективность как рационалиcта. Как только ваше убеждение зафиксировано, никакие аргументы не изменят степень его истинности; как только решение принято, никакие аргументы не изменят его последствий.

Вы можете думать, что вы приобрели убеждение или приняли решение по нерациональным причинам, и стараться оправдать его, и если вы обнаруживаете, что не можете найти оправдания — откиньте это убеждение или решение.

Но мы меняем мнение реже — значительно реже — чем считаем.

Я уверен, что вы можете вспомнить по крайней мере один случай в вашей жизни, когда вы изменили свое мнение. Мы все можем. Но как насчет всех тех случаев, когда вы не меняли свое мнение? Доступны ли они вашей эвристической оценке компетентности?

С искажением знания задним числом, положительным смещением, якорением и праймингом и прочим, а также стоящим над ними ужасной предвзятостью подтверждения, как только идея приходит в вашу голову, вероятнее всего, она там и останется.

Перевод: 
Remlin
Номер в книге "Рациональность: от ИИ до зомби": 
97
Оцените перевод: 
Средняя оценка: 5 (3 votes)

Не спешите предлагать решения

Элиезер Юдковский

Цитата из Robyn Dawes’s Rational Choice in an Uncertain World, стр 55-56.

Норман Майер заметил, что, когда группа встречается с проблемой, естественной склонностью для ее членов является предложить возможные решения сразу же после начала обсуждения. В результате, групповое взаимодействие концентрируется на преимуществах и недостатках предложенных решений, люди начинают эмоционально привязываться к предложенным ими решениям, и еще более лучшие решения не выдвигаются. Майер выдвинул предложение для улучшения группового решения проблем: «Не предлагайте решения до тех пор, пока проблема не будет обсуждена настолько тщательно, насколько это возможно без предложения решений». Легко видеть что данное предложение работает в контекстах, где есть объективно определенные хорошие решения для проблем.

Майер предложил следующий «игровой» эксперимент для демонстрации своей точки зрения. Нужно было решить задачу: «Три сотрудника компании выполняют три различных по сложности вида работ. Один из них, Новичок, хочет заниматься только самой лёгкой работой. Другой, Профи, хочет переключаться между работами, чтобы избежать скуки. Сторонний эксперт по продуктивности при этом рекомендует поручать Новичку самую лёгкую работу, а Профи — самую тяжёлую, что повысит общую эффективность на 20%». Половине групп, решавших эту задачу, дали инструкцию: «Не предлагайте решений, пока проблема не будет обсуждена как можно тщательнее». Вторая половина групп никаких указаний не получила. И люди в них делали естественную ошибку — увидев проблему, они сразу же предлагали решения, привязывались к ним, начинали активно спорить, дискутировать, что важнее — свобода или эффективность, и так далее. Те группы, которым дали указание сначала обсудить задачу, а затем уже решать её, с большей вероятностью приходили к решению: поручить Новичку самую лёгкую работу, в то время как двое оставшихся должны чередовать другие две работы. По данным эксперта это приводило к улучшению на 19%.

Я часто использую данное положение в тех группах, которые веду — особенно когда они сталкиваются с очень трудной проблемой, когда большинство членов группы склонны сразу же предлагать свои решения. Хотя у меня нет объективного критерия, при помощи которого можно оценить качество группового решения проблем, введение предложения Майера делает возможным принятие лучших решений.

Это настолько истинно, что даже не смешно. И данный эффект проявляется все хуже и хуже, по мере трудности задачи. Возьмем для примера искусственный интеллект. Удивительное число людей, которых я встречал, похоже точно знают как создать ИИ, при этом не зная, скажем, как создать систему распознавания символов или систему совместной фильтрации (что является менее сложными задачами). И если создание ИИ будет оказывать положительное влияние на человечество — дружественного ИИ, грубо говоря — почему эта задача столь невероятно сложна, если большинство людей решают все за 15 секунд. Может, хватит уже?

(Добавлено: все описанное относится не только к проблеме ИИ. Физики встречались с множеством не-физиков, у которых были свои теории физики, экономистам приходится выслушивать множество новых теорий экономики. Если вы эволюционный биолог, любой встреченный вами может решить любую задачу в вашей области, обычно постулируя групповой отбор. Ну и так далее)

Совет Майера перекликается с принципом нижней строки — что эффективность наших решений определяется только теми свидетельствами и той обработкой, которую мы проводим до принятия решения. После того, как вы напишете нижнюю строчку, уже слишком поздно придумывать причины к ней и писать их выше. Если вы предлагаете решение слишком рано, оно будет основано на крайне малом объеме размышлений, и не имеет значения, сколько отличных аргументов вы придумали к нему уже потом.

И более того, вспомним, что мы меняем наше мнение куда реже, чем считаем: в предыдущем посте в эксперименте 24 человека присвоили в среднем 66% вероятность будущему выбору, однако лишь 1 человек из 24 выбирал вариант с меньшей вероятностью. Как только вы предполагаете, каков был бы ваш ответ, вы скорее всего уже решили. Если вы можете предположить, каков он был бы, за полсекунды, значит у вас есть только полсекунды, в течение которых вы используете интеллект. Не слишком много.

Традиционная рациональность делает особое ударение на фальсификации — способности отказаться от начального выбора, если против него имеется явно видимое свидетельство. Но как только идея появляется в вашей голове, вероятнее всего потребуется слишком много свидетельств, чтобы выкинуть ее оттуда. Хуже того, у нас не всегда есть излишек сокрушительных свидетельств.

Я думаю, что более действенный (и более сложный) метод состоит в том, чтобы воздерживаться от размышлений об ответе. Заморозить, продлить тот краткий момент, когда мы еще не предположили, каков будет наш ответ, давая нашему интеллекту больше времени для действий.

Даже полминуты потенциально лучше, чем полсекунды.

Перевод: 
Remlin
Номер в книге "Рациональность: от ИИ до зомби": 
98
Оцените перевод: 
Средняя оценка: 4.8 (5 votes)

Генетическая логическая ошибка

Элиезер Юдковский

В списках логических заблуждений вы можете найти «генетическую логическую ошибку». Это ошибка, при которой убеждение критикуется на основе причин, по которым кто-либо в него верит.

Это, на первый взгляд, весьма странная идея — если причины убеждения не определяют его систематическую надежность, то что же определяет? Если Deep Blue советует нам ход в шахматах, мы верим, что это основано на нашем понимании кода, который обходит дерево игры, при этом мы сами не в состоянии оценить дерево игры. Что может дать возможность расценить любое вероятное предположение как «рациональное», как не то, что было произведено неким систематически надежным процессом?

Статьи, рассказывающие об этой ошибке, могут сказать вам, что не всегда данный тип мышления ошибочен — происхождение свидетельства может быть релевантно к его оценке, например в случае с экспертом, который заслуживает доверия. Но, как мы можем узнать из тех же статей, в других случаях это действительно может считаться заблуждением; химик Кекуле увидел структуру бензола во сне, но это не значит, что мы не можем доверять убеждению об этой структуре.

Выходит, что иногда это заблуждение, а иногда — нет?

Формально генетическая логическая ошибка является заблуждением, поскольку происхождение убеждения не то же самое, что его текущий подтвержденный статус, являющийся суммой всех известных «за» и «против» этого убеждения.

Однако мы меняем наше мнение куда реже, чем нам кажется. На обычных людей обвинение в адрес происхождения убеждений влияет гораздо сильнее, чем на идеальных байесианцев.

Очищение вашего разума является мощной эвристикой в том случае, если у вас возникло новое подозрение, что ряд ваших идей может иметь неправильный источник.

Как только идея появляется в наших головах, не всегда легко для свидетельства выкорчевать ее оттуда. Посмотрите на тех, кто вырос считая, что библия написана лично богом; позже, они приходят к тому, чтобы (на сознательном уровне) отвергнуть идею, что библию писал лично бог; но при этом продолжают думать, что библия содержит незаменимую этическую мудрость. Им не удалось очистить свое сознание; они могли бы значительно лучше справиться с тем, чтобы усомниться в истинности библейских текстов, основанной только на том, что сама библия говорит об их истинности.

В то же время, они должны твердо удерживать в сознании принцип, гласящий что обратное глупости не есть ум; цель — сделать мышление свободным и независимым, а не просто отрицать Библию, сделав это новым алгоритмом.

Как только некая идея попадёт вам в голову, вы будете искать ей поддержку всюду, куда только взглянете — и когда её первоисточник попадёт под сомнение, будет вполне разумно считать, что все яблоки упавшие с этого дерева не без подвоха тоже.

Но если бы! Не так просто прочистить свой мозг от лишних вещей. Требуется невообразимое усилие, чтобы пересмотреть позицию, не проворачивая раз за разом кэшированные доводы. «Это ещё не кризис веры, пока обстоятельства не начали работать иначе», — говорит Тор Шенкель.

Вы должны быть особенно внимательны, если у вас имеется множество идей, проистекающих из одного источника, о котором вы теперь узнали, что он не заслуживает доверия, и при этом все идеи все еще кажутся правильными — очевидным архетипичным примером является как раз-таки библия.

С другой стороны… Есть такая штука, как полностью очевидное свидетельство, при котором становится уже неважно, откуда впервые появилась идея. Получение таких свидетельств — именно то, чем занимается Наука. Больше уже не имеет значения, что Кекуле увидел кольцевую струкутуру бензола в своём сне — равно как не имело бы это значения, найди мы эту гипотезу при помощи случайно генерируемых изображений, из откровений спиритиста-шарлатана или вывели из библии. Кольцевая структура бензола подтверждена таким количеством экспериментальных свидетельств, что можно забыть об источнике этого знания и не вспоминать.

В отсутствие таких очевидных свидетельств действительно приходится обращать внимание на достоверность источника идей — больше верить экспертам (если конечно их сфера обрела значимость и признание) — меньше доверять идеям, полученным из подозрительных источников — не верить тем, чьи мотивы неизвестны, особенно если они не могут предоставить аргументы независимые от их авторитета.

Генетическая логическая ошибка это искажение, когда существуют суждения за пределами изначального факта для обоснования, но обвинение представлено так, словно оно относится к самому вопросу.

Некоторые хорошие правила для работы с этим:

  • С подозрением относитесь к критике источников тех убеждений, которые вам не нравятся, особенно если оппонент заявляет суждения за пределами простого авторитета говорящего. «Полет — идея из религии, так что братья Райт лгали» это один из классических примеров.

  • Точно так же не думайте, что вы можете получить хорошую информацию о техническом вопросе всего лишь рассмотрев личностей, которые были вовлечены в него и их мотивы. Если существуют технические аргументы, то они имеют более высокий приоритет.

  • Когда насчет одного из ваших фундаментальных источников возникает сомнение, вы на самом деле должны усомниться во всех ветвях, произрастающих из него. Вы не можете просто отбросить их, потому что обратное глупости не есть ум, но вы должны заново рассмотреть их на предмет их истинности.

  • Но крайне внимательно вы должны смотреть, не верите ли вы до сих пор в те убеждения, источник которых вы позднее отвергнули.

Дополнение: Хэл Финни предлагает называть это «генетической эвристикой».

Перевод: 
Remlin
Номер в книге "Рациональность: от ИИ до зомби": 
99
Оцените перевод: 
Средняя оценка: 3.2 (12 votes)

Смертельные спирали и аттрактор культа

Аффективные смертельные спирали возникают в результате положительной обратной связи за счёт эффекта ореола. Позитивные качества коррелируют в нашем сознании и чем больше хорошего говорится о некоем объекте или субъекте, тем больше мы склонные верить позитивным утверждениям относительно этого явления.

Культы являются эмпирическими аттракторами в группах людей, часто оказывающиеся аффективными смертельными спиралями, куда добавляется социальное давление и угроза изгнания, а также, зачастую, убеждения связанные со стремлением к совершенству в некоей области.

Материалы цепочки распространяются по лицензии CC BY-NC-SA 3.0

Автор: 
Элиезер Юдковский

Аффективная эвристика

Элиезер Юдковский

Аффективная эвристика — это когда субъективные впечатления о хорошем или плохом используются как эвристика — источник быстрых суждений. Ощущения комфорта и дискомфорта являются центральными для человеческого мышления и влияют на появление аффективной эвристики вместе с замечательными искажениями — одними из моих любимых.

Давайте начнем с относительно безобидного искажения. Представьте, что вы переезжаете в новый город и должны перевезти на корабле старинные дедушкины часы. В первом случае эти часы — подарок от ваших дедушки и бабушки на ваш день рождения. Во втором — тоже подарок, однако от дальнего родственника, которого вы почти не знаете. Сколько вы заплатите за страховку, по которой вам выплатят 100 $ в случае утери часов? Согласно исследованиям Ши и Канрейтера (2000), испытуемые готовы заплатить больше чем в два раза больше в первом случае. Это может звучать достаточно рационально — почему бы не заплатить больше за более ценный объект — пока вы не поймете, что сумма за страховку не защищает часы, а только гарантирует вам выплату, если часы будут утеряны, причем сумма выплаты в обоих случаях одинакова. (да, кстати, предполагается, что страхование проводится сторонней компанией, так что все работы по перевозке часов будут одинаковы по качеству в обоих вариантах).

Ну ладно, это не звучит особо безумно. Тут можно вывернуться, утверждая, что испытуемые страховали аффективные исходы, а не финансовые — возмещение убытков.

Тогда как насчет этого? Ямагаши (1997) показал, что испытуемые оценивают болезнь как более опасную, если описывать ее как убивающую 1286 людей из 10000, нежели если ее описание будет «она имеет вероятность смерти пациента в 24,14%». Скорее всего мысленное представление тысячи мертвых тел куда впечатляюще, нежели представление одного человека, который скорее выживет, нежели умрет.

Подождите, есть и похлеще.

Предположим, что аэропорт должен решить, потратить ли средства на покупку нового оборудования, в то время как критики утверждают, что деньги нужно потратить на увеличение безопасности. Словик (2002) предоставил двум группам испытуемых аргументы за и против покупки оборудования, с шкалой ответов от 0 (не поддержал бы вообще) до 20 (сильная поддержка). Одна из групп увидела меру, описанную как спасающую 150 жизней, а вторая — спасающую 98 % из 150 жизней. Гипотеза, которая вдохновила на проведение этого эксперимента, гласила, что спасение 150 жизней звучит хорошо, но неясно, много ли это? Мало? В то время как спасение 98 % это что-то явно хорошее, потому что 98 % близко к верхней границе процентной шкалы. И вот спасение 150 жизней получает среднюю поддержку в 10.4, в то время как спасение 98 % из 150 жизней имеет среднюю поддержку в 13.6 голосов.

Или рассмотрим отчет Деней-Ра и Эпштейна (1994): испытуемым предлагали возможность выиграть 1 доллар каждый раз, когда они случайно вытаскивали красный шарик из непрозначной емкости, часто предпочитали вытаскивать шарики из емкости, в которой было больше самих красных шариков, но меньшая их пропорция. То есть емкость со ста шариками из которых 7 красные предпочиталась аналогичной с десятью шариками, один из которых красный.

Согласно Деней-Ра и Эпштейну, испытуемые, когда их опрашивали после эксперимента, утверждали, что хотя они и знали, что вероятности не в их пользу, однако они ощущали, будто их шансы выше, когда у них больше красных шариков в емкости. Для тебя это может звучать безумно, о Подкованный в Статистике Читатель, однако если ты подумаешь тщательней, то ты осознаешь смысл этого. 7 % может быть и выглядит хуже, чем 10 %, но это более чем компенсируется бо́льшим числом красных шариков. Да, вероятность меньше, но у тебя всё же больше шансов выиграть. Ты должен медитировать на эту мысль, пока не достигнешь просветления и не поймешь, как остальная часть планеты представляет себе вероятность.

Файникейн (2000) тестировал теорию, что люди склонны обобщать свои суждения об определенных плохих или хороших чертах чего-либо в общее хорошее или плохое ощущение о этой вещи. Например информация о возможном риске или возможной выгоде ядерных станций. Логически, информация о риске никак не связана с информацией о выгоде. Если существует определенный факт, что конструкция реактора такова, что он пассивно безопасен (не достигает критической отметки даже при выходе из строя систем охлаждения), это не влияет на то, будет ли он производить меньше отходов, или давать электричество используя меньше топлива и т.д. Все это может быть хорошо, однако не стоит смешивать это в одну кучу. Тем не менее, Файникейн обнаружил, что для ядерных реакторов, газа, пищевых консервантов и т.д. предоставление людям информации о большой выгоде заставляло их воспринимать продукт как менее рискованный; а если акцентировать внимание на высоких рисках, то люди воспринимали продукт как менее выгодный, и так далее.

Он также обнаружил, что в условиях нехватки времени обратная зависимость между воспринимаемым риском и воспринимаемой выгодой растет, в соответствии с обнаруженным фактом, что нехватка времени, недостаток информации или отвлечение — все это увеличивает долю эвристики восприятия в сравнении с аналитическим обсуждением.

Ганза (2001) обнаружил сходный эффект в области финансов. Согласно стандартной экономической теории, доходность и риск должны коррелировать положительно — или говоря другими словами, люди платят более высокую цену за безопасные инвестиции, что снижает доходы; акции обеспечивают больший доход, чем облигации, однако имеют соответствующий более высокий уровень риска. При оценке знакомых акций, суждения аналитиков о рисках и доходности положительно коррелируют, как обычно и ожидается. Однако при оценке незнакомых акций аналитики склонны оценивать их как хорошие или плохие в общем — низкий риск и высокие доходы или высокий риск и низкие доходы.

Для дальнейшего чтения я рекомендую отличную главу в Slovic et. al. 2002: «Rational Actors or Rational Fools: Implications of the Affect Heuristic for Behavioral Economics».

Denes-Raj, V., & Epstein, S. (1994). Conflict between intuitive and rational processing: When people behave against their better judgment. Journal of Personality and Social Psychology, 66, 819-829.

Finucane, M. L., Alhakami, A., Slovic, P., & Johnson, S. M. (2000). The affect heuristic in judgments of risks and benefits. Journal of Behavioral Decision Making, 13, 1-17.

Ganzach, Y. (2001). Judging risk and return of financial assets. Organizational Behavior and Human Decision Processes, 83, 353-370.

Hsee, C. K. & Kunreuther, H. (2000). The affection effect in insurance decisions. Journal of Risk and Uncertainty, 20, 141-159.

Slovic, P., Finucane, M., Peters, E. and MacGregor, D. 2002. Rational Actors or Rational Fools: Implications of the Affect Heuristic for Behavioral Economics. Journal of Socio-Economics, 31: 329–342.

Yamagishi, K. (1997). When a 12.86% mortality is more dangerous than 24.14%: Implications for risk communication. Applied Cognitive Psychology, 11, 495-506.

Перевод: 
Remlin
Номер в книге "Рациональность: от ИИ до зомби": 
100
Оцените перевод: 
Средняя оценка: 5 (Всего оценок: 1)

Способность к оценке (и недорогой шоппинг в выходные)

Элиезер Юдковский

В связи с надвигающимися праздниками многим читателям в голову приходит следующий вопрос:

«Дорогой Overcoming Bias, есть ли искажения, которые позволят мне выглядеть щедрым, при этом не тратя много денег?»

Я рад сказать, что да, таковые существуют! Согласно Ши (1998) — в статье, озаглавленной «Меньше — это лучше: когда выбор с низкой ценой ценится выше выбора с высокой ценой» — если вы покупаете кому-либо шарф за 45 долларов, то вы скорее будете выглядеть щедрым, нежели купите пальто за 55 долларов.

Это частный случай более общего явления. В ранее проведенном эксперименте Ши опрашивал испытуемых, как много они бы заплатили за подержанный музыкальный словарь:

Словарь А, 1993 года издания, содержащий 10000 записей, совсем как новый.

Словарь Б, 1993 года издания, содержащий 20000 записей, с порванной обложкой, но в остальном как новый.

Некоторым испытуемым давали сравнить оба словаря, а некоторым давали только один.

Те, кто видел только один из словарей, были готовы заплатить в среднем 24 доллара за словарь А и 20 долларов за словарь Б. Те же, кому давали оба словаря, были готовы заплатить за словарь Б в среднем 27 долларов, а за словарь А — 19 долларов.

Конечно же число записей в словаре куда важнее, нежели порванная обложка, по крайней мере если вы планируете использовать словарь по назначению. Однако если у вас в руках только один словарь с 20000 записями, это число вам особо ничего не говорит. Это много? Мало? Кто знает? Это не поддается анализу. В то же время порванную обложку видно сразу. И это имеет определенную аффективную валентность, а именно — плохо.

Если же у вас на руках оба словаря, то число записей становится величиной, которую можно оценить, поскольку есть уже две сущности, которые можно сравнить между собой. И как только число записей становится оцениваемой величиной, она нивелирует значимость порванной обложки.

Из Slovic et. al. (2002): что вы предпочтете:

  • 29/36 шанс выиграть 2 доллара

  • 7/36 шанс выиграть 9 долларов

В то время как средние цены (значения оценки) соответственно равны 1,25 доллара и 2,11 доллара, их средняя привлекательность составляла 13,2 и 7,5 соответственно. Цены и привлекательность устанавливались в контексте, в котором испытуемым говорили, что две игры будут выбираться из вышеприведенных и они должны играть в игру с более высокой ценой или более высокой привлекательностью. (У испытуемых был мотив отмечать игры как более привлекательные или платить за них больше, нежели они на самом деле предпочитали играть.)

Игра, стоящая больше денег, менее привлекательна, классический разворот предпочтений. Исследователи предположили что долларовые значения были более сравнимы с ценовой задачей, однако вероятность выигрыша была больше сравнима с привлекательностью. Так что (как думали исследователи) почему не попробовать сделать выигрыш в игру более заметным эмоционально — более аффективно оцениваемым — более привлекательным?

И как же они это сделали? Добавили в игру небольшой проигрыш. Старая игра имела 7/36 шанс выиграть 9 долларов, новая — 7/36 выиграть 9 долларов и 29/36 шанс проиграть 5 центов. В старой игре вы неявно оценивали привлекательность в 9 долларов. Новая игра заставляет вас оценивать привлекательность выигрыша 9 долларов против потери 5 центов.

Словик утверждает что результаты превзошли их ожидания. В новом эксперименте новая игра с 7/36 шансом выиграть 9 долларов имела привлекательность 9,4, в то же время сложная игра, в которой был добавлен 29/36 шанс потерять 5 центов имела средний рейтинг привлекательности в 14,9.

Дальнейшие проводимые эксперименты должны были показать, предпочитают ли испытуемые старую игру с определенным выигрышем в 2 доллара. Только 33 % студентов предпочли старую игру. Среди другой группы, которую просили выбрать между определенным выигрышем 2 долларов и новой игрой (в которую добавили возможность проигрыша), около 60,8 % предпочли ее. Обобщая все, можно сказать, что 9 долларов не особо привлекательная сумма денег, однако соотношение девяти долларов к пяти центам — удивительно привлекательное соотношение выигрыша к проигрышу.

Вы можете сделать игру привлекательней, если добавите в нее возможность явного проигрыша! Разве психология не интересна? Вот почему нет никого, кто на самом деле разбирается в чудесной сложности человеческого интеллекта и хочет при этом разработать ИИ похожий на человека.

Конечно же это все работает только если испытуемые не сравнивают две игры напрямую.

Примерно так же — какое из этих двух мороженых, по вашему мнению, выбрали бы испытуемые из вышеприведенного эксперимента?

Естественно, ответ зависит от того, видит ли испытуемый единичное мороженое или оба стоят рядом, чтобы их можно было сравнить. Испытуемые, которые видят перед собой только одно мороженое, готовы заплатить 1,66 доллара за стаканчик Н и 2,26 доллара за стаканчик L. Те же, кто видят сразу оба стаканчика, склонны заплатить 1,85 за стаканчик Н и 1,56 за стаканчик L.

Каким образом это относится к вашему праздничному шоппингу? Таким, что если вы тратите 400 долларов на 16 Гб айпод, тот, кому вы делаете подарок, увидит один из наиболее дорогих плееров. Если же вы тратите те же 400 долларов на Нинтендо Wii, тот, кому вы его дарите, увидит одну из наиболее дешевых приставок. Каково лучшее приложение для денег? Да, но этот вопрос имеет значение только когда вы видите оба товара вместе. Вы можете сравнить их во время шоппинга, а тот, кому делается подарок, увидит только то, что вы подарите.

Если вы ограничены определенной суммой — и ваша цель это показать вашу дружбу, а не помочь на самом деле, — то для вас будет лучше осознанно не гнаться за ценой. Решите, как много вы можете потратить, чтобы впечатлить реципиента, а потом найдите наиболее пустяковую вещь, которая стоит именно столько. Чем дешевле класс объектов, тем дороже может быть сам купленный объект, при том, что сумма тратится одна и та же. Что больше запомнится — футболка за 25 долларов или свеча за эту же сумму?

Теперь японский обычай с покупкой дыни за 50 долларов обрел смысл, не так ли? Вы смотрите на это и думаете «Да что это с японцами?». А они получают возможность казаться невероятно щедрыми, потратив только 50 долларов. Вы можете потратить 200 долларов на торжественный ужин, и при этом не произведете впечатления столь же богатого человека, как если бы купили дыню за 50 долларов. А если бы существовал обычай дарить зубочистки за 25 долларов или пылинки за 10 долларов, то можно было бы казаться щедрым, тратя еще меньше.

P.S.: Если вы на самом деле использовали этот трюк, то мне хотелось бы знать — что вы купили?

Перевод: 
Remlin
Номер в книге "Рациональность: от ИИ до зомби": 
101
Оцените перевод: 
Средняя оценка: 5 (6 votes)

Неограниченные шкалы, ошибки жюри и футуризм

Элиезер Юдковский

«Психофизика», несмотря на название, является респектабельной областью, которая связывает физические эффекты с сенсорными. Если вы передадите в воздух энергию — то есть создадите шум — как громко это прозвучит для человека, если представить это как функцию от акустической энергии? Насколько больше необходимо акустической энергии, чтобы этот шум показался человеку в два раза громче? Примерно в восемь раз больше энергии, а не в два.

Акустическую энергию и фотоны можно измерить напрямую. Когда же вы хотите найти, как громко звучит акустический стимул, как ярко воспринимается свет, вы спрашиваете того кто слушает или смотрит. Это можно сделать, используя ограниченную шкалу от «очень тихо» до «очень громко», или от «очень темно» до «очень ярко». Вы также можете использовать неограниченную шкалу, где нулем будет «вообще не слышно» или «вообще не видно», но верхняя граница которой может расти без ограничений. Когда вы используете вторую шкалу, наблюдатель обычно использует какую-то единицу измерения для системы отсчета. Для примера, звук, которому присвоили громкость в 10. Тогда наблюдатель может обозначить вдвое громкий звук при помощи числа 20.

И доказано, что это достаточно надежная методика. Но что произойдет, если вы дадите испытуемым неограниченную шкалу, однако не дадите единицу измерения? От нуля до бесконечности, но без единицы измерения как фиксированной величины? Тогда они сделают свою, конечно же. Отношения между измеряемыми величинами останутся теми же. Испытуемый А говорит что звук Х имеет громкость 10, а звук Y — 15. Если испытуемый В говорит что звук Х имеет громкость в 100, то можно легко предположить, что для звука Y он установит величину 150. Но если вы не знаете, что испытуемый С использует для единицы измерения — какой масштаб он использует для шкалы — нельзя сказать, какую величину С присвоит звуку Х. Может быть 1. А может быть 1000.

Для испытуемого, оценивающего единичный звук, на неограниченной шкале, без фиксированного стандарта сравнения, почти все отклонения будут связаны с произволным выбором единицы измерения, а не с оценкой звука как такового.

«Хм,» — подумали вы про себя — «это звучит похоже на то, как присяжные в суде обсуждают размер штрафных санкций. Не удивительно, что там полно отклонений!» Интересная аналогия, однако что насчет продемонстрировать это экспериментально?

Канеман в 1998 и 1999 года предоставил 867 испытуемым с юридическим образованием описания правовых случаев (например ребенка, чья одежда сгорела) и попросил оценить их:

— возмутительности действий ответчика на ограниченной шкале;
— степень, в которой ответчик должен быть наказан на ограниченной шкале; или
— какое-то значение штрафного минимума в долларах.

И, о чудо, в то время как испытуемые отлично коррелировали друг с другом по уровням возмутительности действий и наказания, их штрафы были разбросаны кто куда. Однако если распределить их по рангу, то они вполне коррелировали по субъектам.

Если вы спросите, насколько велика разница в шкале «наказания», которую можно объяснить специфическим сценарием — частный законный случай, как представленный нескольким испытуемым — тогда ответ, даже для сырых результатов, был 0,49. Для ранжированных случаев долларовых ответов, число предсказанных различий было 0,51. Для сырых долларовых объемов, объясняемое различие было 0,06!

Должен сказать: если бы вы знали представленный сценарий — вышеупомянутого ребенка, чья одежда загорелась — вы бы сделали хорошее предположение по рейтингу наказания, и хорошее предположение по ранжированию долларовой награды относительно других случаев, однако долларовая награда сама по себе была бы совершенно непредсказуема.

Взятие среднего из двенадцати случайно выбранных ответов не особо помогает вообще.

Так что награда жюри за штрафной ущерб не столько экономическая оценка как выражение позиции — психологического измерения нарушения, выраженного на неограниченной шкале без единицы измерения.

Я вижу что множество футуристических предсказаний, в любом случае, лучше рассматривать как субъективные выражения. Возьмем вопрос, «сколько нам еще нужно, чтобы построить ИИ, сравнимый по разуму с человеком?» Я видел ответы на этот вопрос от людей по всему земному шару. Одним из наиболее запомнившихся был ответ одного из передовых разработчиков ИИ — «Пять сотен лет»!

Теперь причина по которой время реализации ИИ не очень предсказуемо, представляет собой большое обсуждение своей правоты. Но это не было бы так, если парень, который сказал «пятьсот лет» посмотрел в будущее, чтобы определить это. И он не мог получить эти цифры при помощи использования закона Мура. Так что же значит число 500?

Насколько я могу предполагать, это все равно что если бы я спросил «На шкале, где ноль это «совершенно несложно», насколько трудной вы ощущаете проблему создания ИИ для вас?» Если это была бы ограниченная шкала, каждый здравомыслящий респондент поставил бы отметку как «невероятно сложно» на другом конце шкалы. Все что угодно ощущается невероятно сложным когда вы не знаете как это сделать. Но у вас нет ограничения у шкалы и нет единицы измерения. Тогда люди попросту берут число, чтобы представить «невероятно сложно», которое может быть и 50, и 100, и даже 500. Тогда они добавляют к нему «лет» и получают свой футуристический прогноз.

«Насколько трудным ощущается задача ИИ?». Это не только существенный вопрос. Другие отвечают так, словно бы я спрашиваю «Насколько радужно вы думаете о задаче ИИ?», только низкие числа означают более положительные ощущения, и тогда они также добавляют «годы» в конце. Но если эти «временные оценки» представляют собой что-то, нежели субъективные выражения на неограниченной шкале без масштаба, я не могу понять этот ответ.

Перевод: 
Remlin
Номер в книге "Рациональность: от ИИ до зомби": 
102
Оцените перевод: 
Средняя оценка: 4.8 (4 votes)

Эффект ореола

Элиезер Юдковский

Аффективная эвристика — это когда общее ощущение хорошего или плохого влияет на многие другие суждения, вне зависимости от того, логично это или нет, и независимо от того, осознаете вы это или нет. Субъекты, которым рассказали о преимуществах ядерной энергии склонны недооценивать риски реакторов; биржевые аналитики, которые оценивают неизвестные им акции, склонны характеризовать их в общем, как хорошие или плохие — низкий риск и высокий доход или высокий риск и низкий доход — пренебрегая обычной экономической теорией, которая говорит что риск и доход должны коррелировать положительно.

Эффект ореола (также называемый гало-эффектом) это проявление аффективной эвристики в социальной психологии. Роберт Чалдини во «Влияние: наука и практика» обобщает:

Исследования показывают, что мы автоматически присваиваем симпатичным людям такие хорошие черты как талант, доброту, честность и ум (для обзора свидетельств см. Eagly, Ashmore, Makhijani, & Longo, 1991). К тому же мы не замечаем, что в данных суждениях играет роль физическая привлекательность. Некоторые последствия таких неосознанных предположений что «что-то хорошо выглядящее есть хорошее» пугают меня. Например, исследование канадских федеральных выборов 1974 года обнаружило, что привлекательные кандидаты получили больше чем в два с половиной раза голосов, нежели непривлекательные (Efran & Patterson, 1976). Несмотря на такие свидетельства фаворитизма по отношению к привлекательным внешне политикам, дальнейшие исследования показали, что избиратели не осознают данного своего искажения. На деле, 73 процента канадских избирателей категорически отказались признать, что в их суждениях внешность кандитата играла какую-то роль; и только 14 процентов сказали, что допускают такую возможность (Efran & Patterson, 1976). Избиратели могут отрицать влияние привлекательности на возможность быть избранным, однако тревожные свидетельства наличия данного эффекта продолжают поступать (Budesheim & DePaola, 1994).

Аналогичный эффект проявляется в ситуациях, связанных с наймом сотрудников на работу. Согласно одному из исследований, хороший вид претендента часто играл большую роль в процессе принятия решения интервьюером о найме, чем даже профессиональные навыки — хотя интервьюеры заявляли обратное, что внешний вид не оказывает значительного влияния на их выбор (Mack & Rainey, 1990). Преимущество привлекательных внешне сотрудников легко отслеживалось в день зарплаты. Экономисты, исследовавшие данные по США и Канаде, обнаружили, что такие сотрудники получали зарплату в среднем на 12-14 процентов больше, нежели их не столь привлекательные коллеги (Hammermesh & Biddle, 1994).

Не менее тревожные исследования показывают, что строение костей и пропорции тела могут влиять даже на судебные процессы. Даже в правовой системе хорошо выглядящие люди получают преимущество (смотри Castellow, Wuensch, & Moore, 1991; and Downs & Lyons, 1990). Например, в пенсильванском исследовании (Stewart, 1980) ученые ранжировали 74 обвиняемых согласно их физической привлекательности перед их судом. Потом, проверяя результаты данных случаев, они обнаружили, что привлекательные люди получили куда более легкие наказания. Фактически, привлекательные обвиняемые вдвое чаще непривлекательных избегали тюрьмы. В другом исследовании — когда оценивалась сумма выплаты за причиненный ущерб, если обвиняемый был привлекательней пострадавшего, то средняя сумма выплат составляла 5623 доллара, если же наоборот — жертва была привлекательней обвиняемого, то средняя сумма вырастала до 10051 доллара. Более того, присяжные демонстрировали данный эффект вне зависимости от своей половой принадлежности (Kulka & Kessler, 1978).

Другие эксперименты продемонстрировали, что привлекательные люди чаще получают помощь, если она им нужна (Benson, Karabenic, & Lerner, 1976), и с куда большим успехом могут убеждать людей менять мнение (Chaiken, 1979)…

Влияние привлекательности на оценку интеллекта, честности и доброты — это чистый пример искажения (особенно когда вы судите об этих сущностях на основе фиксированного текста) поскольку мы не ожидаем, что суждения о честности и привлекательности будут объединены на каких-то легитимных причинах. С другой стороны, сколько моего воспринимаемого со стороны интеллекта проистекает из моей честности? Как много моей воспринимаемой честности проистекает из моего интеллекта? Поиск истины и произнесение ее вслух не так широко разделены в природе как хороший вид и умный вид…

Но эти исследования эффекта ореола привлекательности должны заставлять нас подозревать, что существует подобный эффект и для доброты или интеллекта. Предположим, вы знаете человека, который кажется не только очень умным, но также честным, альтруистичным, добрым и спокойным. Вы должны быть скептичнее относительно того, не влияют ли какие-то из этих характеристик на ваше восприятие других. Возможно, этот человек на самом деле умен, честен и альтруистичен, но не всегда добр или спокоен. Вы должны насторожиться, если вам кажется, будто вы можете разделить всех своих знакомых на чистых ангелов и демонов.

И я знаю, что вы не думаете, будто вы должны это делать, но, возможно, вам стоило бы быть более скептичными в отношении более привлекательных политиков.

Перевод: 
Remlin, Alexander_Pavlov
Номер в книге "Рациональность: от ИИ до зомби": 
103
Оцените перевод: 
Средняя оценка: 5 (3 votes)

Искажение супергероя

Элиезер Юдковский

Предположим, что хорошо вооруженный социопат, который взял людей в заложники, отказался от переговоров и объявил, что сейчас начнет убивать. В реальной жизни, хорошие парни обычно не выбивают дверь, когда у плохого парня есть заложники. Но иногда — крайне редко, но все же — жизнь подражает Голливуду в том, что хорошим парням необходимо проломиться через дверь.

Представим два совершенно разных мира, в которых герои вламываются в комнату, чтобы оказаться лицом к лицу со злодеем.

В одной из реальностей герой может поднимать и бросать машины, стреляет лазерами из ноздрей, имеет рентгеновский слух, и его кожа не просто отражает пули, а аннигилирует их. Злодей же засел в начальной школе, и в заложниках у него две сотни детей, родители которых плачут снаружи.

В другой реальности герой — это обычный нью-йоркский полицейский, а заложники — три проститутки, которых злодей снял на улице.

Тщательно рассмотрим вопрос: кто из них больше достоин называться героем? И кто вероятнее всего станет героем комиксов?

Эффект ореола — это когда восприятия всех положительных черт коррелируют. Те, кого оценили выше по шкале привлекательности, также скорее всего получат более высокие оценки на шкалах таланта, доброты, честности и ума.

Таким образом, герои из комиксов, которые кажутся сильными и неуязвимыми (что является двумя положительными чертами), также кажутся обладающими еще и такими героическими чертами, как мужество и героизм. Но:

«Как может быть тяжело действовать храбро и героически, когда ты практически неуязвим?»

—Empowered, т. 1

Я не помню, вычитал ли я эту точку зрения где-то или придумал как гипотезу: известность, в частности, складывается с остальными личностными характеристиками. Рассмотрим Ганди. Был ли Ганди самым альтруистичным человеком 20 века или только наиболее знаменитым альтруистом? Ганди выходил навстречу и полицейским с дубинками, и солдатам с оружием. Но Ганди был знаменитостью, и его известность его защищала. А что насчет других, тех, кто шел с ним на марш, тех людей, которые попадали под удары дубинок и выстрелы из оружия, хотя о них никто бы не написал в СМИ, если бы они попали в госпиталь или были убиты?

Что думал Ганди о заголовках в газетах, известности, славе, месте в истории, о том, чтобы стать архетипом ненасильственного сопротивления, когда он рисковал меньше, нежели те, кто шел с ним? Что он чувствовал, когда кто-либо из этих анонимных героев приходил к нему с сияющими глазами и говорил, насколько Ганди велик? Представлял ли Ганди мир в таком свете? Не знаю; я не Ганди.

Это ни в коем случае не критика Ганди. Смысл ненасильственного сопротивления — не в показывании вашего мужества; это можно сделать куда проще, спустившись по Ниагаре в бочке. Ганди не мог не быть частично защищенным своей известностью. И его действия требовали мужества — пусть не так много, как от анонимного человека, но все еще очень и очень много.

Искажение, на которое я хочу указать — это то, что люди склонны добавлять славу Ганди к его «честно заработанному» альтруизму. Когда вы думаете о ненасилии, вы думаете о Ганди — не об анонимном протестующем, который шел на одном из маршей, который попадал под огонь ружей и дубинки полицейских, который получал травмы и попадал в больницы, который остался после этого инвалидом и имя которого никто не вспомнит.

Точно так же, что значительней — рисковать жизнью, чтобы спасти две сотни детей, или рисковать жизнью, чтобы спасти трех взрослых?

Ответ зависит от того, что вы понимаете под «значительней». Если вам приходится выбирать между спасением трех взрослых и спасением двух сотен детей, то тогда выбирайте последнее. Фраза «любой, кто спасает одну жизнь, спасает целый мир» может звучать очень здорово, однако её нельзя назвать хорошим советом, если вам нужно выбрать, кого спасать. Так что, если вы говорите «значительней», понимая под этим «кто важней?», или «какой исход предпочтительней?», или «какой из двух путей я должен выбрать?», то тогда значительней будет спасти две сотни, нежели трех человек.

Но если вы спрашиваете о значительности в смысле явной добродетели, тогда любой, кто рискнул бы своей жизнью, чтобы спасти только три жизни, обнаруживает больше мужества, нежели тот, кто спас бы две сотни, но не трех.

Это не значит, что вы можете намеренно решить рискнуть вашей жизнью, чтобы спасти трех взрослых, и позволить умереть двум сотням школьников, потому что вы хотите явить больше добродетели. Любой, кто рискует жизнью, желая быть добродетельным, на самом деле являет много, много меньше добродетели, нежели тот, кто рискует жизнью, желая спасти других. Любой, кто выбирает спасение трех жизней, а не двух сотен, только потому, что так он выглядит более добродетельным, настолько зачарован своим «величием», что это больше похоже на моральный эквивалент убийства.

Это похоже на коан дзен: нельзя продемонстрировать добродетель, пытаясь её продемонстрировать. Имея выбор между спасением мира без всяких жертв и усилий и путем, на котором вам придется рисковать своей жизнью и терпеть лишения, вы не можете стать героем, осознанно выбрав второй путь. В желании быть героем нет ничего героического, это лишь бессмысленная цель.

По-настоящему добродетельные люди, действительно пытающиеся спасать жизни, а не демонстрировать добродетель, будут постоянно искать возможность спасти больше жизней меньшими усилиями, что означает, что они продемонстрируют меньшую добродетель. Это может звучать путано, однако это вовсе не противоречиво.

Но мы не всегда можем выбрать неуязвимость к пулям. После того, как мы сделали все возможное, чтобы уменьшить риски и увеличить шансы, любой оставшийся героизм является настоящим и нужным.

Полицейский, который рискует своей жизнью, не обладая сверхспособностями, не имея рентгеновского зрения, суперсилы, возможности летать, и уж, конечно, неуязвимости к пулям, демонстрирует куда большую добродетель, нежели Супермен, который является всего лишь героем.

Перевод: 
Remlin, Alexander_Pavlov
Номер в книге "Рациональность: от ИИ до зомби": 
104
Оцените перевод: 
Средняя оценка: 5 (2 votes)

Просто мессии

Элиезер Юдковский

Вчера я рассматривал, как гало-эффект, который заставляет людей видеть все позитивные характеристики, как связанные (например, более привлекательные индивиды также воспринимаются как более добрые, честные и умные), принуждает нас больше восхищаться героями, если они обладают сверхсилой и пуленепробиваемы. Даже если, согласно логике, потребуется больше смелости, чтобы быть героем, если ты обычный человек. Кроме того, можно обнаружить, что большее достоинство действовать отважно для спасения одной жизни, чем для спасения мира. (Хотя если вам нужно сделать что-то одно из двух, конечно вы должны спасти мир).

Я хочу сказать, что полицейский, который рискует своей жизнью, не имея сверхспособностей, проявляет куда большую добродетель, чем Супермен, который просто-напросто супергерой.

Давайте рассмотрим конкретный пример.

Нью-йоркский полицейский Джон Перри(English) был последователем экстропианства и трансгуманизма, насколько мне известно. Он должен был скоро выйти на пенсию и собирался начать собственную юридическую практику, когда пришла новость, что самолет врезался во Всемирный Торговый Центр. Он погиб, когда была разрушена северная башня. Я не знал Джона Перри лично, поэтому я не могу претендовать на точное знание; но лишь малая часть последователей экстропианства верит в Бога, и я предполагаю что Перри также был атеистом.

Это говорит нам о том, что Перри знал о риске прекратить свое существование, выходя на работу. И что, в отличие от большинства людей в истории, он знал о имеющемся у него выборе как умереть и выбрал то, что имело значение — потому что был трансгуманистом; его надежда была подлинной. И он все равно вошел в здание и отдал свою жизнь. Не потому что он ожидал божественной награды. Не потому что думал, что после смерти его ждет что-то еще. Но потому что в опасности были другие люди, у которых тоже не было бессмертной души и их надежды на жизнь стоили не меньше, чем его.

Я не знал Джона Перри. Я не знаю, смотрел ли он на мир именно так. Но факт, что атеист и трансгуманист все еще был полицейским, который бросился в горящее здание, говорит больше о человеческом духе, чем все мученики, которые надеялись попасть в рай.

Это мы рассказали о конкретном офицере полиции…

…а теперь посмотрим на супергероя.

Как рассказывают христиане, Иисус Христос мог ходить по воде, мог остановить бурю и усмирить демонов одним словом. Это должно быть весьма удобно в повседневной жизни: проблема голода? Наксерокопируем хлеба. Не нравится дерево? Проклянем его. Проблемы с римлянами? Пожалуемся Папе на них. Когда наконец его волшебная жизнь закончилась, Иисус был добровольно распят на кресте. Быть распятым на кресте не особо легкий способ умереть. Однако судя по рассказам христиан, Иисус сделал это, зная что он воскреснет через три дня, а после этого попадет в рай. Что заставило его принять временные муки перед попаданием в рай? Жизнь единичного человека? Коррупция иудейской церкви, или угнетения римлян? Нет, согласно христианам, Иисус принял муки за все грехи человеческие.

Но я не хочу осуждать человека, который на самом деле не был настолько виноват. Что если Иисус — нет, давайте произносить его имя правильно: Иешуа — что если Иешуа никогда не ходил по воде и тем не менее бросил вызов церкви иудеев, которая поддерживалась римлянами?

Разве это не заслуживает большего уважения, чем то, которое уделяется Иисусу Христу, который был просто Мессией?

Увы, величественнее кажется для героя иметь стальную кожу и божественные силы. Почему-то кажется более добродетельным временно умереть, чтобы спасти целый мир, чем умереть навсегда в борьбе с коррумпированной церковью. Это кажется таким обычным, словно в истории было полно людей, которые так делали.

Взирая с расстояния в две тысячи лет из будущего мы можем с разных сторон критически смотреть на Иешуа, однако он сделал то, во что верил, то, что по его мнению было правильно, вступив в сражение с церковью, которую он считал коррумпированной, и умер за это. Без преимущества просветления, едва ли он мог предсказать истинное влияние его жизни на мир. По отношению к другим пророкам его дней, он возможно был более честным, относительно менее жестоким и более храбрым. Если не рассматривать все непредвиденные последствия, худшее, что можно сказать о Иешуа, это что у других пророков получалось лучше (Эпикур, Будда, Марк Аврелий — те, кто первые приходят на ум). Иешуа умер навсегда, и с одной точки зрения он сделал это во имя честности. Пятнадцать веков до науки — в те времена религиозная честность не была оксюмороном.

Как сказал Сэм Харрис:

«Недостаточно того, что Иисус был человеком, который изменил себя настолько, что Нагорная Проповедь была отражением его сердца. Он также должен был быть Сыном Бога, непорочно зачатым, которому было суждено вернуться на землю в ореоле славы. Эффектом этой догмы стало то, что пример Иисуса навсегда стал недосягаем. Его учение прекратило быть набором эмпирических тезисов о соединении между этиками и духовным просветлением, вместо этого став ненужной и достаточно неприятной сказкой. Согласно догмам христианства, стать подобным Иисусу невозможно. Человек может лишь перечислить свои грехи, верить в невероятное и ждать конца света».

Я сильно сомневаюсь, что Иешуа когда-либо произносил Нагорную Проповедь. Несмотря на это, Иешуа заслуживает славы. Он заслуживает больше славы, чем любой из христиан, почитающих его.

Но поскольку Иешуа скорее всего ожидал, что его душа выживет, он не заслуживает больше славы, чем Джон Перри.

Перевод: 
Remlin, mangregory, Elspet
Номер в книге "Рациональность: от ИИ до зомби": 
105
Оцените перевод: 
Средняя оценка: 4 (4 votes)

Аффективные смертельные спирали

Элиезер Юдковский

Огромное множество потоков человеческого мышления ведут нас к переоценке того, как хорошо наша любимая теория объясняет факты. Теория флогистона в химии могла объяснить все что угодно, пока не требовалось предсказать что-либо заранее. И чем больше феноменов вы объясняете своей теорией, тем истиннее она кажется — разве все эти наблюдения не подтверждают ее? И по мере того, как теория набирает в глазах у вас вес, вы будете склонны ставить под сомнение те свидетельства, которые конфликтуют с ней. И поскольку любимая теория кажется все более общей, вы будете искать возможности объяснить ею как можно больше вещей.

Если вы знаете кого-то, кто верит в то, что Бельгия тайно контролирует банковскую систему США или что они могут использовать силу невидимого синего духа для поиска доступных мест для парковки — скорее всего они уже дошли до этой стадии.

(Просто следите, и вы будете наблюдать много того, что, кажется, подтверждает эту теорию…)

Этот цикл доверия и подтверждения с положительной обратной связью на самом деле страшная вещь, ответственная за множество ошибок как в науке, так и в повседневной жизни.

Но это ничто, по сравнению со смертельной спиралью, которая начинается с заряда положительного аффекта — мысли, которая ощущается очень хорошей.

Новая политическая система, которая может спасти мир. Великий лидер, сильный, благородный и мудрый. Удивительный тоник, который может лечить расстройство желудка и рак.

Эй, почему бы не все три сразу? Великое дело нуждается в великом лидере. Великий лидер должен быть способен приготовить один-два волшебных тоника.

Эффект ореола — это когда любая воспринимаемая положительная характеристика (такая как привлекательность или сила) увеличивает восприятие любых других положительных характеристик (таких как интеллект или мужество). Даже когда это не так или почти не так.

Позитивные характеристики усиливают восприятие других позитивных характеристик? Звучит сильно похоже на то, как делящийся атом урана испускает нейтроны, которые расщепляют другие атомы урана.

Слабый положительный аффект не дотягивает до критической массы; он не выходит из-под контроля. Привлекательный человек кажется более честным, что, похоже, делает его еще более привлекательным; однако эффективное размножение нейтронов меньше единицы. Метафорически говоря. Резонанс немного сбивает с толку в отношении некоторых вещей, однако быстро сходит на нет.

С сильным положительным аффектом, имеющим отношение к Великой Вещи, резонанс проявляется везде. Верящий коммунист видит мудрость Маркса в каждом гамбургере, купленном в Макдональдс; в любом движении они запрещают все, что не подпадает под определение рая для истинных трудящихся; любые выборы, в которых они проигрывают, во всех статьях они объявляют подтасованными. Каждый раз, когда они используют Великую Идею для интерпретации другого события, Великая Идея подтверждается все больше и больше. Это ощущается как что-то хорошее — положительное подтверждение — и конечно, когда что-то позволяет нам чувствовать себя хорошо, то, увы, это заставляет нас хотеть верить в это еще больше.

Когда Великая Идея ощущается достаточно хорошей для того, чтобы заставить вас искать новые возможности ощутить, что Великая Идея еще лучше, применяя ее для интерпретации всех новых событий каждый день, резонанс положительного аффекта похож на комнату, забитую сверхчувствительными мышеловками, в которую забросили несколько мячей от пинг-понга.

Вы можете назвать это «аттрактором счастья», «перекрывающейся положительной обратной связью», «замкнутой петлей похвалы» или «бумагой веселья». Лично я предпочитаю термин «аффективная смертельная спираль».

В следующем посте: как сопротивляться аффективной смертельной спирали. (Подсказка: не отказываться вообще восхищаться чем-либо и когда-либо снова, но не позволяя вещам, которыми вы восхищаетесь, выходить за пределы небольшой ограниченной безопасной зоны.)

Перевод: 
Remlin
Номер в книге "Рациональность: от ИИ до зомби": 
106
Оцените перевод: 
Средняя оценка: 3.6 (15 votes)

Сопротивление аффективным смертельным спиралям

Элиезер Юдковский

Когда-то давно был человек, считавший, что он обладает Великой Идеей. Действительно, по мере того, как он думал об Идее всё больше, он понимал, что это была не просто Великая Идея, а Самая Замечательная Когда-Либо Существовавшая Идея. Великая Идея могла бы разгадать тайны Вселенной, вытеснить авторитет подверженных коррупции и ошибкам ведомств, предоставить почти магическую силу её обладателям, накормить голодных, вылечить больных, улучшить мир в целом и т.д., и т.п.

Этим человеком был Френсис Бекон, его великой идеей был научный метод, и он был единственным фриком в истории, утверждавшем о таких преимуществах для человечества, и оказавшимся совершенно правым.

(Разумеется, Бэкон не изобрел единолично всю науку, однако он сделал в нее немалый вклад и, возможно, был первым, кто осознал ее полный потенциал.)

В этом и заключается слабое место решения, когда человек решает вообще не увлекаться идеями: некоторые из них на самом деле хорошие. Хотя на данный момент неизвестны идеи, которые были бы более революционны, чем идея Бэкона, и при этом выполняли бы свои заявления.

Но как мы можем сопротивляться аффективным смертельным спиралям, продолжая при этом уважать Науку? Подобная спираль проявляется, когда вы верите, что некоторая вещь настолько великолепна, что эффект ореола заставляет вас искать все больше и больше хороших слов, которые можно сказать об этой вещи, заставляя вас верить, что эта вещь еще более замечательна и таким образом увлекая вас в бездну. Что, если Наука в действительности настолько полезна, что мы не можем даже признать ее истинное величие и остаться при этом в здравом уме? Ой, похоже это началось…

Если вы пытаетесь защититься от данного эффекта, возможно, вам на ум придут стандартные кэшированные мысли вида «Наука дала нам кондиционеры, но ведь также дала и атомные бомбы» или «Ученые могут рассказывать о звездах и биологии, однако никогда не смогут доказать или опровергнуть существование дракона у меня в гараже». Однако люди, которые так думают, не пытаются сопротивляться аффективной смертельной спирали. Их заботит не то, что восхищение наукой выходит из-под их контроля. Скорее, им не нравится то, что наука говорит об их убеждениях, и они ищут пути, чтобы подорвать ее авторитет.

Для тех, кто искренне восхищается наукой, не подойдут те негативные вещи, которые о ней обычно говорят — не та аудитория. Так что мы должны искать другие негативные вещи на замену этим.

Но если вы пытаетесь избирательно очернить науку — пусть даже в попытке сопротивляться аффективной смертельной спирали — разве при этом вы не впадаете в рационализацию? Почему вы должны уделять внимание своим мыслям, если вы знаете, что пытаетесь манипулировать самим собой?

В общем, я достаточно скептично отношусь к тем людям, которые утверждают, что одно искажение можно использовать для нейтрализации другого. Для меня это звучит так, словно механик говорит вам, что у вашей машины сломался двигатель правого стеклоочистителя и чтобы было симметрично, механик сломал вам двигатель левого. Это такой вид «умных рассуждений», который больно ударит по вам самим. Любое решение, каким бы оно не было, должно включать в себя правильные убеждения, а не веру в убеждение, что вы верите, что определенная вещь не особо хороша.

Можете ли вы предотвратить аффективную смертельную спираль путем ограничения вашего восхищения наукой узким диапазоном? Частью спирали является стремление видеть Великую Идею везде — думать, что Коммунизм бы даже рак вылечил, если бы ему дали шанс. Возможно, что единственным наиболее надежным признаком гуру культа является тот факт, что гуру заявляет о своем знании не касательно одной области или ряда областей — а сразу во всем. Гуру знает, что членам культа нужно есть, носить, чем заниматься, как выбирать себе партнера, какие картины смотреть, какую музыку слушать…

К сожалению, в данном случае такой план имеет изъян — большинству людей не удается описать границы, в которых должна оставаться наука. Обычный аргумент «наука не вылечит рак» не работает. «Наука ничего не может сказать о любви родителей к своему ребенку» — простите, это уже явная ложь. Если вы пытаетесь отделить науку от так называемой родительской любви, вы не просто отрицаете когнитивную науку и эволюционную психологию. Вы также отрицаете факт основания Мартином Ротблаттом Объединения Терапевтов для поиска лекарства для его дочери, больной легочной гипертензией. (К слову сказать, успешного поиска.) Наука так или иначе связана со всеми важными аспектами человеческого существования.

Хорошо, но можно ли придумать подходящее утверждение о «великолепности» науки, которое было бы ложным?

По моему скромному мнению, ложным утверждением будет то, что наука столь великолепна, что учёным не нужно беспокоится об этической ответственности за свою работу, потому что так или иначе результат будет хорошим. Учёные тоже люди, они (как и другие люди) так или иначе думают о благе для обществе, и это, по крайней мере, одна из причин, почему наука создаёт хорошего всё же больше, чем плохого.

Однако эта точка зрения, очевидно, не бесспорна. Можно придумать и более простое ложное утверждение: «Пациент с раком может быть вылечен, путем публикации достаточного количества журнальных статей». Или «Социопаты могли бы стать полностью нормальными, если бы они заставили себя не верить ничему, без воспроизводимого экспериментально свидетельства с p менее 0,05».

Для того, чтобы не поверить в эти ложные утверждения, следуя аффективной спирали, не надо искать причин верить в то, что публикация журнальных статей вызывает рак. Не надо пытаться поверить в то, что наука всё равно ничего не может сказать о раке. Надо принять для себя как данность, что наука хороша лишь слегка.

Точнее, если вы достаточно конкретно знаете как работает наука, то вы знаете, что хоть наука и может со временем «вылечить рак», но больной пациент, пишущий журнальные статьи, не получит чудодейственной ремиссии. Эта конкретная цепь причин и следствий не будет работать.

Аффективная смертельная спираль представляет собой эмоциональную проблему, возникающую вследствие проблемы в восприятии, эффекта ореола, который заставляет нас приписывать бо́льшую вероятность истинности будущим положительным заявлениям, если мы приняли начальное положительное заявление. Мы не можем избавиться от этого эффекта по своему желанию, скорее всего, он всегда в той или иной мере будет влиять на нас. Но мы можем уменьшить размер этого влияния, остановившись и рассматривая каждое дополнительное положительное заявление как лишнее усложнение, и концентрируясь на самих заявления отдельно от положительных эмоций, ими вызываемых.

Что делать, если определенное хорошее заявление «не может быть опровергнуто», хотя есть аргументы «за» и «против»? На самом деле таких слов вообще стоит опасаться, поскольку часто их произносят те люди, которые повторяют свидетельство или пытаются избежать слабых мест. Учитывая опасность аффективной смертельной спирали радости, имеет смысл постараться избегать радоваться неподтвержденным заявлениям — избегать делать их источником еще больших положительных эмоций касательно того, что вам уже нравится.

Аффективная смертельная спираль является столь большой проблемой вследствие перекрывающейся положительной обратной связи, которая дает возможность процессу перейти в критическую стадию. Возможно, вы не можете совсем убрать эффект ореола, однако вы можете мыслить достаточно критически, чтобы не давать ему довести вас до критической отметки — при этом резонанс прекратится до того, как все взорвется.

Можно даже сказать, что вся проблема начинается с людей, которые которые не утруждают себя критическим анализом любой детали, вносящей дополнительную сложность — рассматривая подходящие свидетельства для компенсации сложности, ища недостатки так же как и поддержку, вовлекая любопытство — как только были приняты некоторые основные положения. Без ложной конъюнкции эффект ореола все еще действовал бы, однако не приводил бы к аффективной смертельной спирали.

Даже в отношении Самых Крутых Штук в известной вселенной идеальный рационалист, требующий безусловно необходимые свидетельства для каждого дополнительного (положительного) заявления, никогда бы не впадал в аффективный резонанс. Вы не можете так делать, но вы можете постараться приблизиться к этому идеалу достаточно близко, чтобы сохранять свое счастье от выхода из-под контроля в смертельную спираль.

По-настоящему опасные случаи это те, где любая критика любого положительного заявления про Великую Идею ощущается плохой или социально неприемлемой. Аргументы — это солдаты, любое положительное заявление — солдат вашей стороны, причинять им вред — предательство. Тогда реакция достигает критической точки. Больше об этом в следующем посте.

Добавление: Стюарт Армстронг предложил весьма дельный совет:

Разделите вашу Великую Идею на мелкие отдельные идеи и обращайтесь с ними как с независимыми.

Для примера: марксист должен делить Великую Идею Маркса на теорию стоимости, теорию политических отношений между классами, теорию заработной платы, теорию крайнего политического состояния человечества. Каждая из них должна оцениваться отдельно от других, и истинность или ложность одной не должна распространяться ореолом на другую. Если мы можем сделать это, спираль будет нам не страшна, поскольку каждая теория слишком мала, чтобы стать началом спирали.

Метафорически говоря, это похоже на дробление плутония, чтобы не дать ему достигнуть критической массы. Три Великих Идеи намного менее вероятно сведут вас с ума, чем одна Великая Идея. К тому же совет Армстронга помогает сохранить концентрацию на деталях: как только кто-то говорит «Публикация достаточного количества статей может вылечить ваш рак», вы спрашиваете: «Это было получено экспериментальным методом? Если да, то на каком этапе эксперимента вылечивается рак? Или это преимущество от науки как от социального процесса? В таком случае нужно полагаться на отдельных ученых, желающих вылечить рак или они могут быть эгоистами?». Возможно, что это поможет вам избавиться от эффекта ореола и даст возможность более эффективно замечать замешательство и отсутствие поддержки.

Добавление 2: как итог, вы можете избежать аффективной смертельной спирали путем (1) разделения Великой Идеи на части, (2) рассмотрения каждой дополнительной детали как усложнения задачи, (3) размышления о специфике причинно-следственной цепочки, вместо общего ощущения блага или вреда, (4) прекращения повторения одних и тех же свидетельств, (5) прекращения вызова эмоции счастья от заявлений, что «вы не можете доказать это — значит вы не правы»; но не (6) отказываться восхищаться чем-то слишком много, (7) обеспечивая искаженный поиск негативных точек зрения, пока вы не ощутите себя снова несчастным, (8) принудительно помещая идею в безопасные рамки.

Перевод: 
Remlin, Elspet
Номер в книге "Рациональность: от ИИ до зомби": 
107
Оцените перевод: 
Средняя оценка: 3.2 (12 votes)

Некритичная сверхкритичность

Элиезер Юдковский

Снова и снова можно встретить людей спорящих о том, является ли атеизм религией. Как я упоминал в «Purpose and Pragmatism» (English), спор о смысле отдельного слова практически всегда означает, что вы потеряли нить от изначальной проблемы. Какие предпосылки могут существовать для этого спора?

Атеист толкает речь, попрекая «религию» инквизицией, крестовыми походами и многочисленными конфликтами как с исламом, так и без его участия. На это религиозный человек может ответить: «Но атеизм также является религией, вы тоже имеете верования о Боге; вы верите в то, что Бога не существует». Тогда атеист парирует: «Если атеизм – религия, то не-коллекционирование марок можно назвать хобби», и спор начнётся.

Или он может ответить: «Но такие же ужасы были принесены и атеистом Сталиным, подавлявшим церкви во имя атеизма, так что вы не можете объявлять религию источником насилия». Теперь атеист может соблазниться ответом «Никто не истинный шотландец», сказав: «Религия Сталина называется Коммунизм». Религиозный человек возразит: «Если Коммунизм – религия, то фанаты Звёздных Войн – правительство», и спор начнётся.

Нужно ли определять «религиозного» человека как кого-то, кто имеет определенное мнение о существовании по крайней мере одного бога, то есть присваивает вероятность ниже 10% или выше 90% существованию Зевса? Или его нужно определять как человека, который обладает положительным мнением, говоря, что вероятность существования по меньшей мере одного бога выше 90%? В первом случае Сталина можно назвать «религиозным»; во втором его назвать так нельзя.

Но это определённо неверный подход к проблеме. Что вы действительно хотите знать, о чём действительно был спор – это то, почему на определённых этапах человеческой истории большие группы людей подвергались пыткам и были убиты якобы во имя идеи. Переопределение слова никак не изменит исторических фактов.

Коммунизм был сложной катастрофой, и в ней может и не быть единичной причины, отдельной ссылки, лежащей в основе причинно-следственной цепочки. Но если бы я должен был предложить эй-ошибку, это была бы… ну, я позволю Господу сказать это за меня:

«Если будет уговаривать тебя тайно брат твой, сын отца твоего или матери твоей, или сын твой, или дочь твоя, или жена на лоне твоем, или друг твой, который для тебя, как душа твоя, говоря: „пойдем и будем служить богам иным, которых не знал ты и отцы твои”, богам тех народов, которые вокруг тебя, близких к тебе или отдаленных от тебя, от одного края земли до другого, то не соглашайся с ним и не слушай его; и да не пощадит его глаз твой, не жалей его и не прикрывай его, но убей его; твоя рука прежде всех должна быть на нем, чтоб убить его, а потом руки всего народа; побей его камнями до смерти, ибо он покушался отвратить тебя от Господа, Бога твоего, Который вывел тебя из земли Египетской, из дома рабства» (Второзаконие 13:7—11).

Это аналогично правилу, установленному Сталиным для коммунизма и Гитлером для нацизма: если твой брат пытается рассказать тебе, почему Маркс ошибался, если твой сын пытается рассказать тебе, что евреи не планируют захват мира, то не спорь с ним и не приводи доказательств, не проводи воспроизводимых опытов и не изучай историю, но скорее сдай его секретным службам.

В прошлом посте я предположил, что ключевым моментом в сопротивлении аффективным смертельным спиралям является принцип «дополнительной сложности» – просто помнить, что любое дополнительное положительное заявление добавляет сложности Великой Идее. (Это не тривиальный совет. Люди часто забывают делать это, даже когда слушают прогнозы футуристов, удивительно полные восторженных подробностей о чудесах будущего, что уж тут говорить о тех моментах, когда они в одиночестве рассуждают о своей любимой идее). Это не уберет эффект ореола, однако может снизить резонанс ниже критической отметки, чтобы одно хорошо звучащее заявление не провоцировало больше 1,0 дополнительного хорошо звучащего заявления, в среднем.

Диаметральной противоположностью этому совету, который подвергает эффект ореола сверхкритичности, является момент, когда любой спор против положительных заявлений о Великой Идее ощущается чем-то кощунственным. Политика – убийца разума. Аргументы – солдаты. Как только вы выбираете сторону, вы должны поддерживать все аргументы, свидетельствующие в пользу вашей стороны и опровергать все те, что говорят против нее. Если же вы предоставляете помощь стороне врага, то вы – предатель.

Если…

…вы думаете, что любой, кто указывает на недостатки теории эволюции, будет сторонником креационизма;

…вы ощущаете, что получаете духовные очки за любую хорошую вещь сказанную вами о Боге, и спорить об этом – вмешиваться в ваши отношения с Богом;

…у вас есть четкое ощущение, что другие люди в комнате осудят вас за «поддержку вражеской стороны», если вы будете приводить аргументы против последней войны;

…сказать что-либо против коммунизма для вас смерти подобно;

…тогда аффективная смертельная спираль становится сверхкритичной. Теперь это Аффективная Смертельная Супер-Спираль.

Это не религия как таковая, это ключевая систематизация, относящаяся к нашему исходному вопросу: «Что приводит к жестокости?». Лучшее определение различий, которое я слышал, между «сверхъестественным» и «натуралистическим» мировоззрением, это то, что сверхъестественное заявляет существование онтологически базовых ментальных сущностей, наподобие духов, в то время как натуралистическое сводит ментальные явления к нементальной природе. Концентрация на этом как на источнике проблемы поддерживается в религиозной исключительности. Заявления сторонников сверхъественного мировоззрения стоит выделить, поскольку они всегда ошибочны по фундаментальным причинам. Но это всё ещё только один вид ошибок.

Аффективная смертельная спираль может зарождаться вокруг сверхъестественных убеждений; особенно вокруг монотеистических религий, центральное место в которых занимает сверхсчастливый агент, в основном определеяемый как соглашающийся с любым хорошим заявлением про его религию; особенно вокруг тех, в которых комплексы мемов развились достаточно для того, чтобы заявлять о сверхъестественной каре за неверие. Однако смертельная спираль может возникнуть и вокруг политической инновации, харизматичного лидера, веры в национальную идею или экономическую гипотезу. История учит, что аффективные смертельные спирали опасны, вне зависимости от того, включают ли они в себя сверхъестественное или нет. Религия как класс ошибок недостаточно выделяется, чтобы рассматриваться как ключевая проблема.

Сэм Харрис подобрался ближе к истине, когда обвиняюще указал на само явление веры. Если вы не налагаете бремя доказательства на всякое и каждое дополнительное хорошее заявление, то впасть в аффективный резонанс необычайно просто. Посмотрите на бедных последователей Нью Эйдж. В христианстве развилось множество видов защиты от критики, выступая в защиту чудес веры; последователи Нью Эйдж в культурном отношении унаследовали кэшированную мысль, что вера – это хорошо, однако не имеют ограничивающего их Писания, которое могло бы оградить их от конкурирующих мемов. В конечном итоге течение Нью Эйдж погрязло в смертельных спиралях вокруг звезд, деревьев, магнитов, диет, заклинаний, единорогов…

Но аффективная смертельная спираль становится много опаснее, когда критика становится грехом, бестактностью или преступлением. В мире существуют вещи, которые заслуживают огромной похвалы, и вы не можете точно сказать, где для них проходит граница между заслуженной и незаслуженной похвалой. Однако не существует Идеи, настолько истинной, что будет неправильно критиковать любой аргумент, поддерживающий ее. Таких идей нет и не будет. Никогда. Во веки веков. Это точно. Большая часть возможных убеждений в нетривиальном пространстве ответов ложна, и подобным образом большая часть возможных аргументов в их поддержку тоже ложна, и даже самая лучшая идея не сможет это изменить.

И втройне неправильно отвечать на критику насилием. В человеческом искусстве рациональности крайне мало запретов без всяких «если», «и», «но» или каких-либо исключений. Но вот это – один из них. На плохой аргумент находится контраргумент. Но не пуля. Никогда. Во веки веков.

Перевод: 
Remlin, Klok
Номер в книге "Рациональность: от ИИ до зомби": 
108
Оцените перевод: 
Средняя оценка: 4.3 (4 votes)

Охлаждение групповых убеждений при помощи испарения

Элиезер Юдковский

Ранние исследователи культов были удивлены, когда обнаружили, что когда культы получают сильный удар — пророчество ли не сбывается, или на свет выплывают грешки основателя культа — они часто возвращаются даже сильнее чем прежде, с усиленным убеждением и фанатизмом. Свидетели Иеговы предсказывали Армагеддон в 1975, основываясь на своих вычислениях из Библии; 1975 пришел и ушел. Культ Анафемы, все еще действующий и в наши дни, выжил после того как предсказанный им интергалактический флот не появился 27 сентября 1975. (Статья в Википедии про данный культ упоминает несбывшееся пророчество касательно 2001 года, однако обходит стороной ранний провал в 1975, что уже достаточно интересно.)

Почему же групповое убеждение становится сильнее после встречи со столь разрушительным контр-свидетельством?

Стандартное объяснение данного явления основано на теории когнитивного диссонанса. Когда люди производят «невозвратные» действия в поддержку убеждения — отдают все свое имущество в ожидании прилета НЛО — они просто не могут признать, что они ошиблись. Вызов их убеждению представляется громадным когнитивным диссонансом; им приходится усилить свои мысли, чтобы противостоять шоку, таким образом укрепляясь в своем фанатизме. В данной интерпретации увеличение группового фанатизма есть результат увеличения фанатизма индивидуального.

Я смотрел на джава-апплет, который показывал использование охлаждения испарением для получения конденсата Бозе-Эйнштейна, когда до меня дошло, что совершенно другая сила может отвечать за увеличение фанатизма. Охлаждение испарением устанавливает барьер потенциальной энергии вокруг собрания горячих атомов. Тепловая энергия по существу статистична по природе — не все атомы движутся с совершенно одинаковой скоростью. Кинетическая энергия каждого атома варьируется, поскольку атомы сталкиваются друг с другом. Если вы устанавливаете барьер потенциальной энергии немного выше, чем средняя тепловая энергия, то при случайном стечении обстоятельств какой-то атом может получить достаточно кинетической энергии, чтобы вылететь из ловушки. Группа при этом становится существенно холоднее, чем барьер потенциальной энергии вокруг нее. Различные действия с апплетом помогли мне понять это яснее.

В классическом «Когда пророчество не сбывается» Фестингера один из членов культа уходит сразу же, как только НЛО не появляется. Кто встанет и уйдет первым? Средний член культа? Или относительно более скептичный участник, который ранее мог действовать как сдерживающий голос, успокаивавший более фанатичных последователей?

После того, как члены с наибольшей кинетической энергией уходят, все поздние дискуссии будут проходить между ярыми фанатиками с одной стороны и чуть менее ярыми фанатиками с другой стороны, при этом мнение всей группы получится где-то «посередине» между ними.

Аналогично ли это преобразованию в форму конденсата Бозе-Эйнштейна? Конечно же реальной необходимости настолько подгонять аналогию нет. Но вы можете вспомнить, что я использовал аналогию с цепной реакцией для аффективной смертельной спирали; когда группа отторгает все свои голоса, которые ее сдерживали, тогда все люди, подбадривая друг друга и подавляя инакомыслящих, могут внутри группы увеличивать средний уровень фанатизма. (Здесь нет аналогий с термодинамикой, пока кто-либо не откроет ядерное оружие, которое взрывается будучи холодным.)

Когда долгое партнерство Айн Рэнд и Натаниэля Брандена прекратилось, существенная часть общества объективистов последовала за Бранденом в его «новую систему» объективизма, которая была уже не так тесно связана с Айн Рэнд. Кто же остался с ней после этого скандального разрыва? Те, кто на самом деле верил в нее — и возможно несколько молчунов, которые после ухода большей части сообщества, могли слышать только аргументы одной стороны. Это может объяснить то, что последователи Института Айн Рэнд (по некоторым источникам) стали еще более фанатичны после раскола, чем исходная группа объективистов под руководством Рэнд и Брандена.

Несколько лет назад я состоял в списке рассылки для трансгуманистов, где была маленькая группа поддерживающая «социальный демократический трансгуманизм», едко оскорбляя каждого либертарианца (сторонника полной свободы мысли и деятельности), включенного в этот список. Большинство либертарианцев покинуло список, многие из оставшихся сдались и перестали писать. В результате оставшаяся группа сдвинулась существенно в сторону левых взглядов. Произошло ли это преднамеренно? Скорее всего нет, поскольку я не думаю, что виновники настолько знали психологию. (Если уж на то пошло, не могу вспомнить другой столь похожей на аналогию с охлаждением испарением ситуации, хотя это не значит, что их не было). В крайнем случае они могли стремиться стать «наибольшей рыбой в маленьком пруду».

Это одна причина того, почему столь важно быть терпимым к допустимому нонконформизму. Не стоит выкидывать члена группы, даже если вам показалось, что это оправдано — хотя бы подождите, чтобы убедиться, что это и в самом деле необходимо. Если вы выкидываете старых нонконформистов, то позиция группы сдвигается и их место занимает кто-то еще. Если вы удаляете и их, то вы явно встали на путь становления конденсатом Бозе-Эйнштейна, ну и, последующего взрыва.

Обратная сторона: Томас Кун верил, что наука должна стать «парадигмой», использующей свой технический язык, который исключает посторонних, прежде чем она реально начнет работать. В стадиях формирования науки, согласно Куну, приверженцы науки прилагают множество усилий, чтобы она была доступна не только им. Но (опять же по Куну) наука может прогрессировать как техническая дисциплина только если откажется от требования внешней доступности, и только ученые, работающие в рамках парадигмы, будут тесно знакомы с ней, используя основной технический материал для коммуникации между собой. Это звучит цинично по отношению к тому, что обычно утверждается об общественном понимании науки, однако я определенно вижу в этом рациональное зерно.

Моя собственная теория модерирования в Интернете гласит, что вы должны исключить троллей и спам, чтобы получить нормальный разговор. Вы должны даже исключить вежливых, но технически неосведомленных людей из специализированных технических списков рассылки, если вы хотите, чтобы работа продвигалась. Полностью открытое обсуждение в Интернете крайне быстро деградирует. При этом следует быть осторожным при исключении из обсуждения адекватных троллей — они служат для реализации скрытой функции легитимации возражений. Однако у вас не должно быть настолько много троллей, чтобы они начинали спорить уже друг с другом или доминировать в обсуждениях. Если у вас есть один человек, который известен как Парень-Не-Согласный-Со-Всем-На-Свете, любой, у кого будет более разумное и резонное возражение, не будет выглядеть кем-то выделяющимся. Правда на практике у меня эта теория работала не слишком хорошо, так что не слишком увлекайтесь ею.

Перевод: 
Remlin, Elspet
Номер в книге "Рациональность: от ИИ до зомби": 
109
Оцените перевод: 
Средняя оценка: 5 (Всего оценок: 1)

Когда никто не смеет призывать сдерживаться

Элиезер Юдковский

Однажды утром я встал с постели, включил компьютер и мой почтовый клиент Netscape автоматически скачал для меня новости дня. В этот день все новости говорили о том, как два угнанных террористами самолета врезались в башни Центра международной торговли.

И первой мыслью было:

«Полагаю, что я действительно живу в Будущем.

Спасибо небесам, что это не была ядерная бомба».

А затем:

«Чрезмерная реакция на это событие будет в десять раз хуже, чем само событие».

И просто «в десять раз хуже» оказалось огромным преуменьшением. Даже я не мог догадаться насколько плохо всё будет. Это является вызовом пессимизму. Действительно тяжело нацеливаться достаточно низко, чтобы быть приятно удивленным, в то время как часто и как много вы будете удивлены неприятно.

Тем не менее, я немедленно понял, что все и везде будут говорить как ужасно, как плохо было это событие; и что никто не будет озабочен тем, чтобы быть голосом сдерживания, соответствующего ответа. Изначально, 11 сентября, это была мысль, что шесть тысяч людей умерли. Любой политик, который сказал бы «6000 смертей это всего лишь восьмая часть от жертв автомобильных аварий», сразу бы был бы снят со своей должности.

Нет, 11 сентября не было хорошим днем. Но если все заработали баллы на подчеркивании того, как это ужасно, и никто не озаботился призвать к сдержанности, указав насколько трудно нанести ответный удар, то реакция будет выше требуемого адекватного уровня, каким бы ни был этот уровень.

Это темнейшее отражение смертельной спирали счастья — спираль ненависти. Любой, атакующий Врага — патриот; и любой, кто пытается критически проанализировать даже единственное негативное утверждение о Враге — предатель. Но, как и большинство всех сложных утверждений далеки от истины, большая часть негативных вещей, которые вы можете сказать о ком-либо, даже о самом плохом человеке в мире, будут ложны.

Думаю, что лучшей иллюстрацией будет «террористы-смертники были трусами». Можно хотя бы немного здравого смысла, пожалуйста? Чтобы добровольно направить самолет на здание нужно немного храбрости. При всех их грехах, трусость явно не входила в этот список. Но я предполагаю, что все плохое, что вы скажете о террористах, неважно насколько глупы ваши слова, должно быть правдой. Наберу ли я еще больше баллов, если обвиню Аль-Каиду в том, что это они подстроили убийство Кеннеди? А если обвиню их в том, что они сталинисты? Что, неужели правда трусость?

Да, это значит, что террористы не были трусами. Это нужно не только для понимания реальной психологии врага. Просто слишком много урона наносит спираль ненависти. Просто слишком опасно, чтобы для нее в мире была цель, будут ли это евреи или Адольф Гитлер, о котором говорят куда больше негативных слов, нежели приводят точных фактов.

Когда обороняющаяся сторона имеет тысячи самолетов и сотни тысяч хорошо вооруженных солдат, она должна понимать, что ее собственная иммунная система может нанести больше ущерба, нежели 19 мужчин на четырех гражданских самолетах. США потратили миллиарды долларов и тысячи солдатских жизней, стреляя себе в ногу более эффективно, нежели любая террористическая группировка может мечтать.

Если бы США полностью проигнорировали атаку 11 сентября — пожали бы плечами и отстроили здания — то это был бы лучший метод действий, нежели тот, что был предпринят. Однако это не выбор политиков. Даже если бы кто-то из них в частном порядке предположил бы, что иммунный ответ будет более разрушителен, нежели сама болезнь, это осталось бы предположением в частном порядке, потому что американские политики вынуждены идти прямо в ловушку Аль-Каиды, иначе их карьера будет уничтожена. Кто угодно, кто голосует за ответный удар всеми силами — патриот. Любой, кто призывает к сдержанности и критикует патриотические заявления — предатель.

В самом начале были и более умные реакции на это событие, чем я предположил. Я видел конгрессмена, правда, забыл какого, который перед камерами сказал: «Мы забыли, что в первую очередь целью государства является не экономика, не здравоохранение, а защита страны от атак». Меня это удивило — что политик мог сказать что-то, что не выглядит как табличка с надписью «аплодисменты». Должно быть он испытывал сильный эмоциональный шок, раз сказал что-то похожее на реальность.

Однако за два дня шок прошел и работа на публику снова стала доминирующим видом деятельности в политическом дискурсе. Спираль эскалации полностью завладела им. Когда никто не смеет призывать к сдержанности, не имеет значения откуда началась дискуссия, уровень ярости и безрассудства со временем только растет.

Дополнение: Привет, реддиторы! Вы также можете насладиться «Сказом о науке и политике» и «Политические дебаты не должны быть односторонними».

Перевод: 
Remlin, Elspet
Номер в книге "Рациональность: от ИИ до зомби": 
110
Оцените перевод: 
Средняя оценка: 5 (2 votes)

Эксперимент в Робберс Кейв

Элиезер Юдковский

Думали ли вы, когда были ребенком, что бессмысленная поездка в летний лагерь на самом деле могла иметь скрытую от вас цель — например, что это был научный эксперимент, а воспитатели в лагере на самом деле были исследователями, которые наблюдали за вашим поведением?

Я — никогда.

Но такие мысли начинают приходить в голову чаще, когда мы читаем «Исследование межгруппового конфликта: эксперимент в национальном парке Робберс Кейв» Шерифа, Харви, Уайта и Худа (1954/1961). В этом исследовании подопытными, простите, «отдыхающими» — были 22 мальчика 5-го — 6-го года обучения, выбранные из 22 разных школ Оклахома-сити, из стабильных протестантских семей среднего класса, которые хорошо учились в школе. Средний IQ их составлял 112. Они все были социально адаптированы и похожи друг на друга в той степени, насколько это было возможно.

Эксперимент, проведенный после недавно отгремевшей Второй Мировой, был задуман для исследования причин — и возможных путей решения — межгруппового конфликта. Как они создали межгрупповой конфликт для изучения? Они разделили 22 мальчиков на две группы по 11 человек и — и этого было вполне достаточно.

Исходный план исследователей состоял из трех этапов. На первом обе группы свели вместе (группы не знали друг о друге). К концу первого этапа каждой группе сообщили о существовании другой. На втором этапе различные соревнования были призваны окончательно разделить мальчиков на группы.

Однако второй этап не понадобился. Группы начали относится друг к другу враждебно, как только узнали о существовании разделения на группы: «они используют нашу территорию лагеря, нашу бейсбольную площадку». На первой же встрече группы начали обмениваться оскорблениями. Они называли себя Гремучниками и Орлами (пока они были одной группой, им не требовались подобные прозвища).

Когда, в соответствии с процедурой эксперимента, было объявлено о начале соревнований, соперничество среди групп возросло до максимума. Здоровый спортивный дух в соревнованиях держался не более двух дней, после чего быстро пошел на спад.

Орлы украли флаг Гремучников и сожгли его. Гремучники совершили набег на лагерь Орлов и украли джинсы их лидера, покрасили их в оранжевый цвет и вывесили как свой флаг, с надписью «Последний из Орлов». Орлы совершили ответный набег и перевернули кровати Гремучников, бросаясь грязью. После этого они вернулись в свой лагерь и начали готовиться к отражению набега со стороны Гремучников. После того как Орлы выиграли в последнем из соревнований этапа 2, Гремучники украли их призы. Это перетекло в драку, которую персоналу лагеря пришлось прекратить, чтобы избежать увечий среди детей. Орлы при этом, пересказывая эту историю, превратили все это в свою победу, утверждая что они преследовали убегающих Гремучников, хотя на самом деле это было не так.

У каждой группы развился отрицательный стереотип «Их» и положительный стереотип «Нас». Гремучники много ругались. Орлы, после выигрыша в одной из игр, сделали вывод что они выиграли, потому что молились, а Гремучники проиграли, потому что сквернословили всё время, и поэтому Орлы решили прекратить ругаться вообще, а также прекратить общение с Гремучниками. Орлы позиционировали себя как правильных и высокоморальных; Гремучники избрали себе образ грубых хулиганов.

Члены одной группы немедленно задирали носы, как только видели другую.

На третьем этапе исследователи пытались уменьшить разногласия между двумя группами.

Больше общения (без попыток примирения) не помогло уменьшить враждебность между группами. Посещение различных увлекательных мероприятий вместе — например, совместный запуск фейерверков — также не помогло; мальчики чуть снова не передрались.

Можете ли вы предположить, что сработало?

Подумайте.

Мальчикам сказали, что в лагере ожидаются перебои с водой из-за поломки в системе водоснабжения — возможно из-за каких-то вандалов.
(Внешний Враг, один из старейших трюков в книге.)

На площади между лагерем и резервуаром были расположены четыре проблемных места. (Изначально данные об этих местах рассказали членам каждой группы равномерно). Если в них ничего не было найдено, то следовало искать в резервуаре с водой. Поскольку найдено ничего не было, группы встретились у резервуара и увидели, что вода не идет из крана. Группы обсудили возможные проблемы, осмотрели резервуар, нашли лестницу наверх, проверили, что вода в резервуаре присутствует и наконец обнаружили, что кран был забит мешком с соломой. Все мальчики собрались вокруг крана, чтобы прочистить его. Предложения от членов обоих групп по проблеме рассматривались совместно и обе группы старались реализовать их.

Когда кран был наконец-то прочищен, Гремучники, у которых были фляжки, не возражали против того, чтобы Орлы первыми набирали воды (у Орлов фляжек не было). Никаких оскорблений между группами не наблюдалось, даже уже привычного «Сначала дамы!».

Это не стало концом вражды. Были еще столкновения и оскорбления, уже на следующий день. Однако после нескольких подобных общих заданий, в которых требовались совместные усилия обоих групп — наподобие вытаскивания застрявшего грузовика — соперничество прекратилось. В конце путешествия ребята из Гремучников даже использовали 5 долларов, выигранных в соревновании, чтобы угостить молочными коктейлями ребят из Орлов.

Эксперимент в Робберс Кейв иллюстрирует психологию племен охотников и собирателей, которая тянется с давних времен, настолько хорошо, насколько возможно для эксперимента, проведенного в социальных науках.

Любое сходство с современной политикой — всего лишь ваше воображение.

(Иногда я думаю, что вторая по важности вещь, которая требуется человечеству — это суперзлодей. Может я этим займусь, когда закончу с текущей работой.)

Перевод: 
Remlin
Номер в книге "Рациональность: от ИИ до зомби": 
111
Оцените перевод: 
Средняя оценка: 5 (3 votes)

Любая деятельность хочет быть культом

Элиезер Юдковский

Cade Metz в The Register недавно заявил, что секретный почтовый список топ-администраторов Википедии помешался на бане всех критиков и возможных критиков Википедии. Включая баны продуктивных юзеров, когда один администратор — исключительно из-за продуктивности — начинает уверять, что юзер был шпионом, подосланным Обзором Википедии. И что большинство людей в Википедии закрыли свои ранги для своей защиты. (Я сам не исследовал эти заявления пока еще. Информация была предоставлена Eugen Leitl.)

Существует какой-то неявный моральный изъян в систематизации мировых знаний, который приводит последователей этой причины в безумие? Возможно только люди с врожденной тягой к тоталитаризму попытались бы стать мировыми авторитетами во всем…

Осторожно: фундаментальная ошибка атрибуции! (Фундаментальная ошибка атрибуции: делать выводы о чьем-либо характере на основе поведения, которое может быть полностью объяснено ситуацией, в которой находится этот человек. Когда мы видим, как кто-либо пинает торговый автомат, мы думаем, что это «злой человек», но когда мы сами пинаем автомат, мы объясняем это тем, что опоздали на автобус, не успели на поезд и к тому же автомат работает не так как надо.) Если высказывания о Википедии истинны, то они объясняются обычной человеческой природой, а не необычными сторонами данной природы.

Деление на «своих» и «чужих» — это часть обыденной человеческой натуры. Как и смертельные спирали счастья и спирали ненависти. Благородное Дело не обязано содержать дефект, чтобы его последователи сформировали культ. Достаточно, чтобы они были людьми. Все остальное произойдет само собой, так же закономерно, как то, что еда портится в холодильнике, если отключили свет.

В таком же смысле, что любая температурная разница хочет свестись к нулю и любая программа хочет стать набором патчей, любая деятельность хочет быть культом. Это состояние с высокой энтропией, в которое развивается система, аттрактор в человеческой психологии. И не имеет значения, даже если Дело по-настоящему Благородно. Вы можете думать, что Хорошее Дело растянуло бы свою хорошесть на все аспекты людей, которые с ним связаны — что последователи Дела также меньше заинтересованы в статусных играх, искажении «своих» и «чужих», аффективных спиралях, обожествлении лидеров. Но вера в истинную идею не отменяет гало-эффекта. Благородное дело не делает его последователей чем-то превосходящим обычных людей. Есть множество плохих видов деятельности, из-за которых может произойти множество плохого — но вред не всегда происходит только из-за того, что исходная идея была плоха.

Каждая группа людей с необычной целью — хорошей, плохой, глупой — будет склонна становится аттрактором культа, если члены группы не предпринимают постоянных усилий, чтобы сопротивляться этому. Вы можете сделать так, чтобы у вас дома было прохладнее, чем на улице, однако вам для этого придется держать кондиционер включенным, и как только вы выключите его — сдадитесь в поединке с энтропией — вещи вернутся к «нормальному состоянию».

Как-то был случай, когда существовала группа с лозунгом «Рациональность! Причина! Объективная реальность!» (Больше об этом в следующих постах.) Навешивание на Великую Идею ярлыка «рациональность» защитит вас не более, чем вывешивание на доме таблички «Холодно!» Вам все еще нужно включить кондиционер — тратить требуемую энергию, чтобы компенсировать естественное сползание в культ. Поклонение рациональности не сделает ваш разум яснее, как поклонение гравитации не позволит вам летать. Вы не можете говорить с термодинамикой и молиться теории вероятности. Вы можете использовать это, но не можете присоединиться к этому как к группе.

Культовость количественна, а не качественна. Вопрос «Есть ли здесь признаки культа, да или нет?» — неправильный. Правильный вопрос — «В какой мере это является культом и где именно это проявляется?» Даже в Науке, которая является архетипической По-Настоящему Благородной Деятельностью, мы можем без труда указать на рубежи борьбы против энтропии культа, где текущая линия боя колеблется то туда, то обратно. Журналы склонны в большей степени принимать статьи с хорошо известной авторской подписью или от неизвестного источника из хорошо известного института по сравнению со статьями от неизвестного автора из неизвестного института? Какая доля убеждения диктуется авторитетом, а какая — экспериментом? Какие журналы используют «слепой метод» обзора и насколько это эффективно?

Я привожу этот пример, а не обычные расплывчатые обвинения «Ученые недостаточно открыты новым идеям», потому что он показывает линию фронта — место, где отбрасывается человеческая психология, где откидывается накопленная энтропия культа (конечно, это требует потерять немного тепла на излучение).

Данный пост – это не сборник методов противостояния культовости. О некоторых таких методах я говорил ранее, о некоторых расскажу позднее. Но сегодня я просто хочу указать, что служение Делу не значит, что вы можете тратить меньше усилий на противостояние аттрактору культа. И что если вы можете указать где сейчас пролегает рубеж, это не значит, что вы можете признать вашу Благородную Деятельность низкой. Вы можете думать, что если бы вопрос был поставлен как «Культ это или нет?», то вам бы пришлось ответить нет, или иначе предать вашу Идею. Но это похоже на то, как если бы вы делили двигатели на «идеально эффективные» и «неэффективные», вместо того, чтобы измерить их расход.

И наоборот, если вы верите, что это Изначальная Испорченность этих Глупых Прочих Дел заставила людей ошибаться, если вы смеетесь над глупостью «жертв культа», если вы думаете, что культы возглавляются и популяризируются мутантами — тогда вы не потратили нужных усилий на противостояние энтропии — на сопротивлению бытию человеком.

Перевод: 
Remlin
Номер в книге "Рациональность: от ИИ до зомби": 
112
Оцените перевод: 
Средняя оценка: 4.3 (3 votes)

Хранители истины

Элиезер Юдковский

Иногда рационалистов критикуют следующим образом: «Инквизиция тоже думала, что у нее есть истина! Ясное дело, что вся эта затея с „истиной“ опасна».

Есть множество очевидных ответов, таких как «Если вы думаете, что одержимость истиной дает вам право пытать и убивать, то вы совершаете ошибку, не имеющую ничего общего с эпистемологией». Или «Так данное историческое утверждение, которое вы только что сделали насчет инквизиции – истинно ли оно?»

Обратное глупости не есть ум: «Если ваш компьютер перестал работать, то вы не говорите, что вообще все в нем сломано и что вам нужен совершенно новый, с совершенно другими комплектующими… Хотя возможно, вам нужен всего лишь новый шнур питания». Чтобы сделать неверное заключение, достаточно ошибиться всего в одном шаге, не обязательно нужно ошибиться во всех шагах. Инквизиторы верили, что 2+2=4, однако не это было источником их безумия. Так может быть проблема вовсе не в эпистемологическом реализме?

Кажется правдоподобным, что если бы инквизиторы были релятивистами, которые утверждали бы, что нет ничего истинного и ничего не имеет значения, то они были бы менее склонны проявлять жестокость. Также они были бы менее жестоки, если бы подверглись лоботомии. Думаю, это справедливая аналогия.

И еще… я считаю, что играет роль отношение инквизиции к истине. Она верила, что существует такая вещь как истина, и что истина важна; ну, в этом взгляды инквиции были схожи со взглядами Ричарда Фейнмана. Но инквизиторы не были искателями истины. Они были ее хранителями.

Я однажды читал утверждение (не могу найти источник), что ключевым компонентом духа времени является то, где расположены идеалы этого времени, в прошлом или будущем. Почти все культуры до Просвещения верили в грехопадение - что когда-то все было совершенным в далеком прошлом, однако случилась катастрофа и с тех пор все медленно становится хуже:

«В эпоху, когда жизнь на Земле была полна… Они любили друг друга и не знали, что это была „любовь к ближнему“. Они никого не обманывали, хотя не знали, что значит „человек, которому можно верить“. Они были надежны, пусть и не знали, что значит „добросовестность“. Они свободно жили вместе, делясь всем, не зная, что они щедры. По этой причине про них не рассказывают. У них не было истории».

  • Путь Чжуан Цзы, перевод Томаса Мертона.

Совершенная эра прошлого, в соответствии с нашими лучшими антропологическими свидетельствами, никогда не существовала. Но культура, которая рассматривает жизнь как неумолимо катящуюся под откос, сильно отличается от той, в которой вы можете достичь невиданных высот.

(Я говорю «культура», а не «общество», поскольку внутри общества может существовать больше одной субкультуры.)

Вы можете возразить, что есть разница между упомянутым Ричардом Фейнманом и инквизицей – вторые верили, что истина уже у них, а первый искал ее. Это не особо хороший довод, поскольку несомненно были истины, которыми обладал и Ричард Фейнман. «Небо синее», например, или «2+2=4».

Да, в науке есть определенные истины. Теория общей относительности возможно будет переписана в будущей физике – однако не такой теорией, что будет предсказывать вращение Солнца вокруг Юпитера; новая теория должна утаскивать успешные предсказания из старой, а не противоречить им. Но эволюционная теория верна на более высоком уровне, чем атомный, и то, что мы откроем насчет кварков, не заставит нас отбросить дарвинизм, клеточную теорию в биологии, атомную теорию в химии, или сотню других блестящих теорий, истинность которых на данный момент не оставляет сомнений.

Это «абсолютные истины»? Нет, если вопрос стоит о присвоении им вероятности равной буквально единице. Но они представляют собой случаи, где наука по существу считает их истиной.

И еще ученые не пытают людей, которые ставят под сомнение атомную теорию химии. Почему нет? Потому что они не верят, что она дает им право на жестокость? Ну, да, этот ответ лежит на поверхности; но почему они в это не верят?

Потому что химия не заявляет о сверхъестественном возмездии в виде вечных пыток за неверие в атомную теорию химии? Но тогда мы опять рекурсивно возвращаемся к вопросу «Почему?». Почему химики не верят, что вы отправитесь в ад, если не верите в атомную теорию?

Потому что журналы не опубликуют вашу статью, пока у вас не будет прочного экспериментального наблюдения Ада? Но слишком многие ученые могут подавить свои рефлексы скептика сознательно. Почему же у химиков нет закрытого культа, который говорил бы, что все не-химики отправятся в Ад, учитывая, что многие из них – христиане?

Вопросы такого рода не имеют ответов, которые бы говорили только об одном факторе. Но я бы поспорил, что один из факторов должен касаться отношения к истине – которое может быть направлено на защиту или на прогресс.

Когда вы – хранитель истины, вы не делаете ничего полезного, чтобы дополнить истину, только охраняете ее. Когда вы пытаетесь выиграть Нобелевскую премию по химии, открыв новый бензол или фуллерен, кто-то, кто бросает вызов атомной теории, является для вас не противником вашей точки зрения, а скорее пустой тратой времени.

Когда вы – хранитель истины, все что вы может делать, это пытаться избежать неуклонного сползания в энтропию путем отбрасывания всего, что отклоняется от истины. Если есть какой-то путь противостоять энтропии, генерировать новые истинные убеждения с малым расходом тепла, то этот же метод может сохранять истину без применения тайной полиции. В химии вы можете воспроизвести эксперимент и своими глазами увидеть его результаты – и это хранит истину без необходимости применять жестокость.

И не так страшно, если мы сделаем где-то ошибку – всего лишь недолго наши убеждения будут немного не истинны – поскольку завтра мы сможем вернуть утраченные позиции в истине.

Но работает только вся схема, поскольку экспериментальный метод представляет собой «критерий доброкачественности», который превосходит «критерий сравнения». Поскольку эксперименты могут восстановить истину без необходимости в авторитете, они также могут «отменять» авторитет и создавать новые истинные убеждения, которых прежде не существовало.

Там, где есть критерий доброкачественности вместо критерия сравнения, там дело меняется так, что присутствуют улучшения вместо угроз. Там, где властвует критерий сравнения, нет возможности вернуть прошлый авторитет, нет и пути разрешить несогласие между авторитетами. За исключением уничтожения. Выигрывает тот, у кого пушка больше.

Я не собираюсь представлять грандиозную всеохватывающую точку зрения на историю с позиции единого фактора. Я просто хочу указать на глубокое психологическое различие между тем, чтобы видеть смысл жизни в защите, охране и сохранении, и видеть его же в исследовании, создании, улучшении. Развитие будет происходить если вы направлены в прошлое или в будущее? Это нюанс в различии, который проявляет себя всюду.

Вот почему я всегда настаивал, например, что если вы собираетесь начать говорить об «этике ИИ», вам лучше бы говорить о том, как вы собираетесь улучшить текущую ситуацию с ИИ, а не пытаться предохранить от того, чтобы сделать что-то неправильно. Как только вы начинаете использовать критерий сравнения, вы начинаете терять курс ваших идеалов – терять свет правильного и неправильного, и начинаете просто выискивать «различное» и «одинаковое».

Я также могу поспорить, что эта простейшая психологическая разница – одна из причин, почему академическая область, которая прекращает активный прогресс, стремится к среднему.(По крайней мере по чистым стандартам науки. Репутационное убийство – обычное дело по стандартам истории; большинство систем убеждений на основе защитного подхода произошли от взаимодействия с реальными вещами). Если большие встряски не происходят достаточно часто, чтобы постоянно поощрять молодых ученых ориентироваться на признание заслуг, а не на конформизм, область перестает сопротивляться стандартной дегенерации в авторитарность. Когда делается мало открытий, то остается слишком много времени на то, чтобы заняться «охотой на ведьм и еретиков».

Чтобы получить лучшие результаты от использования отношения вида исследовать/создавать/улучшать, вы должны на самом деле прогрессировать, а не только надеяться на это.

Перевод: 
Remlin
Номер в книге "Рациональность: от ИИ до зомби": 
113
Оцените перевод: 
Средняя оценка: 5 (2 votes)

Хранители генофонда