Стать сильнее

Автор: 
Элиезер Юдковский

Взросление Юдковского

Эта цепочка подробно описывает эволюцию иррационального убеждения. В качестве примера используется история из жизни самого автора.

Примечание редактора: Цепочка не переведена на русский язык.

Автор: 
Элиезер Юдковский

Бросая вызов сложностям

В этой цепочке ставятся вопросы: что нужно, чтобы решать по-настоящему сложные задачи? Местами эти вопросы выходят за пределы эпистемической рациональности.

Примечание редактора: Значительная часть этой цепочки не переведена на русский язык.

Автор: 
Элиезер Юдковский

Цуёку наритаи («Хочу стать сильней!»)

Элиезер Юдковский

В ортодоксальном иудаизме есть следующий афоризм: «Если древние были как ангелы, то мы – как люди, а если древние были как люди, то мы – как ослы», что вытекает из убеждения в том, что всё иудейское право было получено на горе Синай Моисеем напрямую от Господа. Действительно, вряд ли возможно получить новое галахическое знание, проведя какой-нибудь эксперимент; получить это знание можно лишь из уст кого-то, кто уже им владеет — потому что он услышал его от кого-то ещё, кто получил его непосредственно от Господа. Поскольку вся информация исходит из единственного, давно замолкшего источника, она может лишь искажаться в процессе передачи от поколения к поколению.

Поэтому слова современных раввинов не могут перекрывать слова древних раввинов. Ползающие животные обычно не кошерны, но позволительно съесть червяка, обнаруженного внутри яблока: древние считали, что червь самопроизвольно возник внутри яблока, и поэтому является его частью. Современный раввин не имеет права сказать «Понятно, что древние раввины разбирались в биологии также, как пингвины в математической логике. Завет отвергнут!». Современный раввин не может знать какой-либо галахический принцип, неведомый древним раввинам, потому что это означает обрыв цепочки древних раввинов, передающих друг другу ответы, полученные на горе Синай. Знание происходит от авторитета, и поэтому оно не нарастает, а лишь утрачивается с течением времени.

Я услышал эту поговорку про ангелов и ослов, когда я был в младших классах религиозной школы. Я был слишком молод для того, чтобы быть полностью созревшим атеистом, но я всё равно подумал про себя: «Тора теряет знание с каждым поколением. Наука приобретает знание с каждым поколением. Неважно, с чего они начали, рано или поздно наука обгонит Тору».

Очень важно, чтобы прогресс не исчезал. До тех пор, пока вы продолжаете двигаться вперёд, вы достигнете своей цели; но если вы остановитесь, то вы никогда не достигнете её.

«Цуёку наритаи» это на японском. «Цуёку» значит «сильный»; «нару» это «становиться», а форма «наритаи» это «хочу стать». Вместе это значит «Я хочу стать сильнее» и выражает настроение, ярче звучащее в японских работах, нежели в любой западной литературе, которую я читал. Вы можете сказать это, когда выражаете стремление стать профессиональным игроком в Го — или после того как вы проиграли важный матч, но не сдались — или после того как вы выиграли важный матч, но все еще не на вершине мастерства — или после того как вы стали наилучшим игроком в Го всех времен, но все еще думаете, что можете играть еще лучше. Это и есть «Цуёку наритаи», воля к трансцендентности.

«Цуёку наритаи» это движущая сила моего эссе «Правильное использование смирения», в котором я сравнивал студента, который смиренно проверяет дважды свой тест по математике и студента который скромно говорит «Но как мы можем действительно знать? Не имеет значения как много раз я проверю, я никогда не буду уверен абсолютно». Студент, который проверяет дважды свои ответы «хочет стать сильнее»; он реагирует на возможный внутренний недостаток посредством деятельности при помощи которой он может исправить недостаток, а не отступлением.

Каждый год, в праздник под названием Йом Киппур, ортодоксальный иудей читает литанию, которая начинается словами «ашамну, багадну, газалну, дибарну дофи» и похожим образом проходит через весь древнееврейский алфавит: «Мы грешили, мы предавали, мы грабили, мы злословили».

С каждым словом вы бьёте себя в грудь в знак раскаяния. Никто не может освободить вас от этого ритуала: нет такого правила, что, если вы ухитрились прожить весь год, ничего ни разу ни украв, то вы можете пропустить слово «газалну» и не бить себя в грудь в этот раз. Это нарушит чувство принадлежности к празднику Йом Киппур, который посвящён исповеданию грехов, а не избеганию грехов, чтобы исчезла причина в них исповедоваться.

Тот же символизм есть и в «Ашамну». Молитва не оканчивается словами «но это было в этом году, а в следующем году я добьюсь большего».

«Ашамну» носит удивительное сходство с представлением о том, что основная идея пути рациональности — это бить себя кулаком в грудь и говорить: «Все мы предвзяты, все мы иррациональны, все мы невежественны, все мы сверхуверенны, все мы плохо откалиброваны, все мы страдаем от искажений».

Замечательно. Теперь расскажите, как вы собираетесь стать менее предвзятым, более осведомлённым, менее сверхуверенным, лучше откалиброванным.

Мне вспоминается старая еврейская шутка: в день Йом Киппур раввин неожиданно оказывается охвачен непривычно сильным чувством вины. Он падает ниц и сквозь слезы восклицает: «Всевышний, я ничто пред ликом Твоим!». Волна вины накатывает и на кантора, который также вскрикивает: «Всевышний, я ничто пред ликом Твоим!». Увидев это, уборщик в дальнем углу синагоги падает на колени и восклицает: «Всевышний, я ничто пред ликом Твоим!». А затем раввин незаметно толкает кантора локтём в бок и шепчет: «Ты только посмотри, кто возомнил себя ничем».

Не гордитесь своим признанием в том, что вы тоже страдаете от искажений, и не упивайтесь знанием о своих изъянах. Этот принцип сродни принципу о том, что не надо гордиться признанием в своём невежестве; ибо если черпать в невежестве гордость, то будет нелегко поступиться своим невежеством, когда к вам постучатся свидетельства. Точно также и с изъянами: не надо внутренне восхищаться своей честностью и наблюдательностью, позволившей вам их признать; ликовать следует тогда, когда поводов для признания стало меньше.

В противном случае, когда кто-то идет к нам с планом «коррекции» влияния, мы огрызнемся: «Ты думаешь поставить себя над нами?» Мы печально покачаем головами и скажем: «У тебя, должно быть, низкое самосознание».

Никогда не говорите, что вы так же порочны, как и я, до тех пор, пока вы не можете сказать мне, что планируете с этим делать. После этого у вас все еще остается много недостатков, но дело не в этом; важно «делать лучше», двигаться вперед, делать шаг за шагом вперед. Цуёку наритаи!

Перевод: 
BT, Remlin
Номер в книге "Рациональность: от ИИ до зомби": 
304
Оцените качество перевода: 
Средняя оценка: 4.4 (20 votes)

Цуёку против уравнительского инстинкта

Элиезер Юдковский

В племенах охотников и собирателей обычно сильно развит уравнительный принцип (по крайней мере, если вы мужчина) — принцип всемогущего племенного вождя чаще можно найти в аграрных обществах, редко в родоплеменном строе. В большинстве племен, живущих охотой и собирательством, охотник, который приносит больше всего добычи, будет стараться приуменьшить свои заслуги.

Возможно, если ваша стартовая точка находится ниже среднего уровня, вы можете улучшать себя без опаски выделиться из толпы. Однако рано или поздно, если вы стремитесь сделать всё как можно лучше, ваша цель превзойдет средний уровень.

Если вы не можете признаться себе, что вы действуете лучше остальных — или если вы стыдитесь желания действовать лучше остальных — тогда средний уровень навсегда станет для вас непреодолимым барьером, местом, где вы прекращаете свое развитие. И что насчёт тех людей, что находятся ниже среднего уровня? Вы смеете сказать, что желаете быть лучше них? Ну вы и гордец!

Возможно не слишком нормально гордиться собой так, словно вы лучше вообще всех. Но лично я обнаружил, что это полезный мотиватор, несмотря на мои принципы, а я хочу использовать всю полезную мотивацию, которую смогу получить. Возможно этот вид соревнования представляет собой игру с нулевой суммой, наподобие го; это не значит, что мы должны отменить данную человеческую активность, если людям это нравится и представляет собой нечто интересное.

Но, в любом случае, конечно же это плохо — стыдиться делать всё как можно лучше.

И кстати, жизнь нельзя оценить графиком. Стремление к трансцендентности не имеет точки, за которой это стремление становится хуже; и гонка, в которой нет финиша, не имеет и золотых или серебряных медалей. Просто бегите как можно быстрее изо всех сил, не беспокоясь, что вы можете оставить позади других. (Но будьте настороже: если вы откажетесь думать об этой возможности, однажды так и произойдёт. Если вы игнорируете последствия, они могут настигнуть вас.)

Рано или поздно, если твой путь ведет к истине, вы захотите убрать те недостатки, которые большинство людей не убирают. Рано или поздно, если ваши усилия приносят хоть какие-то плоды, вы обнаружите, что у вас меньше слабых мест.

Возможно вы найдете мудрым преуменьшить свои достижения, даже если вы и в самом деле преуспели. Люди могут простить гол, но вряд ли обрадуются выигрышу вами всей игры. Вы возможно найдете проще, быстрее и больше всего подходящим публично принизить свои достоинства, постараться сделать вид, что вы такой же несовершенный, что и все. Ну, до тех пор, пока всем уже не станет ясно, что это не так. Это может быть забавно — гордо показывать свою скромность так, что каждый знает как много вы достигли, о чем можете скромно умолчать.

Но не позволяйте этому стать концом вашего путешествия. Даже если вы только шепчете это себе под нос, продолжайте шептать: цуёку, цуёку! Сильнее, сильнее!

А потом установите себе цель ещё выше. Вот истинный смысл осознания, что вы всё ещё несовершенны (пусть теперь и немного меньше). Он заключается в том, чтобы всегда достигать больше, безо всякого стыда.

Цуёку наритаи! Я буду всегда бежать настолько быстро, насколько могу, даже если я вырвусь вперед, я продолжу бежать; и кто-то однажды превзойдёт меня; но даже хотя я останусь позади, я всегда буду бежать изо всех сил.

Перевод: 
Remlin
Номер в книге "Рациональность: от ИИ до зомби": 
305
Оцените качество перевода: 
Средняя оценка: 4.9 (15 votes)

Пытаясь пытаться

Элиезер Юдковский

Нет! Не надо пытаться! Делай. Или не делай. Не надо пытаться.

Йода

Когда-то давно я думал, что есть другой пример глубокой (великой) мудрости, а этот глуповат. Успех — не простое действие. Вы не можете просто решить выиграть путем достаточно трудного выбора. Не существует плана, который бы всегда работал.

Но Йода оказался мудрее, чем я сначала себе представил.

Первая элементарная техника эпистемологии — не глубокая, зато дешевая — отделять цитату от того, что она обозначает. Разговор о снеге не то же самое, что разговор о «снеге». Когда я использую слово «снег» без кавычек, я имею в виду снег; а когда я использую слово « „снег“ » в кавычках, я веду разговор именно о самом слове. Вам нужно сменить тип мышления, перейти в режим цитирования, чтобы вести разговор о своих убеждениях. Обычно, мы говорим о реальности.

Если кто-то говорит «я хочу нажать на выключатель», тогда по умолчанию, он имеет в виду то, что он собирается попробовать нажать на выключатель. Он собирается выстроить план, который обещает путем последовательностей действий привести его к нужному состоянию выключателя; и осуществить данный план.

Не существует плана, который работал бы с бесконечной определенностью. Так что по умолчанию, когда вы говорите о намерении достигнуть цели, вы не подразумеваете, что ваш план точно и совершенно приведет вас только к этой возможности. Но когда вы говорите «я собираюсь нажать на выключатель», вы пытаетесь нажать на выключатель — не пытаетесь достигнуть 97.2% вероятности нажатия на выключатель.

Так что же подразумевается, когда кто-либо говорит «Я собираюсь нажать на выключатель?»

Ну, в разговорной речи «я собираюсь нажать на выключатель» и «я собираюсь попробовать нажать на выключатель» означают более или менее одно и то же, за исключением того, что последнее выражение подразумевает возможность неудачи. Вот почему я изначально обиделся на Йоду за кажущееся отрицание возможности. Ну уж извините.

Наибольший жизненный вызов состоит в том, чтобы удерживать себя на достаточно высоком уровне. Я могу рассказать об этом принципе позже, поскольку это линза, через которую вы можете видеть многие-но-не-все личные дилеммы — «На каком уровне я держу себя? Достаточно ли он высок?»

Поскольку большинство жизненных неудач заключаются в том, что вы держите себя на слишком низком уровне, вам нужно опасаться требовать от себя слишком мало — ставить цели, что легко достижимы.

Часто там, где успешно сделать вещь очень трудно, попробовать это сделать куда легче.

Что легче — построить успешный стартап или попробовать построить успешный стартап? Заработать миллион долларов или попробовать заработать миллион долларов?

Так что если «я собираюсь нажать на выключатель» означает по умолчанию что вы попытаетесь нажать на выключатель — то есть, вы собираетесь следовать плану, который обещает привести к желаемому результату если не со стопроцентной вероятностью, то по крайней мере с наибольшей вероятностью, которую вы можете обеспечить -

  • тогда «я намерен «попытаться нажать» на выключатель» означает что вы хотите попробовать «попробовать нажать на выключатель», то есть вы собираетесь попробовать достичь цели-состояния «имею план который может помочь нажать на выключатель».

Теперь, если бы был самомодифицирующийся ИИ, о котором мы уже говорили, преобразование, которое мы только что выполниили, должно было закончится отраженным равновесием — ИИ планировал бы операции по планированию.

Но когда мы имеем дело с людьми, они могут удовлетвориться планом, который не особо вероятно гарантирует успех. Момент, что план должен максимизировать вашу вероятность успеха, теряется из виду. Куда легче убедить себя что мы «максимизировали нашу вероятность выиграть» нежели убедить себя что мы выиграем.

Почти любое усилие должно служить для убеждения нас, что мы «сделали все что могли», если попытки сделать все, что мы можем, это все, что мы пытаемся сделать.

«Вы спросили себя, что вы можете сделать в великих событиях, которые начинаются сейчас, и ответили себе, что ничего. Но из-за того, что вы страдаете, вы неправильно поставили вопрос…вместо того, чтобы спрашивать, что вы можете сделать, вы должны были спросить, что нужно сделать».

- Стивен Браст, Дороги Мертвых

Когда вы спрашиваете «что я могу сделать?», вы пытаетесь сделать все, что можете. Много ли вы можете? Это все, что не вызывает у вас ни малейшего затруднения. Это все, что вы можете сделать с деньгами у вас в кошельке минус деньги на ланч. Что вы можете сделать с этими ресурсами, может не дать вам очень хорошие шансы на выигрыш. Но это «все что вы можете сделать» и таким образом вы действуете обоснованно, так?

Но что нужно сделать? Может быть то, что нужно сделать, требует в три раза больше, нежели все ваши сбережения за всю жизнь, и вы должны сделать это или потерпите неудачу.

Так что старание иметь «максимизированную вероятность успеха» — в противовес стараниям достичь успеха — является существенно более низким барьером. Вы можете иметь «максимизированную вероятность успеха» используя только деньги у вас в кармане, хотя на самом деле претендовать на победу не сможете.

Хотите попробовать сделать миллион долларов? Купите лотерейный билет. Ваши шансы на выигрыш не очень хороши, но вы попытались, чего и хотели. На деле, вы сделали все, что в ваших силах — ведь у вас был всего лишь доллар после обеда. Максимизация шансов на достижение цели, используя доступные ресурсы: разве это не интеллект?

И только когда вы хотите, превыше всего остального, на самом деле нажать на выключатель — без цитирования и без утешительных призов за попытки — тогда вы на самом деле приложите усилия, чтобы действительно максимизировать вероятность.

Но если все, что вы хотите, это «максимизировать вероятность успеха при доступных ресурсах», тогда наиболее легкий путь сделать это — просто убедить себя в том, что это уже сделано. Самый первый план, который вы придумаете, уже будет служить как «максимизирующий» — если нужно, то вы можете придумать несколько худших планов, чтобы доказать оптимальность первого. И все крошечные ресурсы, которые вы вложите в этот план, будут гордо называться «доступными ресурсами». Не забудьте заодно поздравить себя с тем, что вы выложились на все 100%!

Не старайтесь изо всех сил. Либо побеждайте, либо проигрывайте. Но не старайтесь.

Перевод: 
Remlin, Anna-Karmen
Номер в книге "Рациональность: от ИИ до зомби": 
306
Оцените качество перевода: 
Средняя оценка: 3.7 (Всего оценок: 31)

Используй вторую попытку, Люк

Элиезер Юдковский

«Если кто-то хочет провалиться, он везде найдет препятствия» — Джон Маккарти.

Первый раз я увидел 4-6 «Звездные войны», еще когда был совсем юн. Мне было семь или девять, где-то так. Я плохо помню то время, однако я запомнил Люка Скайуокера как крутого джедайского парня.

Представьте мой ужас и разочарование, когда я годы спустя пересмотрел всю сагу и понял, что Люк был подростком-нытиком.

Я упоминаю это потому, что вчера я просматривал на Ютьюбе источник цитаты Йоды: «Делай или не делай. Не пытайся».

О. Мой. Ктулху.

Наряду с клипом с Ютьюба я представляю вам малоизвестную сценку, которая произошла на съемках фильма между директором картины Джорджем Лукасом и Марком Хамиллом, который играл Люка:

Люк: Хорошо, я попробую.

Йода: Нет! Не пробуй. Делай. Или не делай. Но не пробуй.

Люк поднимает руку и его корабль медленно начинает всплывать из воды. Глаза Йоды загораются интересом — но корабль снова тонет.

Марк Хамилл: «Эээ, Джордж…»

Джордж Лукас: «Что?»

Марк: «Так… дальше по тексту я говорю, что не могу поднять корабль, так как он слишком большой».

Джордж: «Ну да».

Марк: «А разве Люк не попробует еще раз?»

Джордж: «Нет. Люк сдается и садится рядом с Йодой…»

Марк: «И это герой, который собирается драться со всей Империей? Смотри, это могло бы произойти, когда он был только подростком, однако теперь он уже тренированный джедай. В последнем фильме он взорвал Звезду Смерти. Он должен показать хотя бы немного силы воли».

Джордж: «Нет. Ты сдаешься. И тогда Йода читает тебе лекцию, ты говоришь, что это невозможно. Тебе понятно?»

Марк: «Невозможно? Он что, на калькуляторе это высчитал, что ли? Корабль уже начал подниматься! Это прямая демонстрация того, что это осуществимо! Люк потерял концентрацию на секунду и корабль начал тонуть обратно — и после этого он сразу же сдается и говорит, что это невозможно? Не говоря уже о том, что Йода, который уже восемьсот лет занимается этим, прямо говорит ему, что это возможно…»

Джордж: «И тогда ты уходишь».

Марк: «Это его долбаный корабль! Если он оставит его в болоте, то остаток своей никчемной жизни он проведет на Дагобе! Он не может уйти! Смотри, давай просто перед следующей сценой вставим слова „месяц спустя“, Люк все еще стоит перед болотом, в тысячный раз стараясь вытащить корабль…»

Джордж: «Нет».

Марк: «Ну ладно! Покажем как он солнечным днем стоит с напряженной рукой и говорит „Невозможно“. На самом деле, он же должен был попытаться снова, когда отдохнул бы…»

Джордж: «Нет».

Марк: «Хотя бы пять долбаных минут! Пять минут перед тем, как он сдастся!»

Джордж: «Я не хочу снимать пять минут про то, как корабль качается в болоте наподобие игрушки для ванной».

Марк: «Святые угодники! Если этот жалкий неудачник зовется мастером Силы, тогда все в Галактике должны были бы владеть ею! Люди становились бы джедаями потому, что это было бы проще, чем закончить среднюю школу».

Джордж: «Слушай, ты актер. А я сценарист. Так что просто говори, что у тебя написано в сценарии».

Марк: «Люди на это не купятся».

Джордж: «Купятся, уж поверь».

Марк: «Они плюнут и уйдут из кинотеатра посреди фильма».

Джордж: «Они будут сидеть и кивать, не замечая ничего необычного. Ты просто не понимаешь человеческую натуру. Люди не будут стараться даже пять минут перед тем, как сдаться, пусть даже на кону будет судьба всего человечества».

Перевод: 
Remlin
Номер в книге "Рациональность: от ИИ до зомби": 
307
Оцените качество перевода: 
Средняя оценка: 4.3 (36 votes)

Приложи экстраординарные усилия

Элиезер Юдковский

«Кроме того, следует хорошо понимать, что, не имея намерения превзойти остальных в любом деле, какое бы ты ни делал, ты едва ли сможешь достичь даже среднего уровня».
— Дайдодзи Юдзан, «Будосёсинсю»1

«В важных вопросах „серьёзное“ усилие приносит лишь посредственные результаты. Каждый раз, когда мы принимаемся за что-то, по-настоящему стоящее, наши усилия должны принимать размеры колоссальные, как если бы на кону стояла наша жизнь! Только лишь эти исключительные усилия — усилия, вынуждающие нас выйти за границы того, что мы считали возможным, — только они обеспечивают победу в битве и успех в жизненных начинаниях».
— Масаюки Симабукуро, «Мерцающая сталь: Осваивая Эйсин-Рю»2

«…“серьезное“ усилие приносит лишь посредственные результаты» — я такое видел очень часто. Самого малого усилия хватает нам, чтобы убедиться: мы сделали всё возможное.

Есть добродетель, стоящая на уровень выше принципа «Цуёку наритаи» («Хочу стать сильнее»). Изначально иссёкенмей подразумевала преданность, которую обещает самурай взамен на свое положение; в иероглифическом написании участвуют слова «жизнь» и «земля». Со временем термин эволюционировал, и теперь означает «предпринять отчаянное усилие»: сделай максимально усердную и сфокусированную попытку, как если бы от этого зависела твоя жизнь. Это одна из составляющих бусидо — учения о правильном поведении воина, причём не только в бою. Я также встречал варианты написания «иссё кенмей» и «иссёу кенмей». Один из источников указывает, что первое — это максимальное усилие, приложенное в каком-то конкретном начинании, в то время как второе — жизненный принцип.

Я стараюсь не восхвалять Восток слишком сильно, потому что наши знания о восточной культуре очень избирательны. Но по крайней мере в некоторых отношениях японская культура обгоняет американскую. Наличие в повседневном языке ёмкой фразы, означающей «сделать отчаянное усилие, будто на кону стоит твоя жизнь» — это один из примеров такого превосходства. Что-нибудь подобное могут сказать родители своим детям перед экзаменами в вузе. Но не воспринимайте это как дешёвое лицемерие, как если бы то же самое сказал американский родитель. В Японии к экзаменам относятся очень серьёзно.

Время от времени, я слышу вопрос: почему люди, называющие себя «рационалистами» не выглядят такими уж преуспевающими в жизни. Исходя из личного опыта, ответ довольно простой: нужно колоссально много рациональности, перед тем, как прекратишь раз за разом наступать на совершенно идиотские грабли.

Как я уже упоминал ранее: Роберт Ауман, нобелевский лауреат, доказавший, что байесианцы с одинаковыми исходными данными не могут согласиться не соглашаться, — верующий ортодоксальный иудей. Он отлично понимает всю математику, стоящую за теорией вероятности, но для его спасения этого не достаточно. Что же ещё нужно? Изучить эвристики и когнитивные искажения? Социальную психологию? Эволюционную психологию? Да, все это несомненно пригодится, но самое необходимое это иссёкенмей, отчаянное усилие быть рациональным — на более высоком уровне, чем Роберт Ауман сейчас.

Порой я всерьёз задумываюсь, не начать ли втюхивать рациональность в Японии, а не в Штатах. Впрочем, несмотря на старательных студентов, Япония всё же не превосходит Америку в области науки. Японцы не правят миром, хотя в 80-х многие считали, что будут (что привело к финансовому пузырю). Но почему?

На Западе есть поговорка: «Колесо не скрипит, — его и не смажут».

В Японии есть соответствующая: «Торчащий гвоздь по шляпке получает».

Едва ли я буду оригинален, если скажу: предпринимательство, готовность рисковать и идти против толпы, — всё это характерно скорее для Запада, а не для Востока. И раз уж японские учёные ещё не превзошли американских, перечисленные качества как минимум уравновешивают культуру отчаянных усилий.

Любой, кто соберёт волю в кулак на тридцать секунд, сможет сделать отчаянное усилие и поднять непривычно большой вес. Но что если нужно поднять грузовик? Тогда отчаянных усилий уже не хватит. Чтобы преуспеть понадобится сделать что-то экстраординарное. Возможно придётся сделать что-то, чему не учили в школе. Что-то, чего от вас совершенно не ожидают, и могут откровенно не понять. Возможно придётся сменить привычный распорядок, посмотреть в лицо трудностям, для которых у вас ещё не заготовлено ментальных программ, и обойти Систему.

Такие действия не входят в понятие иссёкенмей. Если бы входили — Япония выглядела бы совершенно по-другому.

Поэтому давайте далее различать «готовность предпринять отчаянные усилия» и «готовность предпринять экстраординарные усилия».

Скажу больше: вторая добродетель выше первой.

Она также и более опасна. Если вы приложите отчаянное усилие, чтобы поднять большой вес, используя всю силу и без страховки, вы можете порвать мышцу. Получите травму, возможно она не заживёт. Но если наперекосяк пойдёт творческий план, вы можете, например, взорвать грузовик вместе с ни в чём неповинными прохожими. Представьте двух предпринимателей: один использует отчаянные меры, чтобы получить доход, потому что иначе он станет банкротом, а другой пускается на экстраординарные меры, чтобы скрыть факт хищения, за который он может сесть. Борьба с системой — не всегда правое дело.

Однажды в гости к моему младшему брату пришёл его друг и, они захотели поиграть в игру, — я совершенно не помню в какую, но помню, что у неё были сложные и хорошо прописанные правила. Друг захотел изменить их, просто потому что «играть по оригинальным правилам скучно». Я сказал ему: «Не нарушай правила чисто из духа противоречия. Даже если ты нарушаешь правила, когда у тебя есть невероятно веская причина, ты можешь получить неприятности, преследующие тебя до конца жизни».

Однако я всё равно считаю, что нам следует больше уважать добродетель «экстраординарных усилий». Я потерял счёт, сколько раз мне говорили: «Бессмысленно работать над дружелюбным ИИ, потому что первые ИИ будут разработаны мега-корпорациями и будут заточены на максимизацию прибыли», «Бессмысленно работать над дружелюбным ИИ, потому что первые ИИ будут созданы военными в качестве оружия». А я стою в это время и думаю: «Неужели им вообще не приходит в голову мысль, что возможно стоит предпринять что-нибудь, чтобы предотвратить ожидаемый исход?» Само собой, у нас с ними разные исходные представления насчёт всей этой затеи с ИИ, но если бы я верил в то же, что и они, я бы не пожимал флегматично плечами.

Или как мне порой говорят: «Тебе стоит пойти в колледж и получить степень магистра, затем защитить докторскую. Потом напиши много-много статей на ординарные темы — иначе учёные и инвесторы к тебе не прислушаются». Предположим, я получу степень бакалавра, но даже после этого мне придётся приостановить мою основную деятельность как минимум на десять лет. Всего лишь для того, чтобы сделать всё обычным, нормальным, стандартным способом. И я думаю: «Они действительно считают, что человечество сможет выжить, если абсолютно все будут поступать исключительно обычным, нормальным, стандартным способом?»

Я не настолько глуп, чтобы строить планы, зависящие от готовности большинства людей, или даже 10% от всех людей, не то что сделать, но хотя бы подумать о чём-то, выходящем за границы их зоны комфорта. По этой причине я предпочитаю стратегию профинансированного частно и сделанного в гараже «мозга в коробке». Чтобы получить финансирование такого предприятия, нужно лишь, чтобы мизерная доля от шести миллиардов человечества задумалась над нетривиальным вопросом больше, чем на 5 секунд. Из всех испытаний, посылаемых нам природой, это выглядит извращённо справедливым: жизнь и смерть человеческой расы целиком зависит от того, сможем ли мы собрать несколько людей, способных сделать что-то хоть немного экстраординарное. Цена неудачи непропорциональна обстоятельствам, впрочем, другие испытания природы гораздо хуже — ведь у природы нет никакой справедливости. Серьёзно, из шести миллиардов человек должны найтись хотя бы несколько, кто способен хоть какое-то время думать за гранью привычного.

И даже если не вдаваться глубоко в этот спор, я до сих пор поражаюсь, как часто даже единственная необходимость экстраординарного усилия безоговорочно воспринимается как совершенно непреодолимое препятствие.

Да, «будь как можно более проще» — порой полезная эвристика. Да, риски действительно суммируются. Но иногда нужно идти навстречу неприятностям. Риски экстраординарного понимать, конечно, надо. Но также нужно понимать цену обыденности: не всегда есть, что терять.

Представляя будущее, многие люди видят не очень радостную картину. Но при этом им не приходит в голову попробовать что-нибудь поменять. Или же их устраивает будущее с тем, что мне представляется привкусом грусти или потери, и поэтому им не интересно, можно ли добиться большего. Грусть для них вполне обыденна.

Как однажды сказал улыбающийся человек: «Всё это — часть плана».

  • 1. Цитируется по сайту readgo.ru, автора перевода установить пока не удалось. — Прим.перев.
  • 2. Книга на русский язык не переводилась. Автор ссылается на издание: Masayuki Shimabukuro, Flashing Steel: Mastering Eishin-Ryu Swordsmanship (Frog Books, 1995). — Прим.перев.
Перевод: 
Евгений Миньков, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
309
Оцените качество перевода: 
Средняя оценка: 4.5 (22 votes)

Создание сообщества

В этой цепочке обсуждаются группы, посвящённые рациональности, и групповая рациональность. Поднимаются следующие вопросы:

  • Можно ли научиться рациональности? Можно ли обучать других рациональности?
  • Если да, насколько большого прогресса можно достичь?

Как мы можем убедиться, что наши действия действительно дают прирост рациональности? Как определить правильную причину, если этот прирост действительно есть?

  • Какие нормы в сообществе сделают процесс самоулучшения более лёгким?
  • Можем ли мы эффективно сотрудничать при работе над крупномасштабными задачами, не жертвуя свободой мысли?

И самое главное: Что мы упустили? Что будет в следующих учебниках по рациональности, которые заменят этот текст? Как улучшить существующий стиль и проверить существующие рекомендации? Что можно добавить? В каких направлениях можно развиваться?

Примечание редактора: Значительная часть этой цепочки не переведена на русский язык.

Автор: 
Элиезер Юдковский

Общий уровень здравомыслия

Элиезер Юдковский

Перефразирую «Байесианца с чёрным поясом»1: за каждой впечатляющей, драматичной ошибкой кроется история о более важной и менее драматичной ошибке, без которой первая не случилась бы.

Даже если завтра повсюду в мире магическим образом исчезнут все следы религии, то, хотя жизнь многих людей и улучшится, нам всё ещё будет очень далеко до решения серьёзных проблем со здравомыслием, из-за которых вообще существует религия.

У нас есть веская причина потратить часть наших усилий на устранение религии, ведь религия — это непосредственная проблема. Однако религия исполняет и роль задохнувшейся канарейки в угольной шахте. Религия — это знак, симптом большей проблемы, которая никуда не денется просто потому, что кто-то лишится своей религии.

Рассмотрим мысленный эксперимент: чему вы могли бы научить других людей, с условиями, что это правда, это полезная широко применимая рационалистская техника, это не касается религии напрямую, но это могло бы подтолкнуть людей от религии отказаться? Даже так: представьте, что вы опросите всех ваших студентов через пять лет, чтобы посмотреть, как много из них откажется от религии по сравнению с контрольной группой. Но если вы хотя бы чуть-чуть попытаетесь сражаться с религией напрямую, вы провалите эксперимент. На уроках вам запрещается упоминать религию и любое религиозные утверждения, вам даже нельзя никак намекать на них. Все ваши примеры должны основываться на ситуациях из реального мира и не иметь ничего общего с религией.

Если мы не сражаемся с религией напрямую, чему мы научим людей, чтобы поднять «общий уровень здравомыслия» до уровня, при котором религия исчезнет сама собой?

Ниже перечислены несколько тем, которые я уже освещал. У меня, впрочем, встречались упоминания религии, но от них можно легко избавиться.

Но давайте посмотрим с другой стороны.

Предположим, что мы знаем учёного, который всё ещё религиозен: не важно, имеем мы дело с активным участием в религиозной жизни или с неясными случайными высказываниями о чем-то «духовном».

Теперь мы знаем, что этот человек не понимает во всех тонкостях…

  • …что есть свидетельство и почему;

  • …бритву Оккама;

  • …что два правила выше вытекают из законов и причинно-следственного механизма, благодаря которым мозг составляет карты, и не отменяются, когда речь идёт о зубных феях;

  • …чем отличаются настоящие ответы от затычек для любопытства;

  • …как переосмысливать что-либо, вместо того, чтобы просто повторять услышанное;

  • …некоторые основные направления науки за последние три тысячи лет;

  • …сложные искусства обновления убеждений на основе новых свидетельств и отказа от устаревших убеждений;

  • …эпистемологию начального уровня;

  • …честности перед собой продвинутого уровня;

  • …и так далее, и так далее, и тому подобное.

Если посмотреть на этот список, то видно, что изучить все его составляющие не так уж сложно. Быстрое введение во всё это (кроме натуралистической метаэтики) могло бы оказаться… обязательным предметом второго курса?

Но даже некоторые нобелевские лауреаты не прошли такой курс! Пример Ричарда Смолли может показаться некорректным, но есть и более пугающий пример Роберта Ауманна.

И их нельзя считать отдельными исключениями. Если бы все их коллеги прошли бы такой курс, они бы поправили Смолли и Ауманна (дружески отвели бы в сторонку и объяснили базовые принципы) или относились бы к ним достаточно настороженно и не дали бы Нобелевскую премию. Ведь если рассуждать реалистично (пусть это и кажется несправедливым), разве получил бы Нобелевскую премию учёный, публично рассуждающий о существовании Санта Клауса?

Именно об этом и говорит нам мёртвая канарейка, религия: общий уровень здравомыслия сейчас смехотворно низок. Даже в научной элите.

Если мы выкинем мёртвую гниющую канарейку, то в нашей шахте станет пахнуть чуть лучше, но уровень здравомыслия значительно не вырастет.

Я не планирую критиковать движение нео-атеистов. Вред, нанесённый религией, — это очевидная существующая опасность, или даже продолжающееся бедствие. Сражение против непосредственных последствий религии приоритетней использования её в качестве канарейки или экспериментального индикатора. Но даже если Докинз, Деннет, Харрис и Хитченс каким-то образом окончательно победят даже в самых далёких уголках человеческого мира, настоящая работа рационалистов только начнётся.

  • 1. Юдковский ссылается на блог «Black Belt Bayesian», который уже не существует. — Прим.перев.
Перевод: 
Kelegorm, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
312
Оцените качество перевода: 
Средняя оценка: 3.7 (34 votes)

Чувство, что большее возможно

Элиезер Юдковский

Когда учишь людей теме, которую ты пометил как «рациональность», помогает, если они уже заинтересованы в ней. (Есть менее прямые пути учить людей составлять карты, отражающие территорию, или оптимизировать реальность в соответствии с их ценностями, но я выбрал именно явный метод.)

И когда люди объясняют, почему они не заинтересованы в рациональности, одна из самых частых причин — это что-то вроде: «Я знаю парочку рациональных людей и они не кажутся мне более счастливыми»

О ком они думают? Наверное, об объективистах или о ком-то похожем. Может, об обычном учёном, которого они знают. Или обычном атеисте.

Это далеко не самая суть рациональности, как я и говорил прежде.

Даже если ограничиться людьми, способными вывести формулу Байеса — что уже вычёркивает 98% вышеназванных — это всё ещё не суть рациональности. В смысле, это же довольно базовая теорема.

С самого начала у меня было чувство, что должна существовать какая-то дисциплина познания, искусство мышления, навык, делающий людей заметно компетентнее, мощнее; эквивалент Поднятия Уровня в Крутости (English).

Но когда я смотрю на окружающий мир, я не вижу этого. Иногда я замечаю намёк, эхо того, что должно быть возможно, когда читаю творчество Робина Доуса, Даниэла Гилберта, Туби и Космидес1. Отдельные маститые учёные-психологи, которым далеко не всё равно — настолько не всё равно, что, мне кажется, их коллеги чувствуют себя неудобно, ведь не круто заботиться о чём-то настолько сильно. Они уловили ритм, единство, пронизывающее их аргументы —

Но даже это… всё ещё не самая суть рациональности.

Даже среди тех немногих, кто впечатляет меня отголоском брезжущей внутренней мощи, я не думаю, что их мастерство рациональности может сравниться со, скажем, мастерством математики Джона Конвэя2. Базовое знание, которое мы привлекаем к построению нашего понимания — если извлечь только части, которые мы использовали, а не всё, что было необходимо изучить, чтобы отыскать их — не сравнимо по величине со всем тем, что профессиональный инженер-атомщик знает про строение ядерных реакторов. Наверное, оно даже не сравнится с тем, что обычный инженер знает про мосты. Мы практикуем наши навыки способами, которые выучили постфактум; однако, эта практика и близко не стояла с тренировочным режимом олимпийского бегуна или даже игрока в теннис средней лиги.

И корень этой проблемы, как я подозреваю, это то, что мы ещё не собрались вместе и не систематизировали наши навыки. Нам пришлось создавать их постфактум, и есть верхний предел, как много один человек может сделать, даже если он может привлечь работу, проделанную в других научных областях.

Основное препятствие, сбивающее нас с правильного пути, — это сложность тестирования результатов тренировочных программ, следовательно мы не можем так просто получить методы, основанные на экспериментальных результатах. Я напишу больше на эту тему, потому что мне кажется, что распознание успешных методов и отделение их от провальных — важная, блокирующее дальнейшее развитие проблема.

Существуют эксперименты, исследующие балансирующие поправки для исправления отдельных когнитивных искажений, но они больше похожи на «заставь студентов практиковаться час, затем протестируй их через две недели», а не на «проведи половину записавшихся через версию А трёхмесячной тренировочной программы, а половину — через версию Б, а затем проведи исследование через пять лет». Вытекающее из обстоятельств количество усилий подходит для обучения людей, которые Действительно Серьёзны Насчёт Рациональности, но никак для тех, кто Готов Потратить Час Времени Или Около Того.

Дэниэл Бурфут3 замечательно заметил, почему интеллект кажется решающим фактором в рациональности: когда приходится импровизировать с совсем малым багажом знаний и количеством систематической практики, интеллект оказывается на самом важном месте.

Почему «рационалисты» не окружены видимой аурой мощи? Почему они ещё не на самой верхушке любой элиты любого направления, имеющего дело с мышлением? Почему большинство «рационалистов» кажутся обычными людьми, возможно со слегка большим интеллектом, с ещё одной игрушкой в чулане?

Тут можно придумать несколько ответов, но один из них определённо состоит в том, что они практикуются в рациональности намного менее систематично, чем каратист с первым даном — в поединках.

Я не ухожу от критики. Я не бейцукай (English), потому что есть граница того, как много Искусства можно создать в одиночку и как сильно можно полагаться на умозрительные заключения без экспериментально выявленной статистики. Я знаю о единственном использовании рациональности под названием «редукционизм запутывающих знаний». Об этом я спрашивал свой мозг, это он мне дал. Есть и другие искусства, я думаю, которые могла бы включить зрелая рационалистская тренировочная программа, которые сделали бы меня сильнее, счастливее и эффективнее. Если бы я только мог пройти через стандартизированную тренировочную программу, собирая сливки с методов обучения, экспериментально подтверждённых, как эффективные. Но моя жизнь не вместит ещё один огромный сфокусированный поток усилий, который я вложил в моё под-искусство рациональности, создавая его с нуля.

Я считаю себя в чём-то лучше каратиста с первым даном, но в чём-то и хуже. Я могу пробить кирпич и уже работаю над сталью, при том, что моя конечная цель — адамантий. Но у меня весьма приблизительное понимание того, как следует бить, блокировать или бросать в уличном бою.

Почему есть школы боевых искусств, но нет рационалистских додзе? (Этот вопрос был первым в моём первом посте в блоге.) Разве бить важнее чем думать?

Нет, но гораздо легче проверить, ударил ли ты кого-то или нет. Это часть обучения, важная часть.

Но что ещё более важно, есть люди, которые хотят бить, которые следуют идее, что должно быть систематизированное искусство сражения, которое сделает обучающегося заметно более мощным бойцом, со скоростью и изяществом за пределом возможностей не практикующихся. Они идут в школу, которая обещает научить их этому. И эта школа существует, потому что давным-давно у каких-то людей было чувство, что большее возможно. Эти люди собрались вместе, поделились между собой техниками, практиковались вместе, формализовали знания и в конце-концов разработали Систематизированное Искусство Боя. Они добились так много потому что считали, что должны быть круты, и были готовы вложить усилия.

Сейчас они добились чего-то стоящего этим стремлением, в отличие от тысячи других стремящихся к крутости, потому что могли сказать, ударили они цель или нет; это дало возможность школам регулярно соревноваться друг с другом в реалистичных соревнованиях с явно определёнными победителями.

Но до всего этого было стремление, желание стать сильнее, чувство, что большее возможно. Видение скорости, силы и грации, которой они ещё не обладали, но могли бы обладать, если бы вложили уйму работы, которая позволила бы им систематизировать, тренироваться и тестировать.

Почему у нас ещё нет Искусства Рациональности?

В-третьих, потому что современные «рационалисты» имеют проблемы в командной работе: об этом я напишу больше.

Во-вторых, потому что сложно проверить, успешна ли тренировка или какая из двух школ сильнее.

Но во-первых, потому что у людей нет ощущения, что рациональность — это что-то, что должно быть систематизировано, тестируемо и передаваемо, как боевое искусство, что должно включать так же много знания, как и инженерия, чьи суперзвёзды должны практиковаться так же усердно, как и шахматные гроссмейстеры, чьи успешные адепты должны быть окружены видимой аурой крутости.

И обратно, они не оглядываются на отсутствие видимой мощи, и не говорят: «Должно быть, мы делаем что-то не так»

«Рациональность» кажется ещё одним хобби, о котором люди говорят на вечеринках, искусственным разговорным одеянием с немногими или вовсе никакими бонусами; при том не кажется, что этот подход неверен.

  • 1. В оригинале Robyn Dawes, Daniel Gilbert, Tooby & Cosmides. — Прим.перев.
  • 2. В оригинале John Conway. — Прим. перев.
  • 3. В оригинале Daniel Burfoot. — Прим.перев.
Перевод: 
Павел Садовников
Номер в книге "Рациональность: от ИИ до зомби": 
313
Оцените качество перевода: 
Средняя оценка: 4.8 (11 votes)

Эпистемическая порочность

Элиезер Юдковский

Я очень благодарен тому, кто навёл меня на большое эссе Гиллианы Рассел «Эпистемическая порочность в боевых искусствах»1. К сожалению, я не смог найти в своей переписке и комментариях на Overcoming Bias, кто именно это был. Может быть, Анна Саламон?

С галстуками на шеях и в добротных туфлях (дело происходило в Англии) мы выстроились в шеренгу и повторяли его движения — левой, правой, левой, правой — и тогда он сказал, что если мы будем молотить воздух с достаточной самоотдачей ещё года три, то сможем убить быка одним ударом.

Я боготворила мистера Ховарда (хотя я бы скорее умерла, чем сказала бы ему об этом), и поэтому я, худая одиннадцатилетняя девочка, искренне поверила: если я буду упражняться, то к четырнадцати годам смогу убить быка одним ударом.

Рассказ выше иллюстрирует эпистемическую порочность в боевых искусствах, которой и посвящено данное эссе. Хотя слово «порочность»2 обычно означает преднамеренные жестокость и насилие, я буду использовать его в более старомодном значении — обладание пороками.

То, о чём пишет Гиллиана Рассел, удивительно хорошо обобщается на другие случаи. Эпистемическая порочность возникает по следующим причинам:

  • Искусство, додзё и сенсей воспринимаются как что-то святое. «Прийти в додзё с накрашенными ногтями на ногах — всё равно, что заявиться в церковь в мини-юбке и топе… Об изучающих другие стили боевых искусств говорят так, словно бы они исповедуют неправильную веру».
  • Если наставник выделил вас из группы и научил особому приёму, который вы потом отрабатывали двадцать лет, то из-за больших эмоциональных инвестиций вы будете отвергать все вновь появляющиеся подтверждения бесполезности этого приёма.
  • У новеньких нет особого выбора: боевому искусству нельзя научиться по книжке, поэтому ученики вынуждены доверять учителям.
  • Почитание прославленных мастеров прошлого. «Бегуны считают, что нынешние сотрудники Runner’s World3 знают о беге больше, чем все древние греки вместе взятые. И это верно не только для бега или других физических активностей, где история знает своё место. Это верно для любой достаточно разработанной изучаемой области. Физику не будет зазорным сказать, что теории Исаака Ньютона ошибочны…» (Звучит знакомо?)
  • «Мы, мастера боевых искусств, страдаем от особого рода скудности — скудности данных, которая делает наши убеждения труднопроверяемыми… Определить точные силу и угол ломающего шею удара может лишь тот, кто, к несчастью, оказался в настоящей рукопашной битве».
  • «Если нет возможности проверить эффективность техники, то трудно проверить и способы улучшения этой техники. Стоит ли отрабатывать нукитэ4 в воздухе, или это только стимулирует излишнее повторение движения? Неспособность проверить наши методы для драки не позволяет нам тщательно проверять наши методы для тренировок».
  • «Главная проблема не в том, что мы живём в скудности данных. Думаю, и многие уважаемые дисциплины — например, теоретическая физика — живут в такой же скудности. Проблема в том, что мы бедны, но мы продолжаем вести себя так, словно живём в роскоши и можем спокойно позволять себе верить всему, что нам говорят».(+10!)

Мне показалось, что в эссе ещё был запомнившийся мне фрагмент о том, что боевые искусства начинали деградировать после отказа от настоящих боёв — таких, в которых люди всерьёз пытались причинить вред друг другу и иногда кто-то погибал. Впрочем, при повторном прочтении я его не обнаружил.

Во времена боёв насмерть вы бы примерно знали, кто на самом деле настоящие мастера, и какая школа может победить другие.

А затем всё «цивилизовалось» и докатилось до появления на YouTube роликов, в которых предполагаемых чёрных поясов n-ного дана вбивают в землю люди с реальным боевым опытом.

Я слышал об одном по настоящему печальном примере. Некий мастер по-настоящему верил, что может использовать техники ки5. Его ученики в самом деле падали, когда он использовал эти атаки. Да, странный, необычный и пугающий случай самогипноза или чего-то подобного… Но когда этот мастер вышел против скептика, его, разумеется, быстро впечатали в пол.

Истинно сказано, что знание «как не проиграть» часто полезнее знания «как победить». Все вышеупомянутые факторы риска прямо переносятся на любую попытку начать «рациональное додзё». И я спрашиваю вас: что с этим можно сделать?

  • 1. Gillian Russell, “Epistemic Viciousness in the Martial Arts,” in Martial Arts and Philosophy: Beating and Nothingness, ed. Graham Priest and Damon A. Young (Open Court, 2010).
  • 2. В оригинале «viciousness». — Прим.перев.
  • 3. Издаваемый в США журнал о беге Runner’s World — Прим.перев.
  • 4. Техника прямого удара пальцами вперёд в каратэ — Прим.перев.
  • 5. См. например статью Ци в Википедии. — Прим.перев.
Перевод: 
gihh, Alaric, ildaar
Оцените качество перевода: 
Средняя оценка: 5 (8 votes)