Когда-то Земля находилась под тиранией гигантского дракона. Ростом дракон был выше самого высокого собора, и весь был покрыт чёрной чешуёй. Его красные глаза пылали ненавистью, а из пасти тёк непрерывный поток зловонной желтовато-зелёной слизи. Дракон требовал от человечества чудовищную дань: для удовлетворения его непомерного аппетита десять тысяч мужчин и женщин должны были быть доставлены на исходе каждого дня к подножью горы, у которой жил дракон-тиран. Некоторых дракон пожирал сразу, других держал в течение многих месяцев или даже лет перед тем, как те были съедены.

Неизмеримы были страдания, причиняемые драконом. Ведь кроме тысяч убитых, оставались также те, кто оплакивали потерю близких – матери, отцы, жёны, мужья, дети и друзья.

Некоторые пробовали бороться с драконом. Трудно сказать, были ли они храбры или глупы. Священники и чародеи насылали на него проклятия, но напрасно. Храбрейшие воины, вооруженные лучшим оружием, пробовали его одолеть, но были уничтожены его огнём прежде, чем смогли хотя бы приблизиться. Химики составляли ядовитые зелья, и им даже удавалось хитростью заставить дракона проглотить их, но это только разжигало его аппетит. Когти и пасть дракона были настолько мощными, его чешуйчатая броня столь неприступной, что это делало его совершенно неуязвимым для любого нападения со стороны человека.

Поскольку уничтожить тирана было невозможно, людям не оставалось ничего другого, кроме как повиноваться его желаниям и продолжать приносить жертвы. Отобранные несчастные были всегда людьми старшего возраста. Хотя пожилые люди часто бывали столь же энергичны и здоровы, как и молодые, и почти всегда мудрее и опытнее, но они в каком-то смысле уже успели насладиться жизнью. Богач мог получить краткую отсрочку, подкупив стражников, которые забирали людей, но, согласно непреложному закону, никто, даже сам король, не мог отложить их очередь.

Священники пытались успокоить тех, кто боялся быть съеденными драконом (то есть почти всех, хотя многие публично отрицали это), обещая другую жизнь после смерти; жизнь, свободную от дракона. Другие ораторы полагали, что дракон имеет право на своё место в природе и моральное право быть накормленным. Они считали, что закончить жизнь в животе дракона является частью самого определения человеческой сущности. Находились также и такие, кто считал, что дракон приносит человечеству пользу, ограничивая бесконтрольный рост населения. Были ли эти аргументы убедительны, остаётся неизвестным. Большинство людей пытались утешиться, не думая о мрачном конце, который их ждал.

Это продолжалось в течение многих столетий. Никто уже не вёл счет ни числу убитых, ни количеству пролитых слёз. Люди постепенно смирились, и дракон стал фактом жизни. Ввиду очевидной тщетности сопротивления прекратились попытки убить дракона. Усилия сосредоточились на том, чтобы умиротворять его. Хотя дракон иногда и совершал набеги на города, было установлено, что пунктуальная доставка людей к горе уменьшала вероятность таких налётов.

Люди понимали, что дракон обязательно их когда-нибудь съест, так что стали заводить детей раньше и чаще. Девочки часто беременели, не достигнув и шестнадцати лет. Нередко в семьях было до двенадцати детей. Человеческое население таким образом не уменьшалось, и дракон оставался сытым.

В течение столетий дракон прекрасно питался и постепенно становился всё больше и больше. Он почти достиг размеров горы, на которой жил, и его аппетит рос соответствующе. Десяти тысяч людей теперь было мало, чтобы насытить его, так что уже восемьдесят тысяч должны были быть доставлены на исходе каждого дня к подножью горы, где жил дракон.

Королю приходилось думать не о смертях и драконе, а о том, как обеспечить каждодневный сбор и транспортировку такого количества людей к горе. Это было нелёгкой задачей.

Чтобы облегчить процесс, король приказал выстроить железнодорожный путь: две полосы блестящей стали, ведущие к драконовой обители. Каждые двадцать минут к горному терминалу прибывал поезд, переполненный людьми, а возвращался пустым. Если бы у пассажиров поезда была возможность высунуть голову из окна, то под лунным светом они увидели бы впереди силуэты дракона и горы, и два пылающих красных глаза, как лучи гигантских маяков освещающих путь к уничтожению.

Король нанял огромное количество служащих для управления перевозкой. Специальные регистраторы должны были следить за теми, чья очередь подходила быть принесённым в жертву. Были там стражники, которые отправлялись за людьми в специальных повозках. Путешествуя с головокружительной скоростью, они спешно отправляли свой груз к железнодорожной станции или непосредственно к горе. Клерки распределяли пенсии среди обедневших семей. Были и утешители, которые сопровождали обречённых, стараясь облегчить страдания участием и лекарствами.

Кроме того, были и общества драконологов, которые работали над улучшением логистики. Некоторые из них проводили исследования по драконовской физиологии и поведению и собирали образцы – чешую, слизь, которая текла из его рта, потерянные зубы и экскременты, в которых находились фрагменты человеческих костей. Все эти находки были кропотливо описаны и сданы в архив. Чем лучше изучали зверя, тем понятнее было, что его не победить. Например, его чешуя была твёрже, чем любой материал, известный человеку, и ничто не оставляло на ней даже царапины.

Для финансирования всего этого король ввёл тяжёлые налоги. Связанные с драконом расходы, составлявшие в начале одну седьмую экономики, росли ещё быстрее, чем сам дракон.

Человек – существо любопытное. Время от времени кому-то в голову приходит хорошая идея. Другие копируют её, добавляя собственные усовершенствования. С течением времени изобретено множество чудесных инструментов и систем. Некоторые из этих устройств – калькуляторы, термометры, микроскопы, стеклянные пузырьки, которыми пользуются химики для кипячения и дистилировки жидкости – помогают находить и испытывать новые идеи, включая и те, что сильнее ускоряют этот процесс.

Таким образом великое колесо изобретений, в старые времена поворачивающееся очень медленно, постепенно стало ускоряться.

Мудрецы предсказали, что настанет день, когда технология позволит людям летать и делать много других удивительных вещей. Один из мудрецов, очень уважаемый коллегами, но ставший изгоем из-за эксцентричных манер, зашёл так далеко, что предсказал, что технология в конечном счёте позволит создать изобретение, которое сможет убить дракона-тирана.

Королевские советники, однако, отклоняли эти идеи. Они утверждали, что люди слишком тяжелы для полётов, да и перьев у них нет. А что же касается самой идеи, что дракона можно уничтожить – в книгах по истории упоминались сотни попыток, ни одна из которых не увенчалась успехом. “Мы все знали, что у этого человека бывали странные и безответственные идеи”, – позже писали историки в некрологе о мудреце, который к тому времени был давно съеден драконом, уничтожение которого он предсказывал, – “но писал он интересно. Возможно, мы должны быть благодарны дракону за то, что он способствовал рождению нового жанра. Антидраконьи книги замечательно обнажают природу тоски!”

А колесо изобретений всё ускорялось. Прошло несколько десятков лет, и технология действительно позволила людям летать – и делать много других удивительных вещей.

Несколько известных учёных начали обсуждать новую стратегию нападения на дракона-тирана. Убить дракона будет нелегко, сказали они, но если можно было бы изобрести материал твёрже, чем броня дракона, и сделать из этого материала что-то вроде снаряда, то этот подвиг стал бы возможным. Сначала такие идеи отвергались на том основании, что среди известных материалов не нашлось такого, который был бы крепче, чем броня дракона. Но после долгого исследования проблемы один из бунтарей смог успешно продемонстрировать такой материал. После этого многие из скептически настроенных драконологов присоединились к бунтарям. Инженеры вычислили, что из этого материала можно сделать огромный снаряд, который смог бы пробить броню дракона, если будет запущен с достаточной силой. Однако изготовить необходимое количество такого необычного материала стоило бы огромных денег.

Группа выдающихся инженеров и драконологов послали королю ходатайство на финансирование стройки анти-драконова снаряда. Однако в это время король был занят подготовкой своей армии к войне против тигра. Тигр убил фермера и исчез в джунглях. Все боялись, что тигр может вернуться и напасть снова. Войско короля окружило джунгли и стало прорубаться вглубь. В конце концов король объявил, что все сто шестьдесят три тигра в джунглях, включая того, который напал на фермера, были выслежены и убиты. В шуме и неразберихе той войны ходатайство было потеряно или забыто.

Поэтому драконологи послали королю новое обращение. На сей раз они получили ответ от одного из королевских секретарей, в котором говорилось, что король рассмотрит их запрос после того, как утвердит ежегодный бюджет Министерства Дракона. Бюджет этого года был самым большим из известных до настоящего времени и включал финансирование нового железнодорожного пути к горе. Вторая пара рельс считалась необходимой, поскольку один путь больше не справлялся с увеличивающейся нагрузкой: дань, потребованная драконом в этом году, составила уже сто тысяч человек. Когда бюджет был наконец одобрен, начали поступать слухи о том, что одна отдалённая деревня страдала от гремучих змей. Король должен был срочно уехать, чтобы мобилизовать войска против новой угрозы. Обращение драконологов осталось в пыльном кабинете.

Анти-драконисты встретились снова, чтобы решить, что делать дальше. Горячие дебаты продолжались до поздней ночи. К рассвету они наконец приняли решение обратиться к народу за помощью в решении проблемы. В течение несколько недель они путешествовали по всей стране, читая лекции и объясняя их идею любому, кто бы их слушал. Сначала люди были настроены скептически. В школе их учили, что дракон-тиран неукротим, и что жертвы ему должны приниматься как должное. Однако многие заинтересовались новым сложным материалом и проектом снаряда. Всё больше и больше граждан приходило на лекции драконологов. Активисты начали организовывать общественные собрания в поддержку их идеи.

Когда король узнал из газет об этих встречах, он вызвал своих советников и спросил, что они думают по этому поводу. Они сообщили ему о ходатайствах, которые были высланы, но сказали, что анти-драконисты были нарушителями спокойствия и их учение вызывало общественное беспокойство. Они убеждали короля, что для общественного строя было бы лучше, если бы люди приняли неизбежность приношения дани дракону-тирану. Обслуживание дракона обеспечивало много рабочих мест, которые бы пропали в случае победы над драконом. Они уверяли, что убийство дракона не будет иметь никакой социальной выгоды. В любом случае, в данный момент королевская казна была почти пуста после двух военных миссий и финансирования второй железнодорожной линии. Король пользовался большой популярностью после победы над гремучими змеями. Он слушал аргументы советников и волновался, что может потерять популярность в народе, если люди увидят, что он проигнорировал анти-драконовское ходатайство. Поэтому король решил провести открытое слушание. Были приглашены высшие драконологи, министры государства, а также заинтересованная публика.

Митинг состоялся в самый тёмный день года, как раз перед Рождеством, в самом большом зале королевского замка. Все места были заняты, и многие толпились в проходах. Атмосфера в зале была напряжённой, как во время самых важных военных сессий.

После того как король всех приветствовал, он дал слово ведущей учёной-драконологу, которая вела эти исследования и разработки. Это была женщина с серьезным и строгим выражением лица. Она объяснила понятным языком, как предложенное устройство будет работать и как можно изготовить необходимое количество сложного материала. При умеренном финансировании на весь проект понадобилось бы пятнадцать-двадцать лет. Если финансирование увеличить, то можно было уложиться и в двенадцать. Однако не было никакой абсолютной гарантии, что это устройство будет вообще работать. Толпа слушала её выступление внимательно.

Следующим выступающим был главный советник короля по этике – человек, мощный голос которого легко заполнил аудиторию:
— Давайте представим, что эта женщина не ошибается в научных деталях, и что проект является технологически возможным, хотя я не думаю, что это было фактически доказано. Она желает, чтобы мы избавились от дракона. Вероятно, она считает, что имеет право избежать участи быть съеденной драконом. Какое упрямство, какая самонадеянность! Конечность человеческой жизни – это благословение для каждого человека, независимо от того, знает он об этом или нет. Уничтожение дракона – на первый взгляд такой очевидный и правильный поступок – унизит наше человеческое достоинство. Озабоченность убийством дракона отвлечёт нас от более полной реализации наших стремлений, и мы будем жить долго вместо того, чтобы жить хорошо. Это унизительно, да, унизительно для человека – хотеть продолжать своё посредственное существование максимально долго, не задумываясь о более высоких вопросах, о том, для чего должна быть использована жизнь. И я утверждаю, что роль дракона в природе заключается в том, чтобы есть людей, и наша роль в природе исполняется только тогда, когда мы им съедены…

Аудитория уважительно слушала выспренние речи почтенного оратора. Его фразы были настолько красноречивыми, что было трудно сопротивляться чувству, что за этими словами были какие-то глубокие мысли, хотя никто и не мог точно понять, в чём же они состояли. Но наверняка слова, исходящие от такого выдающегося ставленника короля, должны были иметь глубокий смысл.

Следующим вышел духовный мудрец, который был широко почитаем за свою доброту, теплоту и преданность. Когда он шагал к трибуне, маленький мальчик выкрикнул из аудитории:
— Дракон плохой!

Родители мальчика покраснели и стали успокаивать и ругать ребенка. Но мудрец сказал:
— Пусть мальчик говорит. Он, вероятно, мудрее, чем такой старый дурак, как я.

Сначала мальчик был слишком испуган и смущён, чтобы что-то сказать. Но когда он увидел искреннюю дружескую улыбку и вытянутую руку старого мудреца, он взялся за неё и пошёл вместе ним к трибуне.

— Итак, храбрый мальчик, – сказал мудрец, – ты боишься дракона?
— Хочу вернуть бабушку, – сказал мальчик.
— Дракон забрал твою бабушку?
— Да, – сказал мальчик, и слёзы собрались в его больших испуганных глазах. – Она обещала, что научит меня печь имбирное печенье на Рождество. Она сказала, что мы сделаем домик из имбирного пряника и маленьких человечков, которые жили бы в нём. А потом люди в белой одежде пришли и забрали бабулю к дракону… Дракон плохой, он ест людей… Верните мне бабушку!

Ребёнок уже плакал так сильно, что мудрецу пришлось возвратить его родителям.

Были и другие выступления, но простое свидетельство ребёнка оказалось сильнее риторических речей королевских министров. Люди поддержали анти-драконистов, и к концу вечера даже король признал смысл и гуманность их аргументов. В его заключительном заявлении он просто сказал:
— Давайте сделаем это!

Как только новость распространилась, на улицах началось празднование. Активисты анти-драконизма поздравляли друг друга и пили за будущее человечества.

На следующее утро миллиард людей проснулись и поняли, что их очередь быть посланными к дракону настанет прежде, чем снаряд будет закончен. Наступило критическое время: раньше активная поддержка анти-драконистов была ограничена маленькой группой провидцев, а теперь стала главным приоритетом для всех людей. “Общая воля” стала популярным и важным понятием. На массовых митингах собирались деньги для проекта снаряда и отправлялись прошения королю с просьбой увеличить количество государственной поддержки. Король охотно отвечал на эти запросы. Во время новогоднего выступления он объявил, что выпустит дополнительный законопроект для увеличения финансирования, и, кроме того, продаст свой летний дворец и часть земли для того, чтобы сделать существенное личное пожертвование.
— Я верю, что наша страна должна достигнуть этой цели до конца этого десятилетия, чтобы мир наконец освободился от древний муки дракона!

Таким образом началась технологическая гонка за временем. Концепция антидраконового снаряда была достаточно проста, но его создание требовало решения тысячи технических проблем, каждая из которых в свою очередь имела множество своих маленьких проблем. Запускались испытательные снаряды, но одни сразу падали на землю, а другие летели, но не в ту сторону. В одном трагическом случае снаряд упал на больницу и убил несколько сотен пациентов и врачей. Но к тому времени цель проекта была настолько важна, что испытание продолжались, даже пока людей выкапывали из развалин.

Несмотря на почти неограниченное финансирование и круглосуточную работу, всё равно не удавалось закончить проект вовремя. Десятилетие закончилось, а дракон всё ещё был жив и здоров. Но проект уже приближался к концу. Прототип снаряда был успешно запущен. Производство ядра, сделанного из дорогого сложного материала, шло по плану. Его завершение совпадало с окончанием производства снаряда, в который он должен быть загружен. Запуск был назначен на следующий Новый год, точно двенадцать лет спустя после официального запуска проекта. Самым лучшим новогодним подарком в это время был календарь, который считал дни до окончания проекта, и доходы от его продажи шли на проект снаряда.

Король стал гораздо мудрее и серьёзнее. Теперь он проводил много времени в лабораториях и на заводах, подбадривая рабочих и хваля их за тяжёлый труд. Иногда он проводил целую ночь на шумном заводе. Он даже пытался изучить и понять технические аспекты. Но всё же его поддержка была в основном моральной, и он старался не вмешиваться в технические и организационные дела.

За неделю до Нового года инициатор и руководительница проекта приехала в замок и попросила о срочной встрече с королём. Когда тот узнал о её прибытии, он срочно извинился перед иностранным сановниками, которых развлекал, и поспешно ушёл в комнату, где его ждала ученая. Как обычно, она выглядела бледной и измученной от долгих часов на работе. Но в этот раз король заметил облегчение и радость в её глазах.

Она сказала, что снаряд закончен, ядро загружено, всё трижды проверено и готово к запуску по команде короля. Король вжался в кресло и закрыл глаза. Он крепко задумался. Если запустить снаряд сегодня вечером, на неделю раньше чем запланировано, семьсот тысяч человек будут спасены. Но если что-то пойдёт не так, если снаряд не поразит цель, это будет ужасно. Тогда придётся заново строить ядро, и проект откатится года на четыре. Король тихо сидел почти целый час. Когда учёная уже думала, что тот уснул, он открыл глаза и твёрдо сказал:
— Нет. Я хочу, чтобы вы вернулись в лабораторию. Проверьте и перепроверьте всё ещё раз.

Ученая не смогла сдержать глубокого вздоха, но кивнула и удалилась.

Последний день года выдался холодным и пасмурным, но ветра не было, так что условия для запуска были хороши. Солнце спускалось. Техники возились вокруг снаряда и проверяли всё в последний раз. Король и его главные советники наблюдали с платформы неподалёку от пусковой площадки. Еще дальше, за забором, огромное количество публики собралось посмотреть на это важное событие. Большие часы отсчитывали время до запуска: оставалось пятьдесят минут.

Советник обратил внимание короля на забор. Там происходило какое-то беспокойство: кто-то перескочил через него и бежал к платформе короля. Охранники быстро его догнали, надели наручники и утащили. Король снова повернулся к пусковой площадке и к горе на заднем плане. Там он видел тёмный согнутый профиль дракона. Тот ел.

Минут через двадцать короля удивило новое появление этого человека – теперь того вели двое стражников. На пленнике были наручники, а из носа текла кровь. Он был крайне возбуждён и, увидев короля, начал кричать изо всех сил:
— Поезд! Последний поезд! Остановите последний поезд!
— Кто этот молодой человек? – спросил король. – Его лицо кажется мне знакомым, но я не могу припомнить, кто это. Что он хочет? Позовите его сюда.

Молодой человек был младшим клерком в министерстве транспорта, и кричал он потому, что в последнем поезде на пути к горе находился его отец. Король приказал, чтобы движение поездов продолжалось, опасаясь, что любое необычное явление могло бы возбудить дракона, и он бы мог покинуть открытое место, на котором сейчас находился. Молодой человек умолял короля, чтобы он остановил последний поезд, который должен был прибыть к горе за пять минут до запуска.

— Я не могу этого сделать, – сказал король. – Я не могу рисковать.
— Но поезда же часто опаздывают на пять минут! Дракон даже не заметит! Пожалуйста!

Молодой человек стал на колени перед королем, умоляя его спасти жизнь отца и жизни тысячи пассажиров на последнем поезде.

Король смотрел вниз на заплаканное и окровавленное лицо молодого человека. Но он покачал головой. Молодой человек продолжал вопить даже после того, как охранники тащили его с платформы:
— Пожалуйста! Остановите поезд! Пожалуйста!

Король стоял тихо и неподвижно, пока крики вдруг не прекратились. Он взглянул на часы: оставалось пять минут.

Четыре минуты. Три. Две.

Последний техник ушёл с площадки.

Тридцать секунд. Двадцать. Десять, девять, восемь…

Когда ракета взлетела, и отблески пламени двигателей осветили пусковую площадку, зрители непроизвольно поднялись со своих мест. Все глаза были обращены к белому ракетному пламени, двигающемуся в сторону горы. Вся масса людей, король, низкие и высокие, молодые и старые – в этот момент все они были охвачены единым пониманием, единым осознанным чувством: это белое пламя, стреляющее в темноту, воплощало весь человеческий дух – его страхи и надежды, ударяющие в сердце зла. И огромный силуэт наконец исчез. Тысячи возгласов радости поднялись над толпой. Через несколько секунд к ним присоединился протяжный глухой звук падающего чудовища. Казалось, будто сама земля вздохнула от облегчения. После столетий притеснения человечество наконец было свободно от жестокой тирании дракона.

Вопли радости перешли в радостную песню:
— Да здравствует король! Да здравствуем мы все!

Советники короля, как и все остальные, были счастливы как дети; они обнимали друг друга и поздравляли короля:
— Ура! Мы победили!

Но король ответил надломленным голосом:
— Да, нас постигла удача, сегодня мы убили дракона. Но, чёрт побери, почему мы начали так поздно? Это могло бы быть сделано пять, а возможно и десять лет назад! Миллионы людей были бы спасены.

Король сошёл с платформы и подошёл к молодому человеку в наручниках, который сидел на земле. Он упал на колени.
— Простите меня! О боже, пожалуйста, простите меня!

Дождь начал капать на землю, превращая её в грязь; пурпурные королевские одежды отяжелели, дождь смыл кровь с лица мужчины.
— Я очень сожалею о вашем отце, – сказал король.
— Вы не виноваты, – ответил молодой человек. – Вы помните, двенадцать лет назад, в замке? Тем мальчиком, который кричал и хотел, чтобы вы вернули его бабушку, был я. Я тогда не понимал, что вы не могли сделать то, о чём я просил. Сегодня я хотел, чтобы вы спасли моего отца. Но и сегодня это было невозможно, ведь нельзя было рисковать запуском. Но вы спасли меня, и мою мать, и сестру. Как же нам вас отблагодарить?
— Ты их слышишь? – спросил король, показывая на толпу. – Они благодарят меня за то, что сегодня случилось. Но герой – ты. Это был твой голос. Это ты встал против зла, – король знаком велел охране снять с молодого человека наручники. – Иди к матери и сестре. Вашей семье всегда будут рады в замке, и вы получите всё, что пожелаете – если это будет в моих силах.

Молодой человек ушёл, а всё окружение короля продолжало толпиться под ливнем вокруг своего монарха, который всё ещё сидел на земле. Из вычурных одежд, портящихся под дождём, смотрели их напудренные лица, в которых читалась смесь радости, облегчения и замешательства. Так много изменилось за час: вернулось право на свободное будущее, древний страх исчез, а многое из того, во что так долго верили, было низвергнуто. Растерянные и не понимающие, что им теперь делать, они так и стояли, обмениваясь взглядами в ожидании какого-то сигнала.

Наконец, король поднялся, вытирая руки об одежды.
— Ваше величество, что нам сейчас делать? – спросил самый старший придворный.
— Дорогие друзья, – сказал король, – мы прошли долгий путь, и всё же наше путешествие лишь начинается. Человек – молодое существо на планете. Сегодня мы снова как дети. Будущее открыто перед нами. Мы войдем в него и постараемся быть лучше, чем прежде. Теперь у нас есть время: время делать всё правильно, время расти, время учиться на наших ошибках, время строить лучший мир и время жить в нём. Сегодня вечером пусть все колокола королевства звонят до полуночи в память о наших покойных предках, а после этого давайте праздновать до восхода солнца. И в скором времени, я полагаю, нам предстоят большие перемены!

Мораль

Традиционно, когда речь заходит о старении, диалог в основном фокусируется на необходимости обеспечения достойных условий существования. Старение, отход от практических дел, а также прощание с близкими принято принимать со смирением. Этот подход имел смысл, пока ничего нельзя было сделать для того, чтобы предотвратить или задержать старение. Вместо того, чтобы беспокоиться о неизбежном, человек мог по крайней мере стремиться к достижению покоя.

Сегодня ситуация изменилась. Несмотря на то, что у нас ещё нет эффективных и приемлемых средств для замедления процесса старения1, мы можем определить те области науки, которые могут помочь нам достигнуть этого в обозримом будущем. Идеологии, которые учат пассивному смирению со смертью, больше не являются такими уж безобидными источниками утешения. Теперь они – препятствие на пути к необходимым действиям.

Многие выдающиеся технологи и учёные говорят, что возможным будет задержать, а конечном счете – остановить и полностью развернуть человеческое старение2. В данный момент нет полного консенсуса о том, сколько времени и какие средства для этого понадобятся, и даже о том, что эта цель в принципе достижима. Относительно басни (где старение, конечно же, представлено драконом), мы находимся на отрезке времени где-то между тем, когда одинокий мудрец предсказал возможное убийство дракона, и тем, когда драконологи успешно доказали своим коллегам, что возможно создание сложного материала, который будет крепче чешуи тирана.

Представленный этический аргумент прост: для людей в басне существуют очевидные и неотразимые моральные причины избавиться от дракона. В нашей ситуации процесс старения аналогичен и этически схож с ситуацией в басне. Поэтому и у нас есть неотразимые моральные доводы для избавления от человеческого старения.

Этот аргумент не касается лишь удлинения жизни. Несколько дополнительных лет болезней и слабости не имели бы никакого смысла. Аргумент этот в пользу удлинения здоровой жизни. В результате замедления или остановки процесса старения, продолжительность здоровой человеческой жизни продлится. Люди смогут оставаться здоровыми, крепкими и продуктивными в том возрасте, до которого раньше вообще бы не дожили.

В дополнение к этому обратите внимание на несколько специфических уроков:

1. Повторяющаяся трагедия стала фактом жизни, статистикой.
   В басне человеческие ожидания приспособились к существованию дракона до такой степени, что многие стали неспособными осознавать его вредность. Старение также стало простым “фактом жизни” – несмотря на то, что оно является основной причиной непостижимого количества человеческого страдания и смерти.
2. Представление о том, что технология статична.
   Люди считали, что никогда не получится убить дракона, потому что все предыдущие попытки были неудачны. Они не принимали во внимание ускорение технологического прогресса. Не та ли ошибка заставляет нас недооценивать возможности излечения старения?
3. Администрация встала на службу сама себе.
   Одна седьмая экономики шла на администрацию дракона (такую же долю ВВП США тратит на здравоохранение). Вместо того чтобы смотреть в корень проблемы, во главу угла ставилось решение поверхностных вопросов. Мы тратим почти весь наш бюджет на исследование отдельных болезней, а не на то чтобы развернуть масштабную федеральную программу по остановке старения.
4. Общественное благо перестало быть полезным для людей.
   Королевские советники волновались о возможных социальных проблемах, которые могли быть вызваны антидраконистами. Они утверждали, что никакой социальной пользы от убийства дракона не будет. Однако общественный строй существует для людей, и спасение от смерти для них – в общем-то, неплохая штука.
5. Неправильное представление о приоритетах.
   Тигр убил фермера. Гремучие змеи лишали покоя деревню. Король избавился от тигра и змей и таким образом сослужил службу своему народу. И все же это были ошибочные действия, потому что приоритеты были расставлены неправильно.
6. Красивые фразы и пустая риторика.
   Советник короля по этике говорил красноречиво о человеческом достоинстве и о том, что предназначено нам природой. Говорил он об этом фразами, которые почти дословно взяты из речей советников современных лидеров3. Эта риторика была дымовой завесой, которая скорее скрывала, чем обнажала мораль. В отличие от этого, невинная и простая речь мальчика указала на центральный факт: дракон плохой, он убивает людей. Это же относится и к человеческому старению.
7. Недооценка срочности.
   В басне долгое время никто полностью не осознавал, что именно находится под угрозой. Король осознал всю степень трагедии, только смотря в окровавленное лицо плачущего молодого человека. Поиск лечения старения – это не просто хорошая вещь, до которой мы может быть когда-нибудь доберёмся. Это – срочный моральный долг. Чем раньше мы начнём сосредоточенную программу исследования, тем скорее мы получим результаты. Разница в один год имеет значение. Если мы получим результаты на год позже, то за этот год умрёт больше людей, чем живёт в Канаде. Это соответствует примерно семидесяти жизням в минуту. При такой страшной скорости мы должны прекратить терять время.
8. “И в скором времени, я полагаю, нам предстоят большие перемены!”
   Король и его народ встретят множество препятствий после того, как отшумят все празднования. Их общество настолько привыкло к присутствию дракона, что сейчас, после его уничтожения, наступит страшная пустота. Они должны будут работать творчески, на личном и социальном уровне, для того чтобы создать условия, при которых их жизнь будет динамичной и полной смысла за пределами тех тридцати-пятидесяти лет, к которым они привыкли. К счастью, человеческий дух способен приспосабливаться. Другая проблема, которую они могут в конечном счёте встретить, это перенаселённость. Возможно, люди должны будут заводить детей реже и в более позднем возрасте. Возможно, они смогут найти способы поддерживать больше населения при использовании более эффективных технологий. Возможно, они научатся колонизировать космос. Мы оставим басенных людей-долгожителей бороться с их новыми проблемами, а сами попытаемся добиться успеха в собственном приключении4.

Как вы можете помочь

1. Распространяйте идеи. Если у вас есть сайт или блог, пожалуйста, разместите у себя ссылку на эту страницу. Делитесь мыслями с друзьями и коллегами. Предлагайте редакциям газет публиковать материалы о долговечности. Отвечайте на неумные и безграмотные замечания о старении, когда предоставляется возможность. Пусть ваш голос будет слышен.
2. Организовывайте. Если вы активны в организации (например в политической партии, религиозной общине, профессиональном обществе), подумайте о том, есть ли какая-то возможность поддержать исследования продолжительности жизни.
3. Оказывайте финансовую помощь. Подумайте о поддержке фонда “Methuselah Mouse Prize”, который награждает тех, кто сможет продлить жизнь мышей среднего возраста. История показывает, что награды сильно ускоряют научные достижения. Успех эксперимента с мышами откроет возможности к большим программам исследований на людях.
4. Принимайте ответственность. Если вы являетесь крупным филантропом, то в ваших силах произвести значительные изменения. Аналогично, если вы, к примеру, журналист, правительственный чиновник, научный авторитет, член крупного научного фонда, то у вас есть прекрасная возможность оказать влияние и, следовательно, проявить инициативу.
5. Думайте творчески. Придумайте сами, как сможете лучше помочь.

• 1. Калорийное ограничение (диета, низкая по калориям, но высокая по питательным веществам) продлевает продолжительность жизни и задерживает наступление болезней, связанных с возрастом, у всех животных, на которых проводились испытания. Предварительные научные опыты на макаках-резусах и на беличьих обезьянах показывают аналогичные результаты. Совершенно очевидно, что ограничение в калориях будет работать и для нас. Очень немногие люди, однако, были бы готовы жить на голодной диете. Некоторые учёные находятся в поиске химических соединений, которые имели бы такой же эффект, как калорийное ограничение, но без необходимости голодания (см. например , Lane, M. et al. (1999) “Nutritional modulation of aging in nonhuman primates,” J. Nutr. Health & Aging, 3(2): 69-76.).
• 2. Недавний опрос, проведённый на десятом конгрессе Интернациональной Ассоциации Биомедицинской Геронтологии показал, что большинство его участников считали возможным или “не невозможным”, что всестороннее функциональное омолаживание мышей среднего возраста будет возможным в течение 10-20 лет. (de Grey, A. (2004), “Report of open discussion on the future of life extension research,” (Annals NY Acad. Sci., 1019, in press)). See also e.g. de Grey, A., B. Ames, et al. (2002) “Time to talk SENS: critiquing the immutability of human aging,” Increasing Healthy Life Span: Conventional Measures and Slowing the Innate Aging Process: Ninth Congress of the International Association of Biomedical Gerontology, ed. D. Harman (Annals NY Acad. Sci. 959: 452-462); and Freitas Jr., R. A., Nanomedicine, Vol. 1 (Landes Bioscience: Georgetown, TX, 1999).
• 3. См., например, Kass, L. (2003) “Ageless Bodies, Happy Souls: Biotechnology and the Pursuit of Perfection”, The New Atlantis, 1.
• 4. Я признателен тем, кто предоставил свои комментарии к более ранним версиям этого проекта, включая Heather Bradshaw, Roger Crisp, Aubrey de Grey, Katrien Devolder, Joel Garreau, John Harris, Andrea Landfried, Toby Ord, Susan Rogers, Julian Savulescu, Ian Watson, and Kip Werking. Я также очень признателен Adi Berman, Pierino Forno, Didier Coeurnelle, и другим, кто перевёл басню на другие языки, и тем, кто помогал распространять идею и выражал поддержку. Спасибо!

Что такое искусственный интеллект?

ИИ — это исследование того, как сделать машины действующими разумно. Грубо говоря, компьютер разумен в тех пределах, в которых он делает правильные вещи, а не неправильные. Правильным действием считается такое, которое позволяет с наибольшей вероятностью достичь цели. Или, выражаясь техническим языком, действие, которое максимизирует ожидаемую полезность. Создание искусственного интеллекта (ИИ) включает в себя решение проблем машинного обучения, рассуждения, планирования, восприятия, понимания языков, а также робототехники.

Распространённые заблуждения

• ИИ — это конкретная технология. Например, в 1980-е и 1990-е годы часто приходилось видеть статьи, в которых ИИ приравнивался к экспертным системам (основанным на наборах правил); в 2010-х годах ИИ приравнивали к нейронным сетям (в основном, многослойным сверточным). Это примерно как подменять изучение физических законов - проектированием паровых машин. Исследования ИИ относятся к общей проблеме создания интеллекта в машинах; ИИ — не какой-то особый технический продукт, возникший в результате исследования данной проблемы.

• ИИ — это особый класс технических подходов. Например, часто приходится видеть авторов статей, считающих, что ИИ должен быть основан на логическом или символьном подходе и противопоставляют этому, например, нейронные сети или генетическое программирование. ИИ — это не подход, это проблема. Любой подход к решению проблемы считается вкладом в развитие ИИ.

• ИИ — это особое сообщество исследователей. Данное утверждение связано с предыдущим заблуждением. Некоторые авторы используют термин «вычислительный интеллект», упоминая некое якобы обособленное сообщество исследователей, использующих нейронные сети, нечеткую логику, генетические алгоритмы. Такой подход крайне неудачен, поскольку побуждает исследователей опираться только на те методы, которые приняты в их сообществе, а не на те, которые имеют смысл для поставленной задачи.

• ИИ — это просто алгоритм. Строго говоря, такое мнение не является заблуждением, поскольку системы ИИ, как и компьютеры для любых других применений, построены на основе алгоритмов (которыми в широком смысле можно считать программы). Однако род задач, решаемых с помощью ИИ, имеют тенденцию сильно отличаться от традиционных алгоритмических задач, таких как сортировка списков чисел или извлечение квадратных корней.

Каким образом ИИ будет приносить пользу обществу?

Всё, из чего состоит цивилизация, является продуктом нашего разума. ИИ позволяет расширить наши интеллектуальные возможности различными способами, подобно тому, как подъемные краны позволяют нам передвигать сотни тонн груза, самолеты позволяют нам перемещаться со скоростью в несколько сотен километров в час, а телескопы позволяют нам наблюдать объекты на расстоянии в триллионы миль. Системы ИИ, спроектированные должным образом, позволят реализовывать человеческие ценности в гораздо большем масштабе.

Распространенные заблуждения

• ИИ обязательно приведет к бесчеловечности. Во многих антиутопичных сценариях описывается, как злодеи используют ИИ для того, чтобы контролировать общество различными способами: слежкой, роботами-полицейскими, автоматизированным «правосудием» или командно-административной экономикой. Хотя такие варианты будущего несомненно возможны, большинство людей не будет поддерживать их. С другой стороны, ИИ предоставляет людям лучший доступ к знаниям и индивидуальному обучению; устраняет языковые барьеры; ликвидирует бессмысленную и однообразную тяжелую работу, низводящую людей до положения… эээ… роботов.

• ИИ обязательно усилит социальное неравенство. Вполне возможно, что всё бо́льшая и бо́льшая автоматизация труда приведет к тому, что прибыли и богатства будут концентрироваться в руках все меньшего и меньшего числа людей. Однако у нас есть выбор в том, как именно использовать ИИ. Например, ИИ может способствовать взаимовыгодному сотрудничеству, связывать производителей с потребителями, что позволит большему количеству отдельных людей и мелких групп напрямую участвовать в экономике вместо того, чтобы зависеть от крупных корпораций-работодателей.

Что такое машинное обучение?

Это раздел ИИ, который изучает способы, которые позволят компьютерам повышать эффективность своих действий с помощью накопленного опыта.

Распространенные заблуждения

• Машинное обучение — это новая область, которая большей частью заменила ИИ. По-видимому, данное заблуждение — неожиданный побочный эффект недавнего роста интереса к машинному обучению, в результате которого на курсы машинного обучения поступают студенты, не имевшие раньше дела с ИИ. Машинное обучение всегда было центральной темой ИИ: Тьюринг в статье 1950 г. утверждал, что обучение — это наиболее вероятный путь к ИИ, а самый успешный ранний ИИ, шахматная программа Артура Самуэля, был создан с использованием машинного обучения.

• Машины не могут учиться, они делают только то, что программисты приказали им делать. Программист может приказать машине учиться! Самуэль был отвратительным шахматистом, но его программа быстро научилась играть намного лучше его. В наши дни многие важные системы ИИ построены методом машинного обучения на основе больших объемов данных.

Что такое нейронная сеть?

Нейронная сеть — вид вычислительной системы, которая имитирует свойства нейронов в живых организмах. Нейронная сеть построена из множества отдельных элементов, каждый из которых получает входной сигнал от одних элементов и посылает выходной сигнал другим элементам. (Эти элементы необязательно должны существовать физически, они могут быть компонентами компьютерной программы.) Выходной сигнал искусственного нейрона обычно вычисляется, исходя из взвешенной суммы входящих сигналов, причем она подвергается некой простой нелинейной трансформации. Ключевым тут является то, что вес каждой из межнейронных связей может быть откорректирован на основе полученного опыта.

Распространенные заблуждения

• Нейронная сеть — это новый вид компьютеров. Практически все нейронные сети моделируются на обычных компьютерах, предназначенных для общих целей. Мы можем построить специализированные компьютеры (их иногда называют нейроморфическими) для более эффективного моделирования нейронных сетей. До сих пор нейроморфические компьютеры не продемонстрировали достаточных преимуществ, чтобы оправдать их более высокую стоимость и затраты времени на конструирование.

• Нейронные сети действуют так же, как и мозг. Реальные нейроны — это гораздо более сложные образования, чем те простые элементы, которые используются в искусственных нейронных сетях. В природе существует много различных типов нейронов и связи между нейронами могут с течением времени меняться; помимо коммуникации между нейронами, мозг задействует и другие механизмы для корректировки поведения; и так далее.

Что такое глубинное обучение?

Глубинное обучение — отдельный вид машинного обучения, при котором обучаются нейронные сети, состоящие из многих слоев. Глубинное обучение стало очень популярным за последние годы и привело к существенному прогрессу в решении таких задач, как распознавание речи и визуальных объектов.

Распространенные заблуждения

• Глубинное обучение — это новая область, которая в значительной мере вытеснит машинное обучение. Сообщество исследователей нейронных сетей занимается глубинным обучением уже больше двадцати лет. Недавние успехи достигнуты за счет относительно малого усовершенствования алгоритмов и моделей, а также за счет доступности объемных наборов данных и гораздо более мощных наборов компьютеров.

Что такое сильный и слабый ИИ?

Термины «сильный ИИ» и «слабый ИИ» были введены философом Джоном Сёрлом в отношении к двум различным гипотезам, выдвинутым, по его мнению, исследователями ИИ. Согласно гипотезе слабого ИИ, машины можно запрограммировать таким образом, что они будут вести себя как имеющие интеллект человеческого уровня. Согласно гипотезе сильного ИИ, подобные машины можно считать имеющими сознание и описывать их как действительно думающих и рассуждающих, используя эти слова в том же смысле, который применяется к людям.

Распространенные заблуждения

• «Сильный ИИ» означает исследования ИИ, целью которых служит универсальный ИИ человеческого уровня. Это допустимая интерпретация термина «сильный ИИ», хотя это не то, что он означал при своем появлении в 1980 г. Аналогично, «слабый ИИ» используют для описания ИИ, нацеленного на специфические, узкие задачи, такие как распознавание речи или создание рекомендательных систем. (Также известен как «инструментальный ИИ».) Конечно, ни у кого нет авторского права на эти термины, однако использование существующих технических терминов для обозначения чего-то совсем другого легко приводит к путанице.

Что такое УИИ, ИСИ и сверхразум?

УИИ означает “универсальный ИИ”. Этот термин использутеся для отсылки к амбициозной задаче по созданию универсальных разумных систем, диапазон задач которых как минимум сопоставим с диапазоном задач, за которые могут браться люди.
ИСИ означает “искусственный сверхразум”, это ИИ, существенно превосходящий человеческий интеллект. Точнее говоря, сверхразумная система — такая, которая превосходит людей по способности выдавать высококачественные решения, которые учитывают больше факторов и дальше заглядывают в будущее.

Распространенные заблуждения

• Ведущих исследователей ИИ не заботит УИИ. Конечно, в таких областях, как распознавание речи, есть исследователи, которые работают большей частью над специфическими задачами в своей области. Также некоторые исследователи преимущественно занимаются поисками коммерческих применений для существующих технологий. Тем не менее, у меня сложилось впечатление, что большинство исследователей ИИ в таких областях, как машинное обучение, аргументация и планирование, вносят свой вклад в решение задачи получения УИИ.

• Люди обладают “универсальным” интеллектом. Данное утверждение обычно считают настолько очевидным, что не указывают его явно, но оно подразумевается практически во всех дискуссиях об УИИ. Его обычно обосновывают тем, что люди способны выполнять широкий спектр задач и работ. Но, разумеется, нет такой человеческой профессии, которую человек не мог бы выполнять, поэтому нет ничего удивительного в том, что люди могут быть заняты в широком диапазоне существующих человеческих профессий. Трудно придумать такое определение широты разума, которое бы не зависело от людских когнитивных искажений и ошибок, например, антропоцентризма. Так что мы остаёмся с утверждением, что люди разумны “универсально” в том смысле, что могут делать все вещи, которые люди могут делать. Когда-нибудь удастся приемлемым образом сформулировать, что люди могут многое, а до тех пор вопрос остается открытым.

Что такое закон Мура?

Термин «закон Мура» основывется на фактах и на предсказаниях экспоненциального роста плотности и/или производительности электронных схем. В современной трактовке, отходящей от оригинального заявления Мура, этот закон можно сформулировать так: скорость вычислений, которую можно получить за определённую сумму, удваивается каждые N месяцев, где N примерно равно 18.

Распространенные заблуждения

• Закон Мура — это физический закон. На самом деле, этот закон представляет собой сумму эмпирических наблюдений за технологическим прогрессом; нет ничего, что делало бы его выполнение обязательным, и, конечно, он не будет оставаться справедливым бесконечно долго. Тактовая частота процессоров уже сейчас вышла на плато, и соотношение цена/производительность в последнее время улучшается за счет увеличения числа ядер (процессоров) на одном чипе.

• Быстродействие машин возрастает с такой скоростью, что создание более эффективных алгоритмов — пустая трата времени. На деле же несложные улучшения в алгоритмах часто оказываются намного более значимыми, чем усовершенствования аппаратной части.

Позволяет ли закон Мура предсказать появление сверхразума?

Нет. Есть много вещей, которые системы ИИ не могут делать, например, понимать сложные тексты на естественных языках. Прибавка скорости в подобных случаях означает просто более быстрое получение неправильного ответа. Для создания сверхразума нужны крупные концептуальные прорывы, которые трудно предсказать. Появление более быстрых машин мало чем может помочь.

Распространенные заблуждения

• Наращивание мощи машин означает увеличение их интеллекта. Эта тема очень часто поднимается в дискуссиях о будущем ИИ, однако она берет свое происхождение из путаницы между понятием «мощный» применительно к человеческому интеллекту и намного более простым понятием «мощный» при описании компьютеров, т. е. числа операций в секунду.

Что такое машинный IQ?

Не существует такой вещи, как машинный IQ. До той степени, до которой интеллектуальные возможности личности сильно зависят друг от друга при выполнении множества задач, можно говорить о том, что люди имеют IQ, хотя многие исследователи оспаривают полезность любой одномерной шкалы. С другой стороны, возможности машины могут никак не соотноситься между собой: машина может победить чемпиона мира по шахматам и при этом совершенно не уметь играть в шашки или любую другую настольную игру. Машина, лучше всех справившаяся с контрольной работой, может оказаться неспособной ответить на простой вопрос о том, как ее зовут.

Распространенные заблуждения

• Машинный IQ возрастает согласно закону Мура. Поскольку такой вещи, как машинный IQ, не существует, он не может возрастать. Закон Мура относится к только к «сырой» производительности компьютера и никак не связан с существованием алгоритмов, способных решить ту или иную конкретную задачу.

Что такое взрывное развитие ИИ?

Термин «взрывное развитие интеллекта» был введен И.Д. Гудом в 1965 г. в эссе «Размышления о первой ультраинтеллектуальной машине». В эссе описывалась возможность того, что достаточно интеллектуальная машина окажется способной реконструировать свою аппаратную и программную часть с тем, чтобы создать еще более интеллектуальную машину. Процесс будет повторяться, пока «интеллект человека не останется далеко позади».

Распространенные заблуждения

• Как только машины достигнут интеллекта человеческого уровня, взрывное развитие ИИ станет неизбежным. С другой стороны, логически возможно, что проблема проектирования поколения N + 1 слишком сложна для любой машины поколения N. Также вероятно, что построенные нами машины будут превосходить людей в одних важных аспектах, но отставать от них в других. Они могут превзойти людей в решении важных проблем, таких как проблема нищеты, лечение рака и т.п., оставаясь при этом неспособными предложить что-то новаторское в области исследований ИИ.

Когда системы ИИ станут более разумными, чем люди?

На этот вопрос ответить трудно и тому есть несколько причин. Во-первых, слово «станут» подразумевает, что это вопрос прогнозирования, подобно предсказанию погоды, в то время как на самом деле он содержит элемент выбора: названное событие вряд ли когда-нибудь случится, если человечество решит не преследовать данную цель. Во-вторых, фраза «более разумные» подразумевает простую линейную шкалу интеллекта, которой в реальности не существует. Машины уже намного лучше людей выполняют некоторые задачи, и намного хуже — другие. В-третьих, если допустить существование какого-нибудь приемлемого понятия универсального интеллекта, который можно создать у машин, тогда вопрос приобретает смысл, но на него все равно очень сложно ответить. Получение интеллекта такого уровня потребовало бы значительных прорывов в исследовании ИИ, а их чрезвычайно трудно предсказать. Тем не менее, большинство исследователей ИИ полагают, что системы ИИ превзойдут по разумности людей уже в этом столетии.

Распространенные заблуждения

• Этого никогда не случится. Делать прогнозы о научных прорывах — на редкость неблагодарное занятие. Так, 11 сентября 1933 г. лорд Резерфорд, пожалуй, самый известный ядерный физик своего времени, сказал большой аудитории на ежегодном съезде Британской ассоциации содействия развития науки, что «Каждый, кто надеется, что преобразования атомных ядер станут источником энергии, исповедует вздор». (Он говорил аналогичные вещи во многих других случаях, используя множество формулировок, все из которых по существу означали, что высвобождение ядерной энергии невозможно.) На следующее утро Лео Силард открыл индуцированную нейтронами цепную ядерную реакцию, и вскоре после этого запатентовал ядерный реактор.

Что могут системы ИИ сейчас?

Диапазон задач, в которых машины делают заметные успехи, намного шире, чем несколько лет назад. Он включает игру в настольные игры, включая карты, ответы на простые вопросы, извлечение фактов из газетных статей, сборку сложных объектов, перевод текста с одного языка на другой, распознавание речи, распознавание разнообразных видов объектов на изображения, а также управление автомобилем в большинстве обычных ситуаций дорожного движения. Существует также множество менее очевидных задач, выполняемых системами ИИ, в том числе выявление мошеннических транзакций по кредитным картам, оценка заявок на кредит и торги на сложных электронных аукционах. Многие функции поисковой системы на деле выполняются простыми формами ИИ.

Распространенные заблуждения

• Такая задача, как, например, игра в шахматы, одинакова что для человека, что для машины. Это неверно; машину приходится «вести за ручку» в гораздо большей степени. Люди учатся шахматам, слушая или читая правила, наблюдая и играя. Типичная шахматная программа лишена такой возможности. Правила непосредственно закладываются в машину в форме алгоритма, который генерирует все разрешенные ходы для заданной позиции. Машина не «знает» правила в том смысле, в каком их знает человек. Однако некоторые недавние работы по обучению с подкреплением представляют собой исключение: так, система DeepMind для игры в видеоигры обучается каждой игре с нуля. В действительности неизвестно, в чем состоит ее обучение, но представляется маловероятным, что она учит правила каждой игры.

• Машины выполняют задачи так же, как и человек. Часто мы не знаем, как люди делают те или иные вещи, однако крайне маловероятно, чтобы их действия совпадали с операциями типичной программы ИИ. Например, программы для игры в шахматы учитывают возможные будущие последовательности ходов, начиная с текущей позиции на доске, и сравнивают их последствия, в то время как люди часто опознают возможное преимущество, которое можно получить, а потом ищут ходы, позволяющие его достичь.
  Если машина может выполнить задачу Х, то она сможет выполнить все задачи, доступные человеку, который способен решить задачу Х. См. вопрос о машинном IQ. В настоящее время машины не имеют универсального интеллекта в том смысле, что и человек, поэтому их способности часто очень узки.

Как ИИ повлияет на человечество в ближайшем будущем?

Очень вероятно, что в обозримом будущем появятся некоторые крупные новшества. Так, уже активно разрабатывается и тестируется автомобиль с системой автоматического управления. По меньшей мере одна компания обещала первые доставки грузов с их помощью в 2016 г. (Другие компании более осторожны, осознавая выпавшие им трудности.) Благодаря совершенствованию компьютерного зрения и передвижения с помощью ног стало практичным использовать роботов в неструктурированном окружении. К подобным задачам относятся сельское хозяйство, сервисное обслуживание техники, а также помощь людям (особенно престарелым и немощным) в домашних делах. Наконец, машины улучшили свое понимание речи, поэтому поисковые системы и «персональные помощники» на мобильных телефонах перешли от индексации веб-страниц к их пониманию, что привело к качественному улучшению способности таких систем отвечать на вопросы, синтезировать новую информацию, давать советы и сопоставлять факты. Кроме того, ИИ может сильно повлиять на такие области науки, как системная биология, в которых сложность и большой объем информации бросают вызов способностям человека.

Распространенные заблуждения

• Роботы готовы захватить власть. См. раздел «Когда системы ИИ станут более разумными, чем люди?» В подавляющем большинстве случаев прогресс в области ИИ происходит пошагово и относится к тому, как сделать компьютеры и роботов более полезными. Тем не менее, в долгосрочной перспективе проблема сохранения людского контроля остается важной.

Приведет ли прогресс ИИ и робототехники к тому, что большинство профессий, в настоящее время выполняемых людьми, перейдет к машинам?

Некоторые исследования, например, выполненное Frey and Osborne (2013), говорят о том, что из-за автоматизации в ближайшем будущем могут пострадать до половины профессий в США; другие авторы, например, Brynjolfsson and McAfee (2011), указывают, что процесс уже начался: медленный возврат к полной занятости после рецессии 2008 г., а также расхождение между повышением продуктивностью и стагнацией заработной платы являются последствиями повышенной автоматизации в профессиях, которые предусматривают рутинные операции. Принимая во внимание, что прогресс ИИ и робототехники продолжается, представляется неизбежным, что большинство профессий будет затронуто. Это не обязательно означает массовую безработицу, но может привести к большому сдвигу в структуре экономики и потребовать новых идей по организации работы и оплате.

Распространенные заблуждения

• Любая работа, которую выполняет робот, означает меньше работы для людей. Работа — не игра с нулевой суммой: человек, которому помогает команда роботов, может быть намного более продуктивным и, следовательно, гораздо более востребованным; без помощи роботов работа человека, сделанная с тем же самым старанием, может оказаться экономически неоправданной, и ни человек, ни роботы не делали бы ничего. Из тех же соображений доступность малярных кистей и валиков означает работу для маляров: если краску было бы необходимо наносить по капельке кончиком иглы, не было бы возможности нанимать маляров для покраски зданий.

Что такое дроны, автономное оружие и роботы-убийцы?

Дроны представляют собой летательные аппараты, которыми удаленно управляют люди; некоторые дроны несут оружие (обычно реактивные ракеты), запускаемые оператором. Автономное оружие — это любое устройство, которое автоматические выбирает и поражает (т. е. пытается разрушить) цель. Современные системы включают стационарные самонаводящиеся пулеметы (используются в корейской демилитаризованной зоне) и различные виды корабельных противоракетных комплексов. Быстро повышающаяся техническая возможность заменить человека-оператора дрона на полностью автоматическую систему привела к появлению летальных автономных комплексов вооружения (LAWS), которые стали субъектом дискуссии на Женевской конференции по разоружению. Термин «робот-убийца» описывает класс вооружений, который может включать средства передвижения на колесах или ногах, а также корабли, летательные аппараты и даже искусственных летающих «насекомых».

Распространенные заблуждения

• До полностью автономных систем вооружения осталось 20–30 лет. Данное утверждение повторяется во многих статьях о дискуссиях в Женеве по поводу LAWS. Источник этого заблуждения неясен, однако, по-видимому, оно проистекает из переоценки. Технологии развертывания автономных вооружений по большей части готовы к использованию; Министерство обороны Великобритании заявило без лишних деталей, таких как применение в морском бою, что создание полностью автономных вооружений «может быть осуществимым теперь».

Надо ли бояться роботов-убийц, кидающихся на всех или захватывающих власть во всем мире?

Если автономные вооружения будут развернуты, они столкнутся с теми же трудностями, что и обычные солдаты, которым приходится отличать друга от врага, мирных жителей от боевиков. Возможно, что произойдет тактический несчастный случай с гибелью гражданского населения, либо функционирование робота пострадает из-за радиотехнических помех либо кибератак. В свете последней проблемы некоторые военные эксперты предсказывают, что автономные вооружения будут закрытыми системами без электронной связи; с другой стороны, из-за этого будет труднее перехватить управление у автономного оператора, если система станет вести себя некорректно. В обозримом будущем автономные вооружения, вероятно, будут тактическими и станут выполнять задания ограниченного масштаба. Крайне маловероятно, чтобы их программировали для самостоятельной разработки планов глобального масштаба.

Распространенные заблуждения

• Мы можем просто нажать на выключатель. Выключатель сделает любую автономную систему вооружения уязвимой для кибератак, следовательно, такие каналы связи лучше отключать. Кроме того, если обладающей универсальным интеллектом системе дать задание для выполнения, у нее появится мотивация сопротивляться выключению.

Что такое экзистенциальный риск, связанный с ИИ? Он реален?

Ранние предостережения о риске, исходящем от ИИ, были довольно неопределенными. И.Д. Гуд добавил к своему предсказанию пользы от взрывного развития ИИ оговорку «при условии, что машина достаточно покорна, чтобы рассказать нам, как удержать контроль над собой». Есть общее ощущение, что наличие сверхразумных сущностей на нашей планете может быть причиной для тревоги; с другой стороны, более умные машины, как правило, более полезны, поэтому неочевидно, почему создание гораздо более умных машин обязательно принесет зло.

Тем не менее, доказательство очень простое.

1. Представьте сверхразумную систему, предназначенную для достижения определенной цели, точно указанной человеком-проектировщиком. Теперь представим, что эта цель не совсем согласуется с ценностями рода людского, определиться с которыми очень трудно (и это в лучшем случае).
2. Любая достаточно способная разумная система будет стремиться обеспечить непрерывность своего существования, а также захватить физические и компьютерные ресурсы — не ради себя, а для достижения успеха в выполнении задания.

И теперь у нас проблема. По сути это все та же старая история о джинне и лампе, об ученике чародея или царе Мидасе: вы получаете в точности то, что просите, а не то, что подразумеваете. В 1960 г. Норберт Винер, пионер теории автоматического управления, писал: «Если мы используем для достижения своих целей механическое средство, в работу которого не можем эффективно вмешаться, лучше быть совершенно уверенным в том, что цель, заложенная в машину, — эта именно та цель, которую мы действительно желаем». Марвин Минский придумал пример, в котором машину просят вычислить столько знаков числа пи, сколько возможно. Ник Бостром дал пример запроса на массу канцелярских скрепок. Человек интерпретирует эти цели, исходя из общечеловеческих целей, которые в частности подразумевают, что покрытие всей Земли компьютерными серверами или канцелярскими скрепками — это плохое решение. Высокоодаренная сущность, принимающая решения, особенно если благодаря Интернету она имеет доступ ко всей мировой информации, миллиардам экранов и большей части нашей инфраструктуры, может бесповоротно изменить человечество. К счастью, сейчас природа проблемы несколько прояснилась, поэтому можно начать работу над ее решениями.

Распространенные заблуждения

• Сверхразумные машины спонтанно обретают сознание, или же они по природе своей злы и ненавидят людей. Писатели-фантасты склонны делать одно или оба из этих допущений, чтобы создать антагонизм между машинами и людьми. Такие допущения не нужны и не мотивированы.

• Системы ИИ разрабатываем мы, люди, так зачем нам разрушать самих себя? Некоторые защитники ИИ возражают, что поскольку системы ИИ строятся людьми, нет причин предполагать, что когда-нибудь мы построим нечто такое, чьей целью станет уничтожение человечества. Они не ухватывают самой сути, а именно того, что преднамеренный злой замысел со стороны разработчика или агента не является необходимой предпосылкой для существования экзистенциальной угрозы; проблема проистекает из неверного определения целей.

• Этого никогда не случится. См. «Когда системы ИИ станут более разумными, чем люди?»

Почему люди ни с того ни с сего стали беспокоиться об ИИ?

Начиная с 2014 г. СМИ регулярно сообщают об опасениях, высказанных такими хорошо известными фигурами, как Стивен Хокинг, Илон Маск, Стив Возняк и Билл Гейтс. В репортажах обычно цитируются наиболее мрачные и эффектные реплики и опускаются стоящие за ними основания, а также суть опасений, которые близки к описанным в разделе «Что такое экзистенциальный риск, связанный с ИИ?» Во многих случаях опасения основываются на чтении книги Ника Бострома «Искусственный интеллект». Другая причина, породившая теперешнюю волну интереса к данной теме, — это тот факт, что прогресс в разработке ИИ ускоряется. Это ускорение, вероятно, обусловлено комбинацией факторов, в том числе постепенно упрочняющимся теоретическим фундаментом, который связывает различные области разработки ИИ в единое целое, и быстрым ростом коммерческих вложений в исследования ИИ, поскольку продукция академических лабораторий достигла того уровня качества, при котором ее можно применять для разрешения проблем в реальном мире.

Распространенные заблуждения

• Если люди волнуются, значит, до сверхразумного ИИ рукой подать. Вряд ли найдется исследователь ИИ, который думает, что до сверхразумных машин рукой подать. (См. раздел «Когда системы ИИ станут более разумными, чем люди?») Это не значит, что мы должны ждать до того момента, чтобы воспринимать проблему серьезно! Если мы обнаружим астероид диаметром 10 миль, траектория движения которого пересечется с Землей через 50 лет, разве мы отмахнемся от этой новости со словами: «Я уделю ей внимание, когда до столкновения будет 5 лет?».

Каким будет прогресс ИИ в ближайшие десятилетия?

Весьма вероятно, что области, в которых не нужен универсальный интеллект человеческого уровня, достигнут зрелости и породят надежные высококачественные продукты уже в следующее десятилетие. В эти области входят распознавание речи, извлечение информации для создания простого фактического материала, визуальное распознавание объектов и поведения, роботизированное обращение с повседневными вещами и автономное вождение. Усилия по улучшению качества и расширению границ для систем понимания текста и видео, а также придание домашним роботам большей надежности и общей полезности приведут к системам, проявляющим здравый смысл, связывающим вместе обучение и действие во всех этих модальностях. Специальные системы для приобретения и организации научных знаний, а также для работы со сложными гипотезами, вероятно, сильно повлияют на молекулярную биологию, системную биологию и медицину. Нам следует начать поиски похожих влияний в социальных науках и формировании политики, особенно учитывая массивный рост машиночитаемых данных о человеческой деятельности и потребность в машинах, которые понимали бы человеческие ценности, если такие машины будут надежными и полезными. Публичные и частные источники знаний (системы, которые знают и делают выводы о реальном мире, а не только хранят данных) станут частью общества.

Что такое «сопоставление ценностей»? Какое оно имеет значение?

Сопоставление ценностей — это задача сопоставления ценностей (целей) машин и людей с тем, чтобы оптимальным выбором машины было, грубо говоря, всё, что делает людей наиболее счастливыми. Без такого сопоставления есть немалый риск, что сверхразумные машины выйдут из-под нашего контроля.

Распространенные заблуждения

• Все, что нам нужно, — это законы робототехники Азимова. Законы Азимова имеют достаточно смысла для человека, чтобы сформировать основу различных сюжетов рассказов, однако без значительного дальнейшего уточнения для робота они практически не несут полезной информации. Основа законов в виде набора правил, а не функции полезности, создает проблемы: их лексикографическая структура (т. е. тот, факт, что любой вред людям всегда более важен, чем весь вред роботам) означает, что нет никакой неопределенности и невозможно компромиссное решение. Так, роботу придется спрыгнуть с обрыва (и разрушить себя), чтобы поймать комара, который мог бы когда-нибудь в будущем укусить человека. Робот должен запереть дверь в автомобиль, потому что когда человек садится в машину, риск вреда для него повышается. Наконец, при подходе, направленном на максимизацию полезности для человека, нет необходимости в третьем законе (самосохранение робота), поскольку робот, который не поддерживает собственное существование, не может внести вклад в полезность для человека и, конечно, разочарует своего хозяина.

Что сообщество, занимающееся ИИ, предпринимает в связи с экзистенциальным риском?

Большинство дискуссий об экзистенциальном риске, исходящем от ИИ, проходило без основной части сообщества, занимающегося ИИ; поначалу это привело к преимущественно негативным реакциям со стороны исследователей в области ИИ. В 2008 г. Американская ассоциация искусственного интеллекта (AAAI) сформировала группу для изучения данной проблемы. В промежуточном отчете группы было отмечено существование некоторых долговременных вопросов, однако приуменьшено значение мнения о том, что ИИ представляет собой риск для человечества. Позднее, в январе 2015 г. в Пуэрто-Рико была проведена конференция, спонсированная Институтом будущего жизни, которая привела к публикации открытого письма, которое подписали присутствовавшие, а затем еще 6000 человек. В письме призывалось сосредоточить особое внимание исследований на данной проблеме, а также предлагался более подробный план исследований. Вскоре Илон Маск основал грант в размере 10 млн долларов на исследования в данной области. Кроме того, Эрик Хорвиц спонсировал долгосрочное исследование, которое, как ожидается, будет отслеживать этот вопрос и, если потребуется, давать рекомендации. пять крупнейших технологических компаний сформировали Партнерство по вопросам ИИ, чтобы решать вопросы как краткосрочной, так и долгосрочной перспективы, касающиеся этики и безопасности ИИ. Наконец, AAAI сформировала постоянный комитет по этическим проблемам ИИ.

Распространенные заблуждения

• Регулировать или контролировать исследования невозможно. Некоторые утверждают, что невозможно избежать отрицательных последствий, поскольку прогресс исследований не остановить и невозможно регулировать. На самом деле, это заявление — ложь: Асиломарская конференция 1975 г. по рекомбинантной ДНК успешно наложила добровольный мораторий на эксперименты, цель которых заключалась в создании наследуемых генетических модификаций у людей; в наши дни этот мораторий не только действует, но и стал международной нормой. Кроме того, если исследования по созданию ИИ человеческого уровня будут протекать бесконтрольно, что вполне может случиться, еще важнее начать серьезное изучение методов, гарантирующих, что системы ИИ останутся под нашим контролем.

Чем я могу помочь?

Если вы исследователь, занимающийся ИИ (или экономист, специалист по этике, политолог, футурист или юрист, интересующийся этими вопросами), то для вас есть идеи и темы в программе исследований, берущей начало на конференции 2015 в Пуэрто-Рико. Вероятно, будут проводиться воркшопы, связанные с крупными конференциями по ИИ, осенним и весенним симпозиумами AAAI и т. п. Больше информации можно найти на веб-сайтах FHI, CSER, FLI MIRI и Center for Human-Compatible AI.

Распространенные заблуждения

• Сделать ничего нельзя: эти вещи случатся, и никакие действия с нашей стороны не изменят будущее. Ничто не может быть дальше от истины. Мы не можем предвидеть будущее, потому что мы его создаем. Это коллективный выбор.

Область того, что ИИ не может делать, сокращается каждую неделю. Машины уже могут писать красивую прозу и полезный код, сдавать экзамены, создавать красивые произведения искусства, и предсказывать, как свернётся белок.

Эксперты напуганы. Прошлым летом я опросила более 550 исследователей ИИ, и почти половина из них считала, что, будучи созданным, мощной машинный интеллект с шансом не меньше 10% приведёт к «крайне плохим (например, вымирание людей)» последствиям. 30 мая сотни учёных из области ИИ, вместе с генеральными директорами ведущих ИИ-лабораторий, вроде OpenAI, DeepMind и Anthropic, подписали заявление, призывающее к осторожности касательно ИИ: «Снижение риска вымирания из-за ИИ должно быть глобальным приоритетом подобно другим всеобщим рискам, такими как пандемии или ядерная война».

С чего всё это? Простейший аргумент – прогресс в ИИ приведёт к созданию сверхчеловечески-умных искусственных «существ» с целями, конфликтующими с интересами человечества, и способностью автономно их преследовать. Представьте себе вид, который для homo sapiens будет тем же, что homo sapiens для шимпанзе.

Однако, пока многие боятся, что ИИ может привести человечество к гибели, некоторые беспокоятся о том, что если «мы» – обычно имеются в виду исследователи на Западе, или даже исследователи из конкретной лаборатории или компании – не будем нестись вперёд, то это сделает кто-то менее ответственный. Если более безопасная лаборатория приостановится, наше будущее будет в руках более беспечной лаборатории – например, китайской, даже не пытающейся избежать значительных рисков.

Аргумент проводит аналогию между ситуацией с ИИ и классической гонкой вооружений. Скажем, я хочу одолеть вас в войне. И я, и вы тратим деньги на создание всё большего количества оружия, но никто не получает сравнительного преимущества. В конце концов, мы потратили много денег и ничего не получили. Это может показаться безумием, но, если кто-то не будет принимать участие в гонке, эта сторона проиграет. Мы в ловушке.

Но ситуация с ИИ критически отличается. Отметим, что в классической гонке вооружений сторона теоретически может вырваться вперёд и победить. Но в случае ИИ победителем будет сам мощный ИИ. Это может превратить спешку в проигрышный выбор.

Некоторые другие переворачивающие игру факторы в случае ИИ: сколько безопасности можно купить, жертвуя скоростью; насколько вложения одной стороны в безопасности снижают риск для всех; означает ли второе место мелкие потери или полную катастрофу; насколько растёт опасность, если другие стороны тоже разгоняются; и как отвечают остальные игроки.

Настоящая игра сложнее, чем можно описать простыми моделями. В частности, если отдельные нескоординированные стимулы приводят к извращённой ситуации «гонки вооружений», то выигрышный ход, при наличии возможности, это покинуть игру. И в реальном мире мы можем скоординироваться для выхода из такой ловушки: мы можем разговаривать друг с другом; можем давать обязательства и отмечать их соблюдение; можем призывать правительства к регуляциям и соглашениям.

В случае ИИ выгода отдельного игрока может быть не такая же, как у всего общества. Для большинства из нас не особо важно, сможет ли Meta опередить Microsoft. Но исследователи и инвесторы, стремящиеся к славе и богатству могут куда больше об этом беспокоиться. Разговоры о ИИ как о гонке вооружений усиливают нарратив о том, что им надо преследовать свои интересы. Остальным из нас стоит проявить осторожность, и не дать им всё решить.

Лучшая, чем гонка вооружений, аналогия для ИИ – толпа, стоящая на тонком льду, и несметные богатства на дальнем берегу. Все могут достичь их, ступая осторожно, но кто-то думает «Если я побегу, лёд может сломаться, и мы все провалимся, но я уж точно могу бежать осторожнее, чем Боб, а он может решить это сделать».

С ИИ мы можем оказаться в точной противоположности гонки. Лучшее индивидуальное действие – продвигаться медленно и осторожно. А коллективно нам следует не дать никому пожертвовать миром в извращённой гонке к разрушению – особенно, когда пути к скоординированному выходу так слабо исследованы.

За последние шесть лет я и мой супруг организовывали встречи сообщества LessWrong в двух разных городах (если быть точной, в начале мы ещё не были женаты). С течением времени мы стали гораздо ленивее относиться к вопросам организации, однако нам удавалось сохранять встречи такими же удачными, как и раньше — в первую очередь благодаря набору простых рецептов и сценариев для проведения встреч. Я решила собрать их здесь, чтобы и другие люди могли ими воспользоваться.

Если вы воспользовались одним из рецептов и вам понравился результат (или наоборот, очень не понравился), мне очень хотелось бы узнать, как всё прошло. Эта статья станет только лучше, если в неё включать дополнения, основанные на опыте других людей. На Lesswrong я maia.

Введение

Что это за текст?

Это пошаговая инструкция, на основе которой мы организовывали еженедельные встречи. Здесь нет философских рассуждений о том, что из себя представляют эти встречи или что они должны из себя представлять. Также не следует считать, что любой другой обязан организовывать встречи, следуя этой инструкции, — есть множество других способов, которые подойдут другому организатору. В этом документе описано, что делали мы для достижения наших целей. Он пригодится в качестве всеобъемлющей инструкции любому, кто хочет взять наши встречи как отправную точку. Или даже как образец.

Кто вы?

Наши верительные грамоты: Когда мы начали организовывать рационалистские встречи в Вашингтоне (округ Коламбия), на них приходило в среднем от нуля до трёх человек. Когда мы оттуда уезжали, на встречи каждую неделю стабильно ходило 7-10 человек. В целом на встречи ходило примерно 20-30 человек, и у нас было небольшое сообщество друзей, которые встречались друг с другом и вне наших встреч. Насколько я знаю, сегодня дела там обстоят примерно так же. Встреч в Сан-Франциско до нашего переезда туда не существовало, сейчас там ситуация примерно такая же. Другими словами, мы считаем, что нашли формулу создания стабильного маленького сообщества. Благодаря нашим встречам мы завели многих друзей.

С другой стороны, нам определённо есть ещё чему поучиться. Чтобы достичь состояния, в котором другие люди начинают помогать с организацией встреч требуется много времени и сил. В случае Сан-Франциско это заняло почти четыре года. И я до сих пор не знаю, как решать проблему с людьми, которые «перерастают» встречи.

О какого рода встречах идёт речь?

Мы в первую очередь сосредотачивались на организации социальных встреч с целью создать сообщество там, где раньше его не было. Наши встречи не были направлены на создание атмосферы «додзё», «прокачку» рационалистских навыков или организацию крупномасштабных работающих проектов. В документе описаны форматы, которые направлены не на социальную составляющую (например, «Совместная работа»), но цели, которые преследовали эти встречи, не относились к нашим основным.

Встречи, о которых идёт речь, — это встречи сообщества LessWrong. Это означает, что они оптимизировались под определённый тип людей/групп людей. А именно: людей с не слишком развитыми социальными навыками, у которых зачастую не было опыта встреч сообщества LW вживую, но которые в целом знакомы с онлайн-сообществом и скорее всего читали какие-то из Цепочек (или даже все). Многое из описанного в этом документе будет работать даже в других условиях, однако я не могу это гарантировать, поскольку не пробовала.

Люди бывают разные, опыт бывает разный, сообщества бывают разные. Пробы и ошибки вам помогут. Здесь описано лишь то, что работало для нас.

Первые шаги

Чтобы организовать встречу, нужно немногое:

1. План проведения встречи.
2. Заранее распространённое объявление.
3. Место.
4. Организатор, который занимается проведением встречи.

Рассмотрим каждый из упомянутых пунктов.

План

Этот документ предназначен именно для того, чтобы помочь вам найти план. Вы можете выбрать один из планов встреч ниже.

План действий неплохо помогает преодолеть неловкость. Он должен быть достаточно чётким, чтобы люди могли начать общение, но не настолько обязывающим, чтобы они чувствовали себя неловко отклоняясь от него.

Если у вас есть идея для встречи, запишите её, проведите такую встречу и оцените, что у вас получилось. Если получилось хорошо, попробуйте использовать эту идею и дальше. Если при повторении ничего не портится, используйте её как можно больше. Все виды встреч, описанные здесь, получились именно так.

Встречи разного вида мы повторяли с разной частотой. Некоторые варианты встреч — например, «Совместная работа» — легко повторять очень часто. Другие — например, «Короткие доклады» — становятся лучше, если интервал между ними достаточно велик, чтобы люди могли найти больше интересных тем, о которых можно рассказать.

Примерно раз в год мы устраивали «Метавстречи». На них мы обсуждали и пересматривали расписание встреч, изменяли отдельные их виды и предлагали новые варианты.

Я составляю расписание встреч на ближайшие шесть месяцев. Выглядит оно примерно так:

Расписание позволяет очень легко объявлять о новой встрече каждую неделю. Чем меньше нагрузка на организаторов, тем больше уверенности, что встреча состоится.

Последнее время мы обычно начинаем запланированную часть встречи примерно через 30-45 минут после заявленного времени начала встречи. Это позволяет дождаться тех, кому сложно прийти вовремя, а также немного разрядить обстановку. Вы можете внести в это правило какие-нибудь поправки, но мне кажется полезным оставить хотя бы несколько минут до начала основной деятельности на «Привет, как тебя зовут? Как поживаешь? Откуда ты узнал о встрече?»

Объявление

Вы не сможете устроить встречу, если люди на неё не придут. Чтобы люди на пришли на встречу, вы должны им о ней рассказать.

Большинство участников все эти годы узнавали о наших встречах благодаря сайту LessWrong. Я очень рекомендую размещать объявление там.

Возможно, в вашем городе есть какие-нибудь другие группы, связанные с рациональностью, списки рассылки или просто люди, про которых вы знаете, что им это будет интересно. Попробуйте пригласить и их. Людям очень нравится, когда им лично говорят, что вы будете рады их видеть (естественно, так говорить стоит, только если это правда).

Обычно мы размещали объявления в четырёх местах: LessWrong, местный список рассылки LW, Facebook и репозиторий встреч SlateStarCodex.

Чтобы облегчить нам работу, мой супруг написал скрипт на питоне, который принимал на вход название вида встреч (например, «Совместная работа») и затем отправлял соответствующее описание во все четыре места. Вы можете найти этот скрипт на Гитхабе.

Если вы готовы потратить некоторое количество денег, можете попробовать ещё и meetup.com. У людей, которые приходят оттуда, часто другие представления о том, что такое «рациональность», и они окажутся не столь знакомыми с существующим внутренним жаргоном или понятиями. Большинство наших встреч проходили благодаря объявлениям на LessWrong’е и в местных группах, поэтому мне сложно что-либо посоветовать по поводу общения с людьми, которые ничего раньше не слышали о сообществе рационалистов.

Стоит ли опрашивать людей индивидуально, чтобы знать, сколько придёт? Нет. По-моему, не стоит тратить на это время, этот приём не работает.

Иногда можно устроить такой опрос, особенно при планировании особо популярной встречи. Однако, судя по всему, большинству людей нравится иметь возможность принять решение «идти или нет» именно в день встречи. Письмо с просьбой ответить, придёте ли вы, может отпугнуть человека, который в другой ситуации передумал бы в последний момент. Можно, конечно, писать крупными буквами: «ДАЖЕ ЕСЛИ ВЫ НАПИСАЛИ, ЧТО НЕ МОЖЕТЕ ПРИЙТИ, ВСЁ РАВНО ПРИХОДИТЕ, ЕСЛИ СМОЖЕТЕ». Письма с таким вступлением не повредят, но не стоит ожидать от них слишком многого. На посещаемость они, судя по всему, почти не влияют1.

Ещё одна стратегия — это заявить «Я буду в таком-то месте, начиная с XX:YY» и находиться там всё время, чтобы увидеться с теми, кто всё-таки придёт. Таким образом можно встретиться с людьми, даже если они придут очень-очень поздно — что, по нашему опыту, случается. Такая стратегия помогает, если у вас очень мало потенциальных посетителей, или вы начинаете встречи с нуля и не уверены, чего стоит от них ожидать.

Для каждого объявления о встрече мы используем один и тот же формат:
0. Заголовок, где указан тип встречи и дата;
1. Дата/время/место;
2. Текст, описывающий, чему посвящена именно эта встреча;
3. Шаблонный текст, описывающий, что это за встречи вообще.

Ниже приведён шаблонный текст, который мы использовали для встреч в Сан-Франциско:

Формат: Можно подходить, начиная с 18:15. Обычно в начале встречи мы заказываем еду. Основная часть встречи начинается примерно в 18:45-19:00 и продолжается примерно до 21:00.

О встречах: Главная цель встреч LessWrong в Сан-Франциско - создать интересное социальное пространство для структурированных взаимодействий, где новички и старожилы сообщества могут собраться, чтобы с удовольствием пообщаться. Мы рады всем.

Тема встречи лишь инструмент для создания интересного взаимодействия. Мы не хотим, чтобы она кого-то сдерживала. Мы рады, когда люди выходят из основного разговора или отклоняются от темы, если так им становится более интересно (если пространство позволяет, с ушедшими от основной темы обсуждениями лучше отходить в сторону).

Возможно, вы также захотите вставить в начало объявления БОЛЬШИМИ БУКВАМИ или жирным шрифтом важную информацию - например, изменение даты, времени, места или сообщение о том, что нужно сделать участникам (скажем, отметиться, что они хотят участвовать в готовке).

Наконец, очень важно размещать объявление хотя бы за неделю до встречи, чтобы люди могли учесть встречу в своих планах. У нас часто были трудности, когда мы оповещали людей слишком поздно — где-то за один день, — и такие случаи очень сильно коррелировали с низкой посещаемостью.

Организатор встречи

Это вы! (Я полагаю.)

Примечание. Человек, который занимается проведением встречи не обязан быть тем же человеком, который размещает объявление. Вы можете поделиться частью обязанностей с другом, чтобы на каждого человека падала меньшая нагрузка.

Мой супруг и я долгое время проводили встречи совместно, поэтому один из нас мог подменить другого, если у того были другие дела или он недостаточно хорошо себя чувствовал. Так гораздо легче.

Как человек, проводящий встречу, вы должны объявить тему встречи и рассказать, чем вы сейчас будете заниматься. Например: «Привет всем, мы начинаем. Мы будем заниматься тем-то и тем-то. Сначала мы …»

Пара советов:

Возможно, вам будет неловко руководить группой. Это нормально, и если вам неуютно, вы можете на это намекнуть, сказав что-нибудь вроде: «Ага, кажется, я провожу эту встречу». Но на самом деле это необязательно. Встреча - это не что-то сверхважное. Организация встречи - это не претензия на лидерство, это ваш подарок другим людям. Возможно, вы не самый лучший кандидат, чтобы руководить этой группой людей, но именно вы вызвались проводить встречу, вы стараетесь изо всех сил, и важно именно это.

Организатору стоит заводить разговоры с новичками и помогать им вливаться в группу. У меня не всегда хватает сил, чтобы заниматься этим достаточно активно, но когда у меня получается, это сильно помогает. Обычно я начинаю с вопроса: «Как вы узнали об этой встрече / что подтолкнуло вас сюда прийти?» (Кстати, заодно это помогает понять, как работают ваши объявления.) Часто за этим следуют вопросы вида: «О, вы узнали о LessWrong’е из такого-то блога? Какие темы в этом блоге вас больше всего интересуют?» Или: «Вы были на таком-то мероприятии? Как оно прошло?» Старайтесь поддерживать разговор и задавать открытые вопросы. Не бойтесь рассказывать о себе, если это разумным образом вписывается в разговор.

Место

Вам нужно место, куда все смогут прийти и находиться там в течении всей встречи. Возможно, вам понадобится человек, который сможет это место предоставить. Например, встреча может проходить на чьей-нибудь квартире или на территории организации, где работает один из участников. Совершенно необязательно, чтобы именно предоставивший место проводил встречу.

Желательно, чтобы место встречи было:

• Достаточно просторным, чтобы в нём легко помещались все, кто придёт.
  • До того, как вы провели хотя бы одну встречу, сложно предсказать, сколько человек захочет прийти. Скорее всего, на первую встречу в городе придёт в два раза больше людей, чем будут ходить потом (поэтому ожидайте, что на второй встрече будет в два раза меньше людей, чем на первой). На нашу первую встречу в Сан-Франциско пришло 29 человек.
• Не слишком шумным, чтобы люди могли слышать друг друга. Рестораны с большим количеством посетителей, скорее всего, не подойдут.
• Со стульями и столами, на которых можно что-нибудь разложить или писать.
• Достаточно легко доступным.
• Необязательно, но даёт большой плюс: Со звукоизолированными комнатами, которые можно использовать для отдельных бесед.

Примеры мест встреч, в которых нам было удобно: чей-нибудь дом или квартира, общественное пространство в многоквартирном доме, открытые для общественного посещения места вроде двора Роберта и Арлин Когод в Вашингтоне, офис, в котором хотят принимать встречи, парки в случае хорошей погоды. Также можете попробовать пространства для коворкинга или тихие рестораны или кафе, если там не возражают против шумных групп.

Если вы проводите встречи еженедельно, очень помогает, если встречи проходят каждую неделю в одном и том же месте. Люди привыкают к месту, и им легче планировать, сколько времени им потребуется, чтобы туда добраться. В Сан-Франциско мы какое-то время пробовали менять места встреч, но перестали, после того как многие участники приехали не туда.

Кроме того, неплохо иметь запасной вариант (или даже два) на случай, если привычное место встречи в какой-то день окажется недоступным по тем или иным причинам.

Рецепты встреч

Переходим к основной части: виды встреч и как их проводить.

Некоторые варианты встреч проводить сложнее, или к ним сложнее готовиться, чем к другим. Я выставила оценки для предварительной работы и социальных усилий, требуемых от ведущего.

Решение проблем в группах

Предварительная работа: Нет.

Нагрузка на ведущего: Средняя.

Необходимое: Бумага и письменные принадлежности.

Текст объявления

Мы собираемся решать проблемы друг друга! Встреча проходит так: несколько минут мы все молча размышляем над проблемами, затем вслух рассказываем, над какими проблемами мы хотели бы поработать. После этого мы разбиваемся на группы по принципу: какие проблемы лучше обсуждать вместе.

Как проводить

Выдайте каждому бумагу и карандаш.

Заведите таймер на 3 минуты для обдумывания проблем. Расскажите собравшимся примерно следующее:

Вопросы могут варьироваться от мелких и конкретных, например: «Мне трудно приходить на работу вовремя» или «Я хочу заняться социальными танцами» до больших, например: «Я ищу работу и хотел бы получить какие-нибудь подсказки и помощь» или «Я переезжаю и сильно переживаю по этому поводу». Вопросы могут быть и нечёткими, вроде: «Мне кажется, у меня что-то не так с социальными взаимодействиями, и я хотел бы с кем-нибудь это обсудить».

Попытайтесь вспомнить как можно больше своих проблем. Не задумывайтесь о том, хотите ли вы на самом деле обсуждать их на этой встрече. Вы сможете вычеркнуть неподходящие потом. Вам не придётся никому показывать тот перечень, который вы выписали. Кстати, уважайте приватность других участников и не заглядывайте им через плечо.

Когда три минуты истекут, пусть каждый кратко сформулирует 1-3 вопроса, по которым он хотел бы получить помощь. При этом надо объяснить всем, что вполне нормально пропустить свою очередь или назвать только один или два вопроса.

• Если кто-то говорит слишком долго, не бойтесь прервать его и сказать: «Хорошо, не мог бы ты сформулировать это одним предложением, чтобы мы могли дать слово следующему?» (У нас такое случалось всего один или два раза за долгое время.)

Скажите участникам: «А теперь найдите тех, кому, по-вашему, вы можете помочь с их вопросами».

• В больших группах иногда бывает сложно вспомнить, кто что говорил. Это можно решить дополнительным быстрым раундом, где каждый описывает свою проблему в одно или два слова.
• Также можно попробовать кратко записывать проблемы каждого человека, когда они их озвучивают. Тогда вы сможете напомнить их другим.

Часто помогает, когда организатор начинает процесс, говоря что-нибудь вроде: «Эй, X, наверное, я могу помочь тебе с проблемой Y».

Обычно вокруг чьих-нибудь проблем разговор в малой группе начинается совершенно естественно. Через некоторое время он может перетечь в разговор на произвольные темы.

Люди часто меняют тему беседы или переключаются на проблемы другого человека. Если кажется, что собравшиеся стесняются так делать, вы можете периодически им напоминать, что так можно. Обычно мы обходимся без напоминаний. Мы просто показываем пример, меняя тему, когда хотим. В итоге остальные участники встречи понимают основную идею и сейчас «старожилы» встреч меняют тему беседы, когда им вздумается, без какого-либо участия с нашей стороны.

(Спасибо Саре Спайкс за помощь в написании этого рецепта.)

Приготовление еды

Предварительная работа: Большая (напоминания, покупка продуктов).

Нагрузка на ведущего: От небольшой до средней (люди обычно понимают основную идею довольно быстро, но организовать уборку может быть тяжело).

Такие встречи обычно длятся значительно дольше других, потому что нужно время на то, чтобы приготовить еду, съесть её и убрать за собой. Рассчитывайте на 4 часа. Наши встречи по приготовлению еды обычно начинались в 6:15 и продолжались до 10-11 (теперь мы заканчиваем ближе к 10, потому что научились лучше их координировать).

Необходимое

• Пространство с кухней. Лучше, если кухня будет большой, но небольшие пространства с большим количеством столов тоже могут подойти.
• Кухонная утварь, если кухня, которую вы используете, не слишком хорошо оборудована. Обычно неплохо иметь множество ножей и разделочных досок.
• Продукты, заранее приобретённые организатором.

Текст объявления

Мы собираемся, чтобы готовить еду! Если вы хотите возглавить приготовление какого-то блюда, пожалуйста, запишитесь здесь: [ВСТАВИТЬ ССЫЛКУ НА ГУГЛ-ДОКУМЕНТ].

Мы закупаем продукты заранее, поэтому вам нужно лишь прийти, чтобы приготовить своё блюдо или помочь кому-нибудь с готовкой (и вернуть нам деньги за продукты). Обычно продукты обходятся примерно в 4-9 долларов на человека.

Как проводить

В первую очередь, поговорите с постоянными участниками, интересно ли им. Такая встреча требует достаточной вовлечённости, поэтому о многом лучше договориться заранее.

Иногда люди спрашивают про диетические ограничения. Наша политика на этот счёт: «Если у вас есть диетические ограничения, вы можете попросить кого-то готовить блюдо, которое подойдёт для вас, или готовить самим». Мы не накладываем какие-то общие ограничения на тип еды. У моего супруга есть диетические ограничения, и обычно один из нас готовил что-нибудь, что он может есть. При общем количестве приготовленных блюд этого обычно было вполне достаточно.

За неделю до встречи:

• Создайте гугл-документ для встречи по данному шаблону. Модифицируйте его, чтобы он лучше подходил вашим целям.
• Разошлите объявление о встрече по своим обычным каналам.

За пару дней до встречи: Разошлите напоминание по обычным каналам. Если ответов мало, подумайте, не стоит ли связаться с какими-то конкретными людьми, про которых вы знаете, что они, скорее всего, захотят возглавить готовку какого-то блюда.

За день до встречи: Купите продукты.

В день встречи:

1. Придите на место встречи с продуктами вовремя или чуть раньше. Распакуйте продукты и, если у вас есть время, приготовьте рабочие места (например, разделочные доски с ножами для каждого блюда, для которого они необходимы).
2. Направьте участников к тем, кто возглавляет приготовление блюд, чтобы те объяснили им, что делать.
3. После готовки и еды посчитайте, сколько денег должен каждый участник и объясните им, как они могут их вернуть.
4. Попробуйте организовать уборку как можно раньше, пока никто ещё не ушёл и пока вы ещё не слишком устали. Попросите остальных поучаствовать.

Совместная работа

Предварительная работа: Нет.

Нагрузка на ведущего: Низкая.

Необходимое

• Всё, что лично вам нужно для работы над своей задачей на встрече.
• Необязательно: Место, где есть как минимум две звукоизолированные зоны, чтобы тихие и громкие «помодорки» могли происходить в одно время.

Текст объявления

Мы встречаемся, чтобы работать над своими задачами!

Сначала мы садимся вместе и обсуждаем, над чем мы собираемся работать. Затем работаем в течении пары «помодорок». Через какое-то время мы переключаемся на разговоры и социализацию.

Альтернативный вариант от Майкла Кона:

Приходите с работой, которую нужно сделать (это может быть веб-сайт, книга, вязание, бизнес-план, что угодно), и мы будем работать вместе. В начале мы поговорим о том, чем каждый из нас занимается. Вы сможете работать самостоятельно или объединиться с кем-нибудь, если вы захотите научиться у них чему-нибудь или помогать им. Обычно у нас есть одна комната для тихой работы и одна - для разговоров и обсуждений.

Мы работаем в течение нескольких «помодорок» с перерывами, а затем переходим к разговорам на произвольные темы и социализации.

Как проводить

После того, как все соберутся и вы закончите с необходимым, по-вашему, знакомством, скажите: «Давайте перед тем, как мы начнём, обсудим, чем мы будем заниматься. Вы можете пропустить свою очередь, или сказать, что вы не определились, или что вы готовы помогать другим». В идеале лучше начните с себя, чтобы остальные лучше поняли, о чём говорить.

Когда все высказались (или отказались высказываться), если у вас есть два помещения, скажите: «Эта комната для тихой работы, а эта - для громкой. Выберите ту, какая вам лучше подходит». Затем, когда все переместились, куда им надо, скажите: «Мы начинаем» и заведите таймер на 25 минут.

Когда подойдёт время перерыва, объявите, что начался перерыв и заведите разговор с участниками так, как вам удобно. Разговор можно начать, например, спросив, как продвигается работа над задачей. Встреча будет интереснее, если люди действительно будут делать перерывы, а не работать во время них.

Поработайте как минимум две «помодорки» с 10-минутными перерывами. После двух или трёх «помодорок» мы обычно устраиваем быстрое голосование, не хотят ли люди закончить. Обычно после пары перерывов с социализацией люди начинают разговоры о своих задачах.

Короткие доклады

Предварительная работа: Нет.

Нагрузка на ведущего: Низкая или средняя, если он тоже выступает.

Необходимое

• Доска или бумага, на которой могут писать выступающие.
• Таймер (можно на телефоне).

Текст объявления

На этой встрече мы устраиваем и слушаем очень короткие доклады!

Доклады проводятся в формате 7 минут на выступление и 3 минуты на ответы на вопросы. Кроме того, доклады на тему программирования должны составлять не больше половины от общего числа, для разнообразия.

Не обязательно планировать доклад, не обязательно строить его по формальным канонам, он даже не обязан быть на Заслуживающую Доклада Тему. Вы можете просто рассказывать все о чём-то, что вам кажется интересным. В прошлом на наших встречах люди рассказывали, например, какие есть сложности с организацией свежей еды во время авиаперелётов, о своём опыте волонтёрства во время местной политической кампании, о видеоигре, которую они делают, и многом другом.

Мы считаем, что для таких докладов не нужно специально готовиться. Никто не ждёт от вашего доклада чего-то экстраординарного. Если у вас получится не слишком хорошо, всё будет в порядке, потому что мы через несколько минут перейдём к следующему. Если вам это поможет, можете просто представить себе, что во время беседы вы получили возможность высказываться несколько минут, просто это чуть более организовано, чем обычно.

Как проводить

Когда вы готовы переходить к основной части, скажите: «Настало время докладов. Готов ли кто-нибудь рассказать что-нибудь за 7 минут?» Дайте людям время подумать. Не переживайте, если на некоторое время случится неловкая пауза.

Иногда помогает, если организатор начинает первым. Вы можете также спросить: «Я могу рассказать про Х, кому-нибудь это интересно?» или «Я могу рассказать про X или про Y, какой вариант больше нравится?» Если вы знаете, что интересно аудитории, это тоже может помочь. И помните - речь идёт всего лишь о 7 минутах.

Обычно я так не делаю, но может оказаться полезным сказать: «Я подниму палец, когда останется минута до конца», и так и сделать. Иногда люди просят минутное и двухминутное предупреждение.

Заведите таймер на 7 минут. Скажите выступающему начинать, когда он будет готов, и запустите таймер, когда он начнёт говорить. Когда время истечёт, скажите об этом: «А теперь у нас 3 минуты на вопросы». Заведите таймер на 3 минуты. Если ни у кого нет вопросов, или если люди просто хотят, чтобы докладчик говорил дольше, это тоже нормально.

Я стараюсь не зверствовать с таймером, если аудитории интересен доклад. Если собравшиеся увлечённо слушают и задают много вопросов/участвуют в дискуссии, я даю больше времени. Я останавливаю выступающего вовремя, если, судя по всему, никому выступление неинтересно.

Когда вы хотите прервать конкретное выступление, (вежливо) скажите: «Спасибо, [Имя]. Так, кто ещё хочет что-нибудь рассказать?»

Обсуждение прочитанного

(Идея этого формата принадлежит Джиму Бэбкоку. Я утащила формат с его книжных встреч практически без изменений.)

Предварительная работа: Средняя (выбрать тексты, распечатать их). Нужно оповестить всех заранее, чтобы у людей было время прочитать статьи.

Нагрузка на организатора: Средняя.

Необходимое: Распечатанные копии обсуждаемых статей (2-3 экземпляра каждой).

Текст объявления

Это образец, замените упомянутые статьи на свои.

На этой неделе мы встречаемся для обсуждения двух интересных записей из блогов или статей.

Мы будем обсуждать статью Бена Хоффмана «Против ответственности» (http://benjaminrosshoffman.com/against-responsibility/) и статью Цви Моушовица «Верните субботу» (https://www.lesserwrong.com/posts/ZoCitBiBv97WEWpX5/bring-back-the-sabbath) Лучше, если вы прочитаете одну из статей заранее, но мы принесём распечатку для тех, кто не прочтёт.

Как проводить

За неделю до встречи:

Выберите две статьи (можно записи из блогов), которые, по-вашему, будет интересно обсудить. Лучше всего подходят статьи, которые можно прочитать за 10 минут (пара тысяч слов). Это самое сложное. Можно попробовать взять свежие записи с LessWrong’а, Slate Star Codex’а или другого блога, который вам нравится. Подумайте про вашу аудиторию. Если на вашу встречу в основном ходят люди, которые читают LessWrong последние десять лет, свежие записи будут интересны. Если же участники встреч LessWrong не читали, то может быть лучше взять какое-то из старых эссе, а не что-нибудь, для понимания чего нужно разбираться в четырёх вложенных уровнях. Попытайтесь выбрать статьи на достаточно разные темы, чтобы увеличить вероятность, что каждому участнику хотя бы одна из них покажется интересной.

Объявите о встрече по вашим обычным каналам со ссылками на статьи.

В день встречи:

Распечатайте и принесите несколько копий каждой статьи.

Предложите группе разделиться на две: каждая подгруппа обсуждает одну статью. Наличие дополнительной комнаты для бесед будет плюсом.

Наводящие вопросы: Что для вас было интересно в этой статье? (Или если статья кажется неинтересной, то почему?) С чем вы здесь не согласны? Что вы думаете про статью в целом?

Поддерживайте равное участие в беседе - спрашивайте малоговорящих людей, что они думают. Можно попробовать общее объявление, вроде: «Пытайтесь обращать внимание, как много вы говорите, и старайтесь давать людям вокруг вас столько же времени».

Обычно помогает, если организатор переключается между обеими группами, чтобы проверить, как идёт разговор, и помогает модерации. Если обсуждение не клеится, попробуйте воспользоваться наводящими вопросами.

Глубокие вопросы

Предварительная работа: Небольшая (выбрать вопросы).

Нагрузка на ведущего: От небольшой до средней.

Необходимое

• Список вопросов
• Таймер

Текст объявления

(спасибо Майклу Кону за обновлённый текст)

Как проходят «Глубокие вопросы»: Мы разбиваемся на пары. Ведущий зачитывает интересный открытый вопрос. Сначала один из вас 6 минут рассказывает свой ответ партнёру, потом вы меняетесь. После этого вы садитесь в пару к кому-то другому и отвечаете на следующий вопрос.

Примеры вопросов:

• От чего вы больше всего испытываете энтузиазм?
• Что, вы надеетесь, скажут в вашем некрологе?
• Что стоит примерно столько же, сколько ваш мизинец?

Примечание: Вопросы - глубокие (хотя это может быть спорным), но ваши ответы глубокими быть не обязаны. Никто не ждёт, что участники будут делиться чем-то большим, чем им комфортно.

Как проводить

Перед встречей: Определиться с разумным списком вопросов. Вот мой документ с некоторыми ресурсами, идеями для вопросов и с заметками, насколько успешны были те или иные вопросы на предыдущих встречах.

На встрече:

Когда вы готовы начать встречу, скажите: «Пора перейти к глубоким вопросам».

Разбейте всех на пары. Мой любимый способ следующий. Посчитайте количество людей в группе. Разделите это число на два, и пройдите по комнате считая до этого числа. Например, если в комнате 10 людей, считайте их «1-2-3-4-5, 1-2-3-4-5». Люди с одинаковыми номерами оказываются в одной паре. Если количество людей — нечётное, вы можете остаться без пары или попросить последнего человека присоединиться к какой-нибудь паре.

Заведите таймер на 6 минут. Скажите всем: «Вопрос: [ВОПРОС]. Выберите, кто из вас будет первым, у вас есть шесть минут на ответ». Когда время истечёт, заведите таймер заново, и скажите всем поменяться.

Когда время снова истечёт, у вас есть возможность опросить всех, насколько удачным был вопрос. Мне нравится метод «уровень руки». Скажите: «Покажите рукой, насколько вам понравился этот вопрос?» Поднимите руку над головой и скажите: «Рука на такой высоте означает, что вам он очень понравился», затем опустите руку как можно ниже: «Рука на такой высоте означает, что он вам очень сильно не понравился». Затем посмотрите и попытайтесь оценить общее ощущение. Вы можете также попросить дать обратную связь словами, но не тратьте на это больше минуты.

После опроса скажите всем: «Выберите, кто из вас будет пересаживаться, и пусть он перейдёт к следующему человеку по часовой стрелке». При следующей смене можете сказать: «Кто из вас пересаживался в прошлый раз, пересаживайтесь дальше».

Повторите примерно четыре или пять раз (это займёт около часа). Дальше вы можете попросить поднять руки, чтобы показать, хочет ли группа продолжать дальше.

Поверхностные вопросы

Предварительная работа: Нет.

Нагрузка на организатора: От небольшой до средней.

Необходимое: Нет.

Текст объявления

Мы устраиваем сеансы быстрого общения. Вам даётся 5 минут на разговор с кем-нибудь, затем партнёры меняются. Мы даём пару идей, о чём можно начать разговаривать, но они не слишком развёрнутые. Цель - познакомиться с множеством других участников встреч.

Как проводить

Формат позаимствован из игр сообщества, популяризирующего «искренние отношения»2.

Разбейте всех на пары. Указания о том, как разбивать на пары и менять партнёров можно найти в разделе «Глубокие вопросы» выше.

Объясните всем следующее:

Выберите, кто будет задавать вопросы, а кто отвечать на них. Задача спрашивающего в том, чтобы как можно быстрее задавать любые случайные вопросы, какие только приходят в голову. Задача отвечающего — отвечать на вопросы максимально подробно.

Например, спрашивающий может спросить: «У тебя клёвая рубашка, где ты её достал?» Отвечающий может ответить: «Я купил её в секонд-хенде, когда учился в колледже. Магазин был недалеко от квартиры, которую я снимал с одним знакомым - неприятным типом, кстати. Мне нужна была рубашка, потому что мне надоело носить старые вещи, оставшиеся ещё со школьных времён…» и так далее, и тому подобное.

Заведите таймер на 5 минут. Скажите: «Выберите, кто будет задавать вопросы, а кто отвечать. Когда пройдёт 5 минут, вы поменяетесь». Через 5 минут, скажите: «Поменяйтесь ролями». Ещё через 5 минут скажите участникам пересаживаться.

Истории

Предварительная работа: Небольшая (распечатать подсказки).

Нагрузка на ведущего: Средняя.

Необходимое: Распечатанный список подсказок.

Текст объявления

На встрече мы будем рассказывать друг другу истории! Лучше всего, если это будет история из вашей жизни (не важно, о чём именно), которую вы хотели бы рассказать другим. У нас есть лист подсказок, которые помогут начать.

Как проводить

По ссылке вы можете найти лист подсказок, который можно давать участникам: Истории - Подсказки. Я рекомендую распечатать один или два экземпляра и принести на встречу. Не стесняйтесь добавлять свои варианты и удалять те, которые вам не нравятся.

Начните встречу словами: «Ну что ж, настало время историй. У кого-нибудь есть история, которую он хотел бы рассказать?» Если никто не вызывается, передайте по кругу подсказки или начните рассказывать что-нибудь сами.

Не придерживайтесь какого-то формата слишком строго. Если история плавно перетекает в разговор, пусть он продлится какое-то время, перед тем спрашивать, есть ли ещё у кого-нибудь история.

Настольные игры / пение

Предварительная работа: по-разному, от небольшой до средней (принести настольные игры, подготовить тексты песен).

Нагрузка на ведущего: Небольшая.

Необходимое

• Настольные игры
• Для пения: Книги с текстами песен или способ показывать тексты нескольким людям так, чтобы они их видели
• Для пения, необязательное: инструмент для создания ритма

Текст объявления

Некоторые люди не любят настольные игры, а опрос на последней мета-встрече показал, что большинство таких людей любят петь хором. Поэтому эта встреча посвящена и тому, и другому!

У нас есть множество игр, однако не стесняйтесь приносить свои.

Мы также принесём тексты некоторых песен, чтобы петь их вместе. Если у вас есть какие-то любимые песни и вы думаете, что другие их могут знать, не стесняйтесь приносить их тексты с собой (на встрече вы также можете дать ссылку). Музыкальные инструменты тоже могут пригодиться, но только при условии, что вы умеете на них играть какие-то конкретные песни, которые можно петь вместе.

Как проводить

Это смешанная встреча. Если хотите, вы вполне можете ограничиться лишь одним из двух вариантов.

Для настольных игр

Когда прибудут несколько человек, поговорите с ними о том, в какие игры они хотели бы играть. Часто полезно подождать с особо затягивающими играми, пока не придут большинство участников, в этом случае у опоздавших будет возможность присоединиться. Пока вы ждёте, хороши игры вроде Сета или Зендо, к которым присоединиться легко.

Даже если вы сами начали играть до того, как все пришли, по возможности постарайтесь поприветствовать людей, рассказать им, какие игры есть в наличии и помочь им найти игру, которая им понравится.

Для пения

Предостережение. Насколько хорошо пройдёт такой формат во многом зависит от участников. Если им нравится петь хором, это может быть очень забавно, однако может быть довольно сложно заразить интересом того, у кого нет соответствующего настроя. Организатору нужно брать на себя какое-то количество инициативы. В моём случае это требовало довольно много социальной энергии.

Принесите тексты песен, которые вам нравятся. По моему опыту, все знают Still Alive. Могут неплохо зайти другие нердовские песни, а также популярные песни вроде творчества Beatles.

Во время встречи вам достаточно сделать так, чтобы тексты песен были доступны всем и просто начинать петь, в надежде, что другие люди присоединяться. Не бойтесь, что у вас не получится. Если вам нравится песня и вы можете её петь, вы вполне можете сподвигнуть кого-то её выучить, даже если они не знают её, чтобы присоединиться к вам в этот раз. (Я таким образом однажды на встрече выучила Skullcrusher Mountain!)

Чтобы люди активнее присоединялись, может помочь наличие укулеле или гитары. Впрочем, тут не все так просто. Лично мне обычно хочется исполнять на публике те песни, которые я играю довольно уверенно. Во время практики вполне нормально делать паузы на несколько секунд, чтобы взять аккорд правильно, но другим людям при этом будет тяжело следовать за вами.

Метавстреча

Предварительная работа: Средняя (имеет смысл подготовить хорошие вопросы).

Нагрузка на ведущего: Довольно высокая.

Необходимое: У организатора должна быть возможность делать заметки о том, что говорится на встрече.

Текст объявления

Прошло уже довольно много времени с тех пор, как мы обсуждали вопросы вроде: Для чего нужны эти встречи? Что мы получаем от них и что мы хотим от них получать? Как мы могли бы сделать их лучше? Какие новые форматы встреч мы могли бы попробовать?

Эта встреча частично будет посвящена сбору обратной связи, частично - мозговому штурму и частично - составлению конкретных планов на будущее. (И, как обычно, я ожидаю, что и какое-то количество обычных разговоров тоже будет.)

Как проводить

Перед встречей: Подумайте о том, какую обратную связь вам хотелось бы получить от участников. В каких форматах встреч вы сомневаетесь? Что, с вашей точки зрения, работает хорошо, а что как-то не очень? О чём вы беспокоитесь? На основе этих размышлений подготовьте несколько вопросов для участников.

На встрече

Задайте каждому участнику пару вопросов об их впечатлениях. Ниже приведены возможные вопросы.

• Что вы хотите получать от встреч? Получаете ли вы это?
• Что вам нравится на встречах?
• Что вам не нравится или что вы хотели бы изменить?
• Какие форматы встреч вам нравятся больше всего?
• Какие форматы вам больше всего не нравятся?
• У вас есть какие-нибудь идеи, как можно проводить встречи по-другому?
• Любые другие вопросы, на которые вы хотели бы получить ответы.

Запишите ответы. Особо обращайте внимание на то, что упоминают многие.

Я предпочитаю опрашивать каждого участника по отдельности, потому что это позволяет убедиться, что услышаны все, даже те, кто высказывается очень тихо.

На нашей первой метавстрече в Сан-Франциско мы сфокусировались на социальных аспектах встреч и на том, как помочь людям знакомиться. На основе обратной связи мы начали проводить встречи «Глубокие/Поверхностные вопросы», которые пользовались успехом.

Обзор года

Предварительная работа: Довольно большая.

Нагрузка на ведущего: От средней до высокой (нужно активно координировать дискуссию).

Необходимое: Бумага и письменные принадлежности.

Текст объявления

Как и в предыдущие годы мы встречаемся, чтобы обсудить, как для нас прошёл этот год. В качестве отправной точки мы возьмём эту запись на LessWrong, а затем перейдём к дискуссии.

Как проводить

Мы пробовали несколько разных способов проводить встречу «обзор года» и пока не пришли к какому-то итоговому варианту. Поэтому здесь всё может ещё несколько поменяться.

Один из способов, который мы пробовали: спросите, как бы вы описали предпочтения человека, который провёл бы прошлый год так, как его провели вы. Такой формат может быть интересен некоторым людям, однако это может быть несколько снисходительно или даже грубо по отношению к «прошлому себе», и когда мы проводили встречу в таком формате второй раз, это некоторым не понравилось.

Также можно пойти по вопросам в записи на LW по ссылке выше. Это мы попробовали в прошлом году. Кажется, многим такой способ помог. Однако у нас не было чёткого плана встречи. Отсутствие организации сбивает с толку.

Я бы порекомендовала (и сама попробую в следующем году) следующее. Выберите какое-то разумное количество вопросов - так, чтобы на них можно было ответить минут за тридцать. Пусть каждый участник напишет свои ответы на бумаге. После истечения какого-то разумного количества времени или когда все закончат, переходите к обсуждению. Учтите, что некоторые из вопросов очень личные и важно не заставлять людей делиться большим, чем они готовы.

Некоторые возможные отправные точки для дискуссии:

• Когда вы делали это упражнение, вас что-нибудь удивило?
• Что из произошедшего в этом году вас сейчас радует?
• Что после этих размышлений вам хочется изменить?

Другие ресурсы

• Страница сообщества LessWrong. Здесь размещаются объявления о встречах.
• Как проводить успешные встречи LessWrong. Книга в формате PDF со множеством подсказок и советов о том, как проводить встречи. Когда мы начинали, мы взяли некоторые из них как отправную точку. Честно говоря, я давно туда не заглядывала.
• Как строить сообщество за пять часов в неделю. Короткая статья, в которой я написала общие советы по организации еженедельных встреч.
• Хорошие форматы для группового взаимодействия. Список из 47 форматов, которые вы можете приспособить для своих нужд. Некоторые из видов встреч в этой статье очень похожи на описанные там, например, я оттуда взяла идею «Глубоких вопросов». (Насколько я могу судить, все прочие совпадения случайны.)

Благодарности

Спасибо Майклу Кону за подробную обратную связь по поводу этой статьи.

Спасибо Саре Спайкс за то, что она сподвигла меня всё это написать.

Спасибо всем нашим участникам, людям, которые предоставляли нам помещения, и друзьям. Ради вас всё это и затевалось.

И спасибо моему супругу за то, что эти встречи продолжались неделю за неделей и год за годом.

Дополнения

Этот текст исходно был опубликован 14 июля 2018 года.

Дополнение от 4 августа 2018. Хотя со времени публикации прошло лишь несколько недель, стоит кое о чём написать.

• Встречи в Вашингтоне (округ Коламбия) могут прекратить существование в ближайшие несколько месяцев, через 4 года после того, как мы оттуда переехали. На самом деле я очень удивлена и благодарна нашим друзьям, которые поддерживали их на плаву всё это время. Некоторые люди оттуда раздумывают перейти на распределённую модель организации, в которой люди по очереди принимают у себя встречи, в зависимости от того, кто сейчас это может и хочет. Я надеюсь, это сработает и они расскажут, как у них получилось. Мы сами часто хотели бы передать часть ответственности другим людям (и, я думаю, что это одна из главных причин, почему нынешние организаторы решили перестать этим заниматься).
• Некоторые начали использовать форматы встреч из этой статье. Например, в Berkeley REACH проводят «Совместную работу» и «Решение проблем в группах». Я ещё не выясняла, как у них дела.

• 1. В этом и предыдущем абзаце автор упоминает приём RSVP. — Прим.перев.
• 2. В оригинале authentic relating games. — Прим.перев.

Введение

Суть консеквенциализма — в оценке всех действий по их последствиям. Консеквенциалистские взгляды на этику считаются «радикальными», а некоторые философы и вовсе придерживаются мнения, что консеквенциализм неприемлем и опасен. В этой статье вы увидите, что практические последствия консеквенциалистского образа мыслей, деонтологии, «основанной на законах», и этики добродетели («этики, основанной на чертах характера») во многих отношениях схожи. После основательного рассмотрения становится очевидно, что консеквенциализм, наивно интерпретированный, несет в себе плохой посыл. Претензии к консеквенциализму есть не только у его критиков, но и у сторонников. Далее мы посмотрим, в чём может состоять ошибочность и опасность наивной интерпретации консеквенциалистского способа мышления.

(Замечание: далее под консеквенциалистами подразумеваются люди, жизненный приоритет которых – сделать мир как можно лучшим местом для других. Стоит также отметить, что следующие примеры опираются на ряд консеквенциалистских идей, которыми пользуются агенты. Они хотят по возможности рационально достичь некоторой цели, не стремясь при этом всегда соблюдать «правила, обещания и т. п.». Так, в приведенных здесь примерах речь идет об общих следствиях из теории принятия рациональных решений 1.)

Сейчас мы ознакомимся с двумя примерами, в которых наивно-консеквенциалистский способ поиска решений ведет к очевидно худшему конечному результату, чем лучшая из имеющихся альтернатив.

Пример 1: выполнение обещаний

(адаптированный пример Дерека Парфита)

Один консеквенциалист застрял посреди пустыни, потому что его машина сломалась, и теперь умирает от жажды. К счастью, мимо проезжает какой-то автомобиль. Водитель останавливается и предлагает консеквенциалисту подвезти его до отеля, но не хочет помогать бесплатно и требует 100 евро за услугу. Так как у консеквенциалиста нет с собой денег, водитель просит его пообещать заплатить по прибытии в отель. Консеквенциалист знает, что как только выберется отсюда, ему незачем будет платить водителю. Услуга будет уже оказана, а 100 евро принесут большую пользу, если пожертвовать их на благотворительность, чем если отдать водителю. Поэтому консеквенциалист притворяется кооперативным и соглашается на сделку. Но оказывается, что лгун из него плохой. Так как консеквенциалист сам не верит в обещанное, а водитель разбирается в людях очень хорошо, заверения кажутся ему неправдоподобными. В эту минуту водитель замечает на сломанной машине наклейку, на которой написано: «Консеквенциализм — правильные поступки создают лучший мир». На это водитель восклицает: «Ага! Так ты консеквенциалист? Ты же точно не сдержишь обещание, когда вернёшься в город. Извини, но раз я за это ничего не получу, то как рациональный эгоист поеду-ка один. Удачи!»

Вот что интересно в этом примере: консеквенциализм — наивный — пошел агенту во вред. Кажется, что-то здесь не так. Если цель — вести себя так, чтобы мир становился как можно лучшим местом, то стоит по возможности избегать ситуаций, в которых вы умираете от жажды. Особенно когда это легко разрешить, заплатив 100 евро в будущем. Умереть от жажды явно того не стоит, особенно если единственная причина этого в том, что вы посчитаете себя «нерациональным» из-за выполненного в будущем обещания. Что вообще значит «нерационально»? Когда мы говорим о рациональности, то имеем в виду выигрывание, достижение своих целей. Очевидно, в такой ситуации консеквенциалист «выиграет», только если действительно убедит себя выполнить обещание или, иными словами, если сможет нажать на необратимую «кнопку» в своем мозгу, которая заставит его выполнить обещание в то время, когда (на наивно-консеквенциалистский взгляд) это было бы уже не нужно. Тогда он как плохой лжец спокойно скажет правду. Однако же проблема в том, что наивный консеквенциалист, следуя своему образу мыслей, обязательно постарается только сымитировать нажатие кнопки. И раз другие рациональные агенты об этом знают, они будут избегать когда-либо кооперироваться с наивными консеквенциалистами.

Кроме того, консеквенциалист проигрывает еще и потому, что водитель явно думает, что вообще все консеквенциалисты никогда не выполняют обещаний, если только это (наивно) не максимизирует их полезность. Ужас! Если действительно правда, что они все проигрывают, когда не сдерживают обещаний, то почему бы всем консеквенциалистам, стремящимся к лучшему состоянию мира, не изменить свои интуиции и процесс принятия решений так, чтобы всегда сдерживать обещания? В конце концов речь идёт (как ни странно, в консеквенциализме больше, чем где-либо ещё) о «выигрывании», а не о соблюдении какого-то устава «правильного» поведения. «Выполняй обещания, только когда это максимизирует полезность» — очень плохое правило, от которого мир в целом будет скорее терять, чем выигрывать.

Пример 2: участие в выборах

Предположим, кроме аполитичных людей, которые никогда не ходят на выборы, есть ещё два типа жителей: сознательные избиратели и избиратели-консеквенциалисты. Первые всегда ходят на выборы, а вторые голосуют только тогда, когда это выгодно по матожиданию, — иначе говоря, когда вероятность изменения результата одним единственным голосом (очень малая), помноженная на значимость результата, окажет достаточно значительный позитивный эффект. (Эффект должен быть значительнее, чем то, на что консеквенциалист потратил бы время вместо этого.) Допустим, опросы показывают, что около 65% населения выберут А, а большинство консеквенциалистов — В. Тогда может получиться, что избиратель-консеквенциалист не пойдёт голосовать, так как всем ясно, что один единственный голос против большой доли сознательных избирателей (среди которых большинство, к сожалению, поддерживает А) обладает ничтожно малой вероятностью повлиять на результат выборов.

Интересный вопрос: когда избиратели-консеквенциалисты не участвуют в выборах, действуют ли они рационально? Способствует ли это достижению их целей?

Не обязательно! Рассчитывая ожидаемый эффект от заполнения бюллетеня в таких обстоятельствах наивно-консеквенциалистски, вы придёте к неверным выводам: недооцените общий процент голосов консеквенциалистов, которые они вместе бы отдали, если бы в основном придерживались одной и той же стратегии. Теперь предположим, что консеквенциалисты составляют большую часть населения. В таком случае желаемый результат выборов практически гарантирован, если консеквенциалисты будут действовать как сознательные избиратели. Тогда участие в выборах явно стоит их времени (потому что политические решения обычно затрагивают множество областей общественной жизни и поэтому значимо влияют на мир).

Кажется, задаваться вопросом об ожидаемой полезности действий — консеквенциалистски неверный способ приступать к принятию решения. Если исходить из того, что другие люди из одних и тех же посылок приходят к одним и тем же рассуждениям (и следовательно, должны сделать одни и те же выводы), «предпочтительный выбор для группы» будет отличаться от индивидуального выбора2. Да, напрямую человек решает только за себя, не совещаясь с другими консеквенциалистами. Но если исходить из предположения, что остальные рассуждают о том же, преследуют сходные цели и как рационалисты должны прийти к одному выводу, то человек принимает лучшее решение, когда он как бы разрабатывает стратегию для группы консеквенциалистов.

В чём состоит «ненаивный» способ максимизации полезности?

Описанные выше ситуации объединяет то, что основополагающий консеквенциалистский принцип «действуй так, чтобы полезность была максимальной», видимо, дает осечку. Проблема в слишком узком определении «деятельности» — в нём учитываются только прямые последствия наших поступков, но не логическая связь нашего процесса принятия решений с процессом принятия решений других рациональных агентов. Не учитывается и то, что другие рациональные агенты могут предсказать наши решения и отказаться кооперироваться, потому что мы не из тех, кто всегда сдерживает обещания.

«Ненаивное» определение «деятельности» должно быть максимально широким и всеобъемлющим. Оно должно содержать всё, что есть в нашем репертуаре. В некоторой степени за «деятельность» можно считать тот момент в примере с выборами, когда мы решаем, рассматривать ли вопрос с «личной-консеквенциалистской» или «групповой консеквенциалистской» точки зрения. Размышление, хотим ли мы всегда выполнять обещания или нет, — также «деятельность». Если принцип «действуй так, чтобы полезность была максимальной» понимать достаточно широко, он будет содержать в том числе и то, что человеку необходимо стараться быть на самом деле достойным доверия. Сюда подходят не только физические действия, производимые человеком, но и то, как он думает и решает, какие социальные интуиции, эвристики и эмоции в себе поощряет. Отсюда вытекает что-то вроде глобального консеквенциализма, в котором мы хотим оптимизировать систему поведения рационального агента так, чтобы получать максимально выгодные результаты. Он включает в себя в том числе и размышления о принципах принятия решений, личных интуициях и чертах характера, которые с консеквенциалистской точки зрения наиболее выигрышны3.

Полная вера в обещания действительно работает только в определённых случаях (например, если у оппонента идеальный детектор лжи), когда мы можем убедительно обосновать, что всегда выполняем обещания. Для этого придётся принять «сдерживание обещаний» в качестве абсолютного правила и включить в представление о самом себе. В этом отношении верно интерпретированный консеквенциализм очень похож на деонтологию или этику добродетели.

Законы и нормы поведения

Конечно, вышеизложенные размышления относятся к вопросу, должен ли человек самостоятельно стремиться к следованию законам и социальным нормам. Как, скажем, в примере с выборами общественные потери были бы недооценены, если бы все консеквенциалисты вдруг решили всегда нарушать правила, полагая, что это максимизирует ожидаемую полезность. Из-за того, что ещё один человек станет преступником (или не будет выкидывает мусор в положенное место, или станет постоянно грубить окружающим, или перестанет оставлять чаевые), вряд ли в мире что-то изменится настолько сильно, что совокупные издержки общества заметно увеличатся. Но если на этом самом основании все (или почти все) консеквенциалисты, которые хотят максимально эффективно улучшать мир, систематически решают нарушать правила — получается хаос, куда худший, чем сумма преимуществ от соответствующих нарушений в каждом единичном случае. Это проявляется тем сильнее, чем больше консеквенциалистов в обществе. И не в последнюю очередь стоит отметить, что консеквенциалисты с разными нормативными или эмпирическими целями будут становиться друг другу поперек дороги, если не усвоят очень важную эвристику кооперации и уважения. Отсюда мы снова можем сделать вывод, что наивная интерпретация непродуктивна и опасна, так как может разрушить всё хорошее, что совершают консеквенциалисты.

Кроме того, в ситуации, подобной примеру с водителем в пустыне, репутация консеквенциалистов сильно пострадает, если они чаще среднего будут нарушать законы и нормы поведения. Это особенно значимо, если в обществе пока мало консеквенциалистов, — тем важнее для роста их численности оставлять положительное впечатление от отдельных представителей движения.

В конце концов нам стоит признать, что люди склонны преувеличивать способность к оценке характера и последствий своих действий, особенно когда могут добиться так преимуществ для себя. (Консеквенциалисты хотя и имеют альтруистические цели, отнюдь не «бескорыстны» в том смысле, что склонны искать личную выгоду). Если бы все консеквенциалисты начали нарушать законы и даже совершать тяжкие преступления, чтобы максимизировать полезность, то это привело бы к зачастую неверным решениям и беспорядочному насилию, ведь мы оцениваем далеко не так объективно и беспристрастно, как нам хочется думать. Чтобы избежать «лавины», критерий «допустимости» преступления должен быть гораздо более строгим: «исходя из лучших побуждений, я уверен, что таким образом сокращу общее число ущемлённых интересов». Категорический запрет, кажется, единственное, что может противостоять силе рационализации, присущей человеческому мышлению.

Завышенные моральные требования

Многие люди думают, что практически в каждой ситуации консеквенциалисты должны использовать принцип максимизации полезности. Это неверно. Основополагающий принцип консеквенциализма не предписывает: «Всегда думай о том, что максимизирует ожидаемую полезность, и реализуй это!». Нет, он только говорит, что людям стоило бы делать то, что в общем и целом максимизирует ожидаемую полезность. И иногда (часто) бывает лучше не пускаться в дальнейшие рассуждения о принципе максимизации полезности, а придерживаться простых правил и эвристик.

Специально обдумывать, какие действия прямо сейчас были бы наиболее эффективны, может оказаться нерационально. Эти размышления довольно трудоёмки. Было бы слишком утомительно в повседневной жизни постоянно держать принцип максимизации полезности в уме. Поэтому «правильному» консеквенциалисту имеет смысл привить себе некоторые эвристики, когда вполне допустимый и даже хороший вариант — расслабиться и отдохнуть без всяких угрызений совести.

Заключение

Согласно рациональной, «ненаивной» интерпретации консеквенциализма, нужно оптимизировать не только физически ощутимую «деятельность» по максимизации ожидаемой полезности, но и связанные с принятием решений эвристики. Надо обдумать, какие эвристики в каких ситуациях всем консеквенциалистам в целом стоит использовать, и получившуюся систему применять для себя.

Отсюда следует, что консеквенциалисты (по сравнению с наивным восприятием) должны последовательно выполнять обещания и придавать большее значение участию в выборах, разделению мусора, этичному потреблению и в целом решениям группового масштаба, а также гораздо реже нарушать законы и социальные нормы. Иначе, в случае наивного консеквенциализма, многие агенты гарантированно сами загонят себя в нежелательное равновесие «предавать-предавать» в дилемме заключенного. Такого исхода, безусловно, стоит избегать, если вы стремитесь к как можно лучшему состоянию мира.

Вышеизложенные соображения показывают, что «антагонисты» — кантианство и консеквенциализм — гораздо ближе друг к другу, чем это предполагается в традиционном толковании. Эффективный Альтруизм не тождественен консеквенциализму, но многие эффективные альтруисты считают себя консеквенциалистами, и поэтому важно, чтобы они не интерпретировали его наивно. В противном случае всё движение ЭА будет страдать. Кроме того, было бы выгодно, если бы консеквенциализм потерял свою — отчасти незаслуженно — плохую репутацию. Это возможно осуществить, распространяя изложенную здесь интерпретацию, которая указывает на опасности наивного консеквенциализма и устраняет их.

• 1. Об этом можно почитать, например, в английском FAQ по теории принятия решений и в этой работе о новых подходах.
• 2. Точная формулировка «другие люди из одних и тех же посылок приходят к одним и тем же рассуждениям» важна — именно поэтому такое консеквенциалистское рассуждение отличается от кантианского слогана «Представь себе, если бы все так делали!». В отличие от кантианства, надо действительно исходить из того, что решения других участников связаны с нашим собственным. (Кантианский принцип пришел бы к тому же самому в мире, где все люди достаточно умные, волевые и отрефлексированные, чтобы всегда стремиться к рационально-консеквенциалистским решениям.)
• 3. Некоторые подходы, например, «утилитаризм правила», содержат некоторые из этих принципов, но зачастую они сформулированы и обоснованы довольно размыто. В идеале с помощью теории принятия решений можно вывести хорошие «правила» (подходящие процессы принятия решений, принципы, интуиции, черты характера и т. д.) из полной, «ненаивной» интерпретации консеквенциализма.

Представьте, что на подлёте обнаружен большой астероид, и мы узнаём, что половина астрономов считает, что шанс, что он вызовет вымирание людей, также, как похожий астероид уничтожил динозавров около 66 миллионов лет назад, не меньше 10%. Учитывая, что у нас есть длинная история размышлений об этой угрозе и о том, что в таком случае делать, от научных конференций до голливудских блокбастеров, можно ожидать, что человечество живо начнёт работать над миссией отклонения, чтобы направить астероид в более безопасном направлении.

К сожалению, мне сейчас кажется, что мы проживаем фильм «Не смотри вверх» для другой экзистенциальной угрозы – несогласованного суперинтеллекта. Возможно, вскоре нам придётся делить планету с более интеллектуальными «разумами», менее заботящимися от нас, чем мы заботились о мамонтах. Недавний опрос показал, что половина исследователей ИИ оценивает шанс, что ИИ вызовет вымирание людей, как не меньше 10%. Учитывая, что у нас есть длинная история размышлений об этой угрозе и о том, что в таком случае делать, от научных конференций до голливудских блокбастеров, можно ожидать, что человечество живо начнёт работать над миссией направления ИИ в более безопасном направлении, чем вышедший из-под контроля суперинтеллект. Подумайте ещё: вместо этого самые влиятельные ответы – это комбинация отрицания, высмеивания и смирения, такая чёрнокомедийная, что заслуживает Оскара.

Когда «Не смотри вверх» вышел в конце 2021, он стал популярен на Нетфликсе (второй по просмотрам фильм за всё время). Он стал ещё популярнее среди моих коллег-учёных, многие из которых восхваляли его как свой любимый фильм, предлагающий катарсическую комедийную разрядку за годы сдерживаемого раздражения от игнорирования их беспокойств и предложений. В нём показано, как, хоть у учёных есть рабочий план, как отклонить астероид до того, как он уничтожит человечество, у этого плана не получается конкурировать за внимание медиа с слухами о знаменитостях, и обойти лоббистов, политическую выгоду и «астероидоотрицание». Хоть фильм и задумывался как сатира на недостаточную реакцию человечества на изменение климата, к сожалению, пародия на реакцию человечества на развитие ИИ из него получается ещё лучше. Ниже – мои комментарии к самым частым реакциям людей на эту проблему:

«Нет никакого астероида»

Многие компании работают над созданием СИИ (сильного искусственного интеллекта), определяемого как «ИИ, который может обучиться исполнять большинство интеллектуальных задач, посильных для людей, включая разработку ИИ.» Ниже мы обсудим, почему это может быстро привести к суперинтеллекту, определяемому как «обобщённый интеллект, сильно превосходящий человеческий уровень».

Мне часто говорят, что СИИ и суперинтеллект не появятся, потому что они невозможны: человеческий интеллект – это что-то таинственное, что может существовать только в мозге. Такой углеродный шовинизм игнорирует центральное озарение, стоящее за ИИ-революцией – что интеллект состоит в обработке информации, и неважно, делают это атому углерода в мозге или атомы кремния в компьютере. ИИ неустанно одолевал людей в одной задаче за другой, и я предлагаю углеродным шовинистам перестать сдвигать ворота и публично предсказать, какую задачу ИИ никогда не будет в состоянии выполнить.

«Он ещё долго до нас не долетит»

Как известно, в 2016 Эндрю Ын язвително высказался, что «беспокоиться об ИИ сейчас – это всё равно, что ьеспокоиться о перенаселении на Марсе». До недавних пор около половины исследователей ожидали, что до СИИ ещё как минимум десятилетия. Крёстный отец ИИ Джеффри Хинтон сказал CBS, что «Совсем недавно я полагал, что до обобщённого ИИ ещё что-то вроде от 20 до 50 лет. А сейчас я думаю, что это может быть 20 лет или меньше» и что возможно это даже 5 лет. Он не одинок: недавняя статья от Microsoft утверждает, что GPT-4 уже демонстрирует «отсветы» СИИ, а такой же как и Хинтон первопроходец глубинного обучения Йошуа Бенгио заявляет, что GPT-4 по сути проходит Тест Тьюринга, который когда-то рассматривали как тест на СИИ. И время от СИИ до суперинтеллекта может быть не очень большим – согласно авторитетному рынку предсказаний это, вероятно, меньше года. Суперинтеллект – не «проблема далёкого будущего»: он ближе, например, изменений климата и планов большинства людей на пенсию.

«Упоминание астероида отвлекает от более насущных проблем»

До суперинтеллекта и угрозы вымирания человечества у ИИ может быть много заслуживающих беспокойства побочных эффектов, от предвзятости и дискриминации до утери приватности, массовой слежки, исчезновения рабочих мест, растущего неравенства, кибератак, распространения летального автономного оружия, «взлома» людей, обессиливания людей и потери смысла, непрозрачности, проблем с ментальным здоровьем (от травли, привыкания к социальным медиа, социальной изоляции, обесчеловечивания социальных взаимодействий) и угроз демократии (от поляризации, дезинформации и концентрации власти). Я поддерживаю обращение на них большего внимания. Но заявлять, что следовательно мы не должны говорить об экзистенциальной угрозе суперинтеллекта, потому что она отвлекает от этих проблем – всё равно, что заявлять, что нам не следует говорить о буквальном летящем на нас астероиде, потому что он отвлекает от изменений климата. Если несогласованный суперинтеллект приведёт к вымиранию человечества в ближайшие десятилетия, все остальные риски перестанут иметь значение.

«Астероид остановится, прежде чем врезаться в нас»

Большинство людей, всерьёз относящихся к СИИ, кажется, настолько напуганы и/или возбуждены по его поводу, что говорят только о тех других рисках, а слона – суперинтеллект – не примечают. Большинство медиа, политиков и исследователей ИИ едва ли упоминают его, как будто техническое развитие каким-то образом придёт в стагнацию на уровне СИИ на долгое время. Как будто они забыли простой контраргумент Ирвинга Дж. Гуда, потому что он слишком давно высказан:

«Давайте определим ультраинтеллектуальную машины [то, что мы сейчас называем СИИ] как машину, которая может превзойти интеллектуальную деятельность любого, даже самого умного человека. Так как проектирование таких машин – один из видов интеллектуальной деятельности, ультраинтеллектуальная машина сможет спроектировать машины ещё лучше; это несомненно приведёт к «интеллектуальному взрыву» и интеллект человека останется далеко позади…»

В основной идее рекурсивного самоулучшения нет, конечно, ничего нового: использование сегодняшних технологий, чтобы создать технологии следующего года, объясняет многие примеры экспоненциального развития технологий, включая Закон Мура. Новое тут то, что прогресс к СИИ позволяет оставлять в процессе всё меньше людей, в итоге – нисколько. Это может очень сильно сократить временные масштабы последовательных удвоений, от типичных человеческих уходящих на исследования и разработку лет, до машинных недель или часов. Окончательный предел такого экспоненциального роста устанавливает не человеческая изобретательность, а законы физики, ограничивающие то, сколько вычислений может совершать материя, значением примерно в квадриллион квинтиллионов раз большим, чем лучшие сегодняшние результаты.

«Астероид практически остановится»

Примечательно, что отрицание суперинтеллекта распространено не только среди не-технарского народа, но и среди экспертов, работающих над ИИ и безопасностью ИИ.

Циник может свести это к замечанию Эптона Синклера о том, что «Сложно заставить человека что-то понять, когда его зарплата зависит от того, что он этого не понимает». Хоть, к сожалению, это правда, что большинство исследователей ИИ (включая исследователей безопасности и этики) получают финансирование от Big Tech, будь то напрямую или косвенно, через гранты от некоммерческих организаций, спонсируемых технарскими филантропами, я думаю, что есть и более невинные объяснения их отрицательства суперинтеллекта, такие, как хорошо изученные когнитивные искажения. Для нас сложно предсказать не линейные, а экспоненциальные изменения. Сложно бояться того, чего мы никогда не испытывали, например, радикального изменения климата или ядерной зимы.

Из-за искажения доступности сложно посмотреть дальше непосредственной угрозы и увидеть большую, но и более далёкую. К примеру, я часто слышу аргумент, что большие языковые модели (LLM) вряд ли смогут быстро рекурсивно самоулучшиться (интересный пример тут). Но упомянутый выше аргумент И. Дж. Гуда об интеллектуальном взрыве не предполагает, что архитектура ИИ по ходу самоулучшения останется неизменной! Когда люди достигли обобщённого интеллекта, мы заполучили свой экспоненциальный рост способностей к обработке информации, не выращивая себе мозги побольше, а изобретая книгопечатание, университеты, компьютеры и технические компании. Аналогично, хоть сейчас всё на себе тащат нейросети и LLM, наивно предполагать, что быстрейший путь от СИИ до суперинтеллекта – просто обучение ещё больших LLM на ещё большем количестве данных. Очевидно, есть куда более умные архитектуры ИИ, ведь мозг Эйнштейна превосходил GPT-4 в области физики, несмотря на куда меньшее количество данных и всего 12 Ватт мощности.

Когда задача изобретения архитектур получше будет возложена на СИИ, прогресс в ИИ будет совершаться куда быстрее, чем сейчас, без необходимости участия людей, и интеллектуальный взрыв И. Дж. Гуда можно будет считать начавшимся. И при наличии возможности кто-нибудь даст СИИ эту задачу, точно также, как GPT-4 уже дали задачу создать самоулучшающийся ИИ с разными целями, включая уничтожение человечества.

«С нами всё будет в порядке, даже если астероид прилетит»

Если суперинтеллект приведёт к вымиранию человечества, то скорее всего не от того, что он стал злым или самоосознающим, а потому что он стал компетентным, а его цели были несогласованы с нашими. Мы, люди, довели до вымирания западноафриканских чёрных носорогов не потому, что были носорогоненавистниками, а потому, что были умнее них и обладали другими целями касательно использования их среды обитания и рогов. Точно так же, суперинтеллект с почти любой открытой целью будет хотеть сохранять себя и накапливать ресурсы для лучшего достижения этой цели. Может, он удалит кислород из атмосферы, чтобы снизить коррозию металлов. Куда вероятнее, наше вымирание будет банальным побочным эффектом, который мы сможем предсказать не лучше, чем носороги (или другие из 83% диких млекопитающих, которых мы убили) могли предсказать, что с ними покончит.

Некоторые аргументы про «всё будет в порядке» откровенно комичны. Если на вас летит управляемая ИИ ракета с тепловым наведением, утешит ли вас, если кто-нибудь скажет вам, что «У ИИ не может быть сознания» и «У ИИ не может быть целей»? Если бы вы были орангутангом в вырубаемом тропическом лесу, вас бы успокоило, что более разумные формы жизни автоматически добрее и эмпатичнее? Или что они – просто инструмент, который вы можете контролировать? Следует ли нам действительно считать это технологическим «прогрессом», если мы теряем контроль над своей судьбой, подобно коровам на фабричной ферме или обездоленным орангутангам?

Я – часть растущего сообщества безопасности ИИ, которое усердно работает над выяснением того, как сделать суперинтеллект согласованным ещё до его появления, чтобы его цели были согласованы с процветанием людей, или мы были как-то его контролировать. Пока что у нас не получилось разработать план, на который можно положиться, а мощь ИИ растёт быстрее, чем регуляции, стратегии и озарения по его согласованию. Нам надо больше времени.

«Мы уже предприняли все необходимые предосторожности»

Если вы просуммируете общепринятую мудрость по поводу того, как избежать интеллектуального взрыва в «Список-чего-не-делать» с мощным ИИ, он может начинаться примерно так:

☐ Не учите его программировать: это облегчает рекурсивное самоулучшение

☐ Не соединяйте его с интернетом: позволяйте ему выучить только необходимый для помощи нам минимум, но не как манипулировать нами или заполучать власть

☐ Не прикрепляйте к нему общедоступный API: предотвратите его использование злонамеренными людьми прямо из кода

☐ Не начинайте гонку вооружений: это стимулирует всех приоритизировать скорость в сравнении с безопасностью

Нарушив все эти правила, индустрия коллективно показала, что неспособна на саморегуляцию. Я верю, что намерения лидеров СИИ-компаний самые благие, и многих из них стоит похвалить за публичное выражение озабоченности. Сэм Альтман из OpenAI недавно описал худший сценарий как «нам всем конец», а Демис Хассабис из DeepMind сказал «Я бы призвал не нестись, ломая всё на пути». Однако, упомянутая гонка затрудняет для них сопротивление коммерческим и геополитическим давлениям, сподвигающим мчаться вперёд, и никто из них не согласился на недавно предложенную шестимесячную паузу обучения моделей больших GPT-3. Ни один игрок не может остановиться один.

Леонардо Ди Каприо на Южном Вокзале Бостона после съёмок «Не смотри вверх», 01.12.2020.
Дэвид Л. Райан, The Boston Globe

«Не отклоняйте астероид, он ценный»

(Да, это тоже происходит в «Не смотри вверх»!) Хоть половина исследователей ИИ даёт ему не менее чем десятипроцентный шанс вызвать вымирание человечества, многие противостоят попыткам предотвратить появление суперинтеллекта, заявляя, что он может принести нам много ценного – если не уничтожит нас. Даже до суперинтеллекта, ИИ, конечно же, может принести огромные богатства и власть отдельным людям, компаниям и государствам.

Это правда, что супеинтеллект может оказаться очень полезным, если он согласован.

Всё, что я люблю в цивилизации – продукт человеческого интеллекта, так что суперинтеллект может решить болезни и бедность и помочь человечеству процветать как никогда прежде, не только до следующих выборов, но миллиарды лет, и не только на Земле, но и по всему прекрасному космосу. И. Дж. Гуд кратко высказал это так: «Следовательно, ультраинтеллектуальная машина – последнее изобретение, которое людям когда-либо потребуется совершить, при условии, что машина достаточно смирна, чтобы рассказать нам, как держать её под контролем. Странно, что это так редко упоминают за пределами научной фантастики. Иногда стоит воспринимать её всерьёз.»

«Давайте обеспечим, чтобы сначала астероид прилетел в США»

Предназначение предложенной паузы – дать возможность установить планы и стандарты безопасности, чтобы человечество могло выиграть гонку между растущей мощью технологии и мудростью, с которой мы технологией управляем. Из всех, что я встречал, громче всего звучащее возражение против паузы – это «Но Китай!». Как будто шестимесячная пауза перевернёт исход геополитической гонки. Как будто потеря контроля в пользу китайских разумов страшнее, чем потеря контроля в пользу цифровых разумов, которых не заботят люди. Как будто гонка к суперинтеллекту – гонка вооружений, которую могут выиграть «мы» или «они», когда на самом деле это скорее всего суицидальная гонка, где единственный победитель – «оно».

«Не говорите об астероиде»

Ключевая причина того, что мы так мало слышим о риске суперинтеллекта (в сравнении с угрозой безработицы, предвзятости, и т.д.) – это нежелание о нём говорить. Для технических компаний логично бояться регуляций, а для исследователей ИИ – снижения финансирования. К примеру, звёздный состав нынешних и прошлых президентов крупнейших организаций из области ИИ недавно опубликовал заявление, одобряющее работу над длинным списком рисков ИИ, в котором суперинтеллект подозрительно не упоминается. Мейнстримные медиа, с редкими исключениями, тоже не примечают слона. Это печально, потому что первый шаг к отклонению астероида – начать широкое обсуждение того, что лучше всего по его поводу делать.

«Мы заслуживаем, чтобы в нас попал астероид»

Хоть каждый и имеет право придерживаться своих мизантропических взглядов, это не даёт права обрекать на погибель всех остальных.

«Астероиды – естественная следующая ступень жизни в космосе»

Хоть научная фантастика и наполнена осознающими себя человекоподобными ИИ, разделяющими человеческие ценности, сейчас уже ясно, что пространство возможных инопланетных разумов куда больше. Так что, если мы влетим в интеллектуальный взрыв вместо того, чтобы аккуратно направлять развитие, скорее всего, получившийся суперинтеллект не только заменит нас, но и будет лишён всего, хоть как-то напоминающего человеческие сознание, сочувствие и мораль – будет чем-то, что мы скорее посчитали бы нестановимой чумой, а не достойными наследниками.

«Это неизбежно, так что не надо пытаться этого избежать»

Нет лучшей гарантии провала, чем не пытаться. Хоть человечество и несётся к обрыву, мы пока до него не дошли, и ещё есть время затормозить, сменить курс и избежать падения – и вместо него насладиться всеми выгодами безопасного и согласованного ИИ. Для этого надо согласиться, что обрыв существует, и что падать с него не выгодно никому. Просто посмотрите вверх!

Среда, 20 августа, 2014

Краткое содержание: я предполагаю, что в поле рациональных навыков есть важные секреты, которые еще предстоит открыть. Они очень простые, но их освоение занимает много времени.

Я думала о том, что такое вообще рациональные навыки, и как они развиваются. Под «рациональными навыками» я имею в виду способы мыслить и чувствовать, которые помогают систематически увеличивать точность убеждений и воплощать свои ценности.

Та категоризация, которая интересует меня больше всего, основывается на том, каким образом можно осваивать эти навыки. Я попробовала представить схему приобретения рациональных навыков. Она выглядела примерно так.

Навыки из левого столбца осваиваются быстрее; навыки из правого столбца требуют и времени на изучение, и циклических повторений, и длинного списка последовательно приобретенных навыков. При том что навыки «сложные» и «требующие много времени на изучение» могут пересекаться, я не думаю, что это одно и то же.

У ребенка может занять много времени освоение математической операции «деление». Ему потребуется понять сложение, чтобы изучить вычитание и умножение, а потом умножение, чтобы выучить деление. И последняя операция, дающая правильный ответ, который зависит от умножения и вычитания (и деления, если нужна эффективность). Все вместе может занять довольно много времени.

Но если вы однажды уже освоили все кусочки базовой арифметики, последнее действие становится совсем легким. Более того, если у вас перед глазами есть подробная инструкция, это можно даже сделать правильно с первого раза. Сами кусочки достаточно просты, настолько, что достаточно исполнять алгоритм, даже без глубокого понимания. Это может быть сложно и долго, особенно если вы никогда раньше не видели арифметики, но наибольший логический шаг лежит в равной степени между сложением и умножением или между умножение и делением. Такие скачки может выполнить любой школьник. Ни одна составная часть не настолько сложна, чтобы её нельзя было осмыслить.

Но посмотрите на простейшие задачи из элементарной алгебры. Вдобавок к арифметическим операциям вам потребуется еще два кусочка: «делать одно и то же по обе стороны от знака равно», и «переменные». «Делать одно и то же по обе стороны от знака равно» даже проще, чем «деление в столбик».

Но «переменная» - нечто совершенно другое. Она требует совсем другой идеи. А это в свою очередь требует абстракции, которая не только непривычна, но и отстоит на несколько понятийных расстояний. Может быть, это даже самое большое понятийное расстояние, которое нужно преодолеть ребенку в традиционном математическом образовании, чтобы перейти к алгебре и тригонометрии. Это несложная идея, но невозможно «понять переменную наполовину». Либо ты понимаешь, либо нет, и если понимаешь, то элементарная алгебра внезапно становится осмысленной. «Переменная» - это, возможно, прозрение. И это довольно сложное прозрение, которое, как утверждает Джо Бойлер, большая часть взрослых так и не получили.

Я думаю, что Цепочки LessWrong по большей части подходят для получения таких прозрений. Это во многом не дающие никакой новой информации прозрения, которые иначе выстраивают сознание заново и готовят его к будущим прозрениям. Но это все равно прозрения. Это навыки, которые сложно приобрести, которые можно получить только разом, в данном случае, после чтения записей в блоге. Это по большей части штуки вида «понимание Х», или «осознания, что Y». И большинство возможных уроков в Цепочках - достаточно сложные, если только не случилось так, что у вас уже подходящая структура сознания. Отчасти поэтому большинство людей не меняют мнение сразу после первого поста. Поэтому Цепочки Lesswrong находятся в основном в левом верхнем углу схемы.

Воркшопы CFAR -а занимают целиком левую часть схемы. Большая часть всего, чему учат на их занятиях находится слева внизу–легко и быстро–потому что занятия длятся только 50 минут, и они скорее практические, чем теоретические. Вместо того, чтобы час читать вам лекцию, как будто зачитывая вслух посты из какой-нибудь Цепочки, они делают что-то вроде «Вот вам удивительно полезная техника. Давайте сделаем».

Например, CFAR учит технике «Триггеры если-то», которая известна в литературе по когнтивистике как «намерения по исполнению» . Она помогает для вещей, требующих много усилий, даже сильнее, чем дворец памяти, так как масштабы эффекта похожие, и очень большие, но «триггеры если-то» можно применять в любых ситуациях, которые вообще можно разложить на отдельные триггеры и отдельные действия. И все что нужно - научиться составлять достаточно конкретные «если-то» выражения, например: «Если я слышу будильник утром, я вскочу с кровати сразу». Еще CFAR обучает другим трюкам, вроде Murphey Jitsu, Факторизации Целей, Focused Grit, и Againstness. (Не переживайте, я сейчас укажу исключения для всех этих штук).

Остальной опыт обучения по программе CFAR , социализация вне занятий, обычно вызывает хотя бы одно озарение. Участники могут общаться с инструкторами и другими участниками, и, так как там находятся специально отобранные умные, сообразительные во многих смыслах люди, всегда кто-нибудь говорит «Ой, я никогда не думал об этом!»

CFAR дает один урок, который находится в нижнем правом углу схемы: Расширение Зоны Комфорта (Comfort Zone Expansion, или CoZE). CoZE в основном взято из экспозиционной терапии. Экспозиционная терапия может занять много времени. Хотя вы сразу можете заметить прогресс, вы обычно не избавляетесь от глубокого страха или тревоги за один раз. Требуется повторяющаяся экспозиция с постепенным увеличением интенсивности.

Но экспозиционная терапия довольно проста! Пугающая, но не слишком, и не сложная. Принципы простые, техника выполнения очевидная, и ничего больше. Потребуется только время. Поэтому CFAR отводит больше времени для CoZE, чем для других заданий. Есть стандартные 50 минут на подготовку к CoZE, и есть целые вечера для упражнений CoZE вне занятий, где все по несколько часов ищут многократного соприкосновения с пугающими вещами. CoZE - черепаший навык. «Медленный и упорный выигрывает гонку». Навык целиком зависит от небольших систематических усилий.

Некоторые другие техники CFAR могут быть на схеме к оси Х, но я не думаю, что есть другие, которые обязательно требуют многоразового повторения для установки.

Есть в программе CFAR один набор навыков, который, как я думаю, находится на схеме в правом верхнем квадрате: Байесовский вывод. Это не простое прозрение, и, если вам нужна версия, которая работает в реальной жизни, это не исправление распространенной ошибки. Когда я последний раз смотрела (в июне 2014), урок про Байесовский вывод не очень подходил под стандарты уроков по устранению типичных ошибок или CoZE, и я думаю, сейчас я по большей части понимаю, почему.

Байесовский вывод зависит от некоторых довольно запутанных привычек мышления. Это такие навыки, которые не только сложно освоить, но для которых еще требуется долго обрабатывать, много раз повторять, устанавливать много связей. Требуется несколько прозрений, несколько исправлений типичных ошибок, установка множества привычек, длинный и сложный процесс сбора этого всего в целостный паттерн Байесианства в мыслях и чувствах. Двухчасовые классы просто не тот формат, чтобы все это успеть.

[CFAR предлагает шесть недель личного сопровождения для каждого участника, так что есть возможность установки медленных навыков, помимо основного времени воркшопа. Но там все очень индивидуально, больше похоже на консультирование, чем на обычное преподавание, и эти консультации сложно оценить так же как Цепочки или стандартные уроки CFAR, поэтому я не буду подробно на этом останавливаться.]

Магию вроде Байесовского вывода определенно можно освоить. Я думаю, почти все, если не все такие навыки, приобретаются в результате освоения компонентов из трех других квадратов и их переплетения в течение некоторого времени.
Если и есть рациональные навыки, которые требуют тупо медленного и сложного обучения, я про такие не знаю. Я подозреваю, что большинство нереально крутых эпистемических навыков - это такая магия. И пока даже объединенные CFAR и Цепочки редко приводят людей к ней.

Я выучила несколько сложных вещей. Я научилась доказывать теоремы нестандартной математики, которые отвергают мою базовую логическую интуицию. Я научилась интерпретировать старую причудливую абстрактную Индийскую философию. Я научилась вестить в блюзе, как никто другой. И я не могу представить ни одного навыка, который бы я приобрела так просто, и который при этом не раскладывался бы на простые исправления типичных ошибок, необходимость их обмозговать и кучу небольших систематических усилий.

Может быть я неправа, и большинство навыков Волшебника требуют медленного и сложного освоения. В конце концов, это бы объясняло, почему я до сих пор не на уровне Бейсудзукай. Должно быть что-то, что умеют Анна Саламон и Элиезер Юдковски, а я нет; может, это как раз оно.

Но, что определенно есть у Анны и Элиезера, чего нет у меня? Практики. Многих и многих лет практики. Я услышала слово «рационалист» вне рамок философии Декарта всего два года назад. Может быть поэтому, несмотря на то что большинство моих прозрений из материалов Lesswrong я уже получила, и большую часть типичных ошибок из курса CFAR я уже исправила, есть еще какой-то третий класс легко изучаемых навыков, которые мне еще нужно освоить, чтобы собрать их все воедино и стать намного сильнее, как рационалист.

Если это правда, то это очень хорошие новости! Это значит, что я могу посмотреть на навыки Волшебника, которые мне нужны, и разбить их на озарения и простые шаги, которые я уже умею, и могу спросить себя, «Какая часть этой мозаики может потребовать небольших последовательных усилий?» И я могу прийти к полезному ответу!

За исключением одного, все навыки, которые я получила напрямую от Элиезера, пока жила с ним весь прошлый год, подтверждают это гипотезу. (Он дал мне одно внезапно крутое озарение, которое было «ошибайся больше».) Все остальные приблизительно следовали такому паттерну.

1. Он подчеркивал важность чего-то, что я уже понимала, одновременно абстрактно в теории и конкретно на практике.

2. Я решала практиковать ПОСТОЯННУЮ БДИТЕЛЬНОСТЬ, как защиту от единственного режима провала, который связан с недостатком навыка.

3. Я замечала ошибку несколько раз в течение нескольких дней или недель, пока не научалась предсказывать, когда я ошибусь в следующих раз.

4. Я практиковала ПОСТОЯННУЮ БДИТЕЛЬНОСТЬ до тех пор, пока я не научалась ощущать, что ошибка вот-вот случится.

5. Я пробовала несколько способов реагировать на чувство, что ошибка вот-вот собирается, чтобы узнать как может ощущаться решение проблемы.

6. Я обдумывала результаты некоторое время.

7. Часто я рассказывала свои наблюдения Элиезеру, для получения обратной связи.

8. Я составляла (обычно даже не на бумаге) план «триггер-действие» с триггером «Я заметила, что я испытываю чувство, что ошибка вот-вот случится, если я ничего не сделаю», и с действием, которое, как я ожидаю, предотвратит ошибку.

9. Я практиковала этот кусочек «триггер-действия», пока он не начинал ощущаться как привычный.

10. Я создавала своё понимание проблемы, и ее включение в мою практику.

Представьте мастер-рационалистку, которая сделала упражнение по такой же схеме, только для какого-нибудь магического навыка, предварительно разбив его на навыки из трех других квадратов. И представим, что она хочет научить меня этому навыку. Она может сказать, что нужно будет понять, надеясь спровоцировать появление нужных быстрых но сложных озарений. Она может дать мне несколько простых способов исправить типичные ошибки, если быстрые и простые решение являются частью этого навыка. Потом для каждого простого, но медленного компонента, она может серьёзно увеличить мою скорость обучения, снабдив меня, или по другому помогая мне обнаружить, следующую информацию.

1. Как ощущается обнаружение самой ошибки, или как понять, на что это ощущение похоже.

2. Как ощущается обнаружение, что ошибка вот-вот произойдет, или на что это ощущение может быть похоже.

3. Что делать, когда я обнаружила это ощущение, или несколько вариантов того, что стоит попробовать.

Собрание таких советов для медленных навыков, особенно, если они представлены в виде, который способствует систематическим проверкам и небольшим усилиям по улучшению, будет новым видом рационального ресурса.

Это, однако, не будет беспрецедентным в других областях. Даже не собирая информацию, я могу вспомнить книги приблизительно об этом для йоги, практик осознанности, написания текстов, и физики. Я думаю, нам нужна своя такая книга, про искусство рациональности.

Когда я вспоминаю о теореме Ауманна о согласии, у меня возникает рефлекторное желание найти среднее значение. Ты считаешь, что вероятность события X — 80 %, а я приписываю ему вероятность в 60 %. После обмена мнениями мы оба, наверное, должны сойтись на 70 %. «Возьми среднее арифметическое от начальных убеждений», или даже «посчитай взвешенное среднее, зависящее от авторитета» — частые эвристики.

Эта стратегия работает не всегда. Иногда лучшая комбинация не просто не похожа на среднее значение, но даже выходит за пределы отрезка [наименьшая оценка, наибольшая оценка].

Скажем, Джейн и Джеймс хотят определить, симметрична ли монета. Они оба считают, что она симметрична с вероятностью 80 %. Также им известно, что если монета несимметрична, то она наверняка из числа тех, что выпадают орлом в 75 % случаях.

Джейн пятикратно подбрасывает монету, совершает идеальное байесианское обновление убеждений и делает вывод, что монета несимметрична с вероятностью 65 %. Джеймс пятикратно подбрасывает монету, совершает идеальное байесианское обновление убеждений и делает вывод, что монета несимметрична с вероятностью 39 %. Эвристика усреднения предполагает, что правильный ответ находится где-то между 65 % и 39 %. Однако идеальный байесианец, услышавший оценки Джейн и Джеймса, знающий их априорные вероятности, и установивший, какие свидетельства они наблюдали, сделает вывод о 83 % вероятности несимметричности монеты.

(Математические выкладки перенесены в конец статьи)

Возможно, Джейн и Джеймс объединяют свою информацию в центре многолюдной таверны, и поблизости нет ни ручки, ни бумаги. Может быть, у них не хватает времени или памяти для того, чтобы рассказать друг другу о всех результатах бросков. Поэтому они просто сообщают друг другу апостериорные вероятности — хорошее, короткое резюме, самое то для пары спешащих рационалистов. Возможно, именно в этой лаконичности таится причина желания усреднять апостериорные убеждения.

И всё-таки, существует альтернатива. Джейн и Джеймс могут обменяться отношениями правдоподобия. Также, как и апостериорные вероятности, отношения правдоподобия суть сжатый конспект; и, в отличии от апостериорных вероятностей, обмен отношениями правдоподобия действительно работает.

Давайте послушаем беседу, в которой Джейн и Джеймс обмениваются отношениями правдоподобия:

ДЖЕЙН: Вероятность моих наблюдений при условии несимметричности монеты в семь с половиной раз выше, чем вероятность моих наблюдений при условии симметричности монеты.

ДЖЕЙМС: Мои наблюдения при условии несимметричности монеты в два с половиной раза вероятнее, чем при условии симметричности монеты.

ВДВОЁМ, в унисон: Значит, вероятность совокупности наших наблюдений при условии несимметричности монеты примерно в 19 раз выше, чем при условии её симметричности. Но наша априорная вероятность того, что монета несимметрична равна 20 %, что означает отношение априорных шансов 1:4. Применив теорему Байеса, получаем (1:4)*(19:1), что примерно равно 5:1 в пользу несимметричной монеты.

[ЗАВСЕГДАТАИ БАРА осторожно выскальзывают из помещения, пугливо оглядываясь]

И сейчас, увидев, как именно работает обмен отношениями правдоподобия, ты наверняка страстно хочешь воспользоваться этим приёмом из арсенала рационалистов в повседневной жизни.

Поэтому, как и в других подобных случаях, имеет смысл привести несколько примеров их применения.

1) Отделяй свидетельства от априорных вероятностей. Пару раз я наблюдал беседы примерно следующего вида:

Алиса: Что ты думаешь о Джеке?

Боб: По-моему, человек как человек, довольно средний в плане (ума\надёжности\чего-то там). Не думаю, что он ниже среднего, но и выдающимся я бы его не назвал.

Алиса: По какой именно причине ты не считаешь его выдающимся? Ты наблюдал что-то, говорящее о том, что он не выдающийся? Или просто большинство людей — середняки, и ты не видел ничего, что позволило бы считать Джека особенным? Где именно расположен пик твоей функции правдоподобия?

Такой стиль ведения диалога очень полезен. Пусть, например, первоначальное впечатление Алисы о Джеке крайне положительно, а мнение Боба не так положительно. Если Боб хорошо знает Джека, то Алисе придётся понизить своё мнение о Джеке. Однако если мнение Боба — следствие слишком малого количества положительных данных о Джеке, недостаточного для того, чтобы переместить Джека из категории «скорее всего, обычные люди» в категорию «скорее всего, выдающиеся люди», то Алисе нужно повысить свою оценку способностей Джека. В обоих этих случаях апостериорные убеждения Боба одинаковы, хотя его наблюдения несут в себе разительно отличающиеся следствия для Алисы. Эта разница теряется при обмене апостериорных убеждений, но учитывается при обмене отношениями правдоподобия.

2) Не считай априорные вероятности дважды. Робин Хансон предложил корректировать баллы, набранные женщинами в SAT по математике в сторону среднего значения (уменьшать высокие значения и увеличивать низкие), если математические навыки женщин характеризуются меньшим среднеквадратичным отклонением, чем математические навыки мужчин. Забудем о моральной стороне этого вопроса; такая корректировка действительно улучшит применимость результатов для оценки математических способностей людей, о которых неизвестно ничего, кроме результата их SAT. Вполне возможно, что женщина, набравшая 800 баллов, набрала их благодаря какой-нибудь случайности, однократному везению; если провести несколько последующих тестирований, то их результаты будут лежать в окрестности того же значения, что и результаты повторного тестирования мужчины, изначально набравшего, скажем, 770 баллов.

Можно сказать, что, возможно, математическое ожидание результатов (так сказать, «истинная степень способностей к математике») женщины, набравшей 800 баллов, ничем не отличается от математического ожидания результатов мужчины, набравшего 770 баллов.

Однако, такая корректировка результатов перемешивает априорные вероятности и отношения правдоподобия. Баллы за SAT лучше воспринимать в качестве функций правдоподобия: люди с высокими «истинными способностями» набирают 800 баллов чаще, чем люди со средними «истинными способностями», и так далее. Смешивая такие функции правдоподобия с априорными вероятностями (так, как это делает гендерно-зависимая корректировка баллов), ты затрудняешь комбинирование нескольких индикаторов.

Например, пусть 800 баллов, набранные женщиной, говорят о том же уровне «истинных способностей», что и 770 баллов, набранные мужчиной (благодаря различию априорных вероятностей и возможности несправедливого тестирования). Тогда «женские» 800 баллов, набранные дважды (в ходе двух независимых тестирований), будут говорить о большем уровне «истинных способностей», чем дважды набранные «мужские» 770 баллов. Гендерно-зависимая корректировка баллов хорошо работает для одного обособленного теста, но плохо показывает себя в ситуации, когда смешанных индикаторов несколько. Нелегко комбинировать несколько загрязнённых априорными вероятностями свидетельств (например, несколько скорректированных результатов SAT, или скорректированный SAT вместе со скорректированными рекомендательными письмами), не скосив результат в ту или иную сторону.

Общая идея всех этих примеров состоит в необходимости сохранять отношения правдоподобия. Вместо того, чтобы отслеживать кредит доверия к теории-лидеру, или помнить теорию, лучше всего характеризующую множество оставшихся возможностей (например, среднюю по всем теориям оценку качеств Джека), попытайся отслеживать, насколько вероятен весь набор имеющихся данных в свете той или иной гипотезы (а ещё тебе понадобится помнить все априорные вероятности). Я подозреваю, что эта тактика поможет и в борьбе с предвзятостью подтверждения; не знаю, проявятся ли после её использования какие-нибудь вредные побочные эффекты.

Главное предостережение: и в примере с монетой, и в примере с оценками незаурядности Джека, объединение отношений правдоподобия привело к более экстремальным убеждениям (в общем случае, объединение отношений правдоподобия может не привести к более экстремальным убеждениям, но оно почти всегда ведёт к точнее выраженным убеждениям). Если ты собираешься повторить это в домашних условиях, то удостоверься в том, что объединяемые индикаторы независимы. В противном случае ты рискуешь получить неоправданно экстремальные (или неоправданно специфичные) убеждения.

Выкладки, касающиеся примера про монету:

Раз апостериорная оценка Джеймса равна 39 %, то он явно наблюдал четыре орла и одну решку:

P(четыре орла и одна решка|монета несимметрична) = (0,75^4 • 0,25^1) = 0,079. P(четыре орла и одна решка|монета симметрична) = 0,031. P(монета несимметрична | четыре орла и одна решка) = (0,2•0,079)/(0,2•0,079 + 0,8•0,031) = 0,39, что и сообщил Джеймс.

Рассуждая аналогично, выясняем, что Джейн видела пять орлов и ни одной решки.

Подставляем в теорему Байеса девять орлов и одну решку:

P(монета несимметрична | девять орлов и решка) = ( 0,2 • (0,75^9 • 0,25^1) ) / ( 0,2 • (0,75^9 • 0,25^1) + 0,8 • (0,5^9 • 0,5^1) ) = 0,83, из чего и получается 83 % убеждение о том, что монета несимметрична

Проверочный список рациональных привычек

С помощью этого проверочного списка вы можете определиться, какие рациональные привычки вам хочется приобрести и следить за собственным прогрессом. Он не предназначен для того, чтобы измерять “насколько вы рациональны”. Скорее, он нужен, чтобы помочь вам обратить внимание на некоторые привычки, которые вы, возможно, захотели бы развить у себя.

Для каждого пункта списка, спросите себя - последний раз я пользовался этой привычкой:

• Никогда
• Сегодня/вчера
• На этой неделе
• В этом месяце
• В этом году
• В прошлом году или ещё раньше

Рациональные привычки

1. Реакция на свидетельства/неожиданные события/аргументы, которые вы не слышали раньше. Сортировка убеждений для дальнейшего исследования.

   1. Когда я сталкиваюсь с чем-то странным - чем-то, чего я с учётом своих прочих убеждений не ожидал - я успешно это замечаю, сознательно обращаю на это внимание и думаю: “Я замечаю, что я озадачен” или что-то в этом духе. (Пример: Вы собираетесь в другой город и считаете, у вас билет на рейс в четверг. Во вторник вы получаете емэйл от центра бронирования билетов, в котором вам советуют приготовиться к полёту “завтра”. Это кажется вам ошибкой. Задумаетесь ли вы всерьёз над этой аномалией? (Пример основан на опыте реального участника встреч LW, который в аналогичном случае не смог заметить своё замешательство и пропустил свой рейс.))

   2. Когда кто-нибудь что-то рассказывает, а я не могу достаточно чётко это представить, я обращаю на это внимание и прошу примеры. (Свежий пример от Элиезера: Студент, изучающий математику, сказал, что они проходят “стеки”. Я попросил пример стека. Мне сказали, что целые числа могут образовывать стек. Я попросил пример чего-нибудь, что стеком не является.) (Свежий пример от Анны: Кэт сказала, что её парень очень азартный. Я попросила её описать, что значит “очень азартный”. Она ответила, что когда её парень за рулём и кто-то рядом жмёт на газ, он считает, что первым должен покинуть перекрёсток. А когда он пассажир, он бесится, если водитель не поступает так же.)

   3. Я замечаю, когда мой разум начинает защищать какую-то сторону (вместо того, чтобы определять, какую сторону выбрать) и отмечаю такую реакцию как ошибочную. (Свежий пример от Анны: Поймала себя на мысли, что объясняю себе, почему имеет смысл перепоручить кому-нибудь покупку своей одежды, вместо того, чтобы оценить, стоит ли перепоручать покупку вообще.)

   4. Я обращаю внимание, когда мой разум избегает какой-то мысли, и после этого отмечаю, что этот вопрос требует более тщательного исследования. (Свежий пример от Анны: У меня есть такой режим провала - если я чувствую себя неловко в компании, я пытаюсь убедить других в том, что они не правы, чтобы не чувствовать себя слишком уязвимой. Чтобы оформить эту мысль в слова потребовались неоднократные сознательные усилия, поскольку мой разум постоянно пытался от неё отделаться.)

   5. Я сознательно пытаюсь приветствовать плохие новости или хотя бы пытаюсь не закрывать на них глаза. (Свежий пример от Элиезера: Во время брейншторма, посвящённого будущему саммиту по сингулярности, встал вопрос о том, что на предыдущих мы не собирали пожертвования. Мой мозг начал сопротивляться, поэтому я применил шаблон “плохая новость - это хорошая новость”, чтобы переформулировать утверждение следующим образом: “Набранное количество денег за прошлые годы всё равно не изменится, поэтому это хорошая новость, поскольку мы можем изменить стратегию и в этом году действовать эффективней.”)

2. Исследование и анализ убеждений (после того, как вы обратили на них внимание).

   1. Я замечаю, когда не проявляю любопытства. (Свежий пример от Анны: Когда кто-нибудь меня критикует, обычно я ловлю себя на мысли о том, что я хочу защищаться, и мне нужно представить мир, где критика верна, и мир, где она неверна, чтобы убедить себя узнавать именно то, что я на самом деле хочу узнать. Например, нас критиковали за то, что мы предоставили неверную исходную информацию к статистике, которую мы собирали на Rationality Minicamp. И, чтобы переключить свой мозг из защитного режима в режим “стоит ли нам поступать по-другому”, мне пришлось представить последствия того, что я буду объяснять, почему я не могла сделать ничего лучше того, что сделала, и сравнивать их с возможными последствиями того, что я представлю, как можно было бы сделать лучше в следующий раз.)

   2. Я ищу настоящие причины своих убеждений, эмоций и привычек и в процессе я могу подавлять стремления к самооправданию или отбрасывать самооправдания, которые не связаны с настоящими причинами моих мыслей. (Свежий пример от Анны: Когда выяснилось, что мы не можем арендовать для Minicamp заранее выбранное место, я нашла огромное множество причин, чтобы во всём обвинить человека, который это место предложил, но осознала, что мои эмоции большей частью были вызваны страхом, что меня обвинят в чрезмерных расходах.)

   3. Я пытаюсь рассматривать абстрактные аргументы или шаги доказательства на конкретных примерах. (Классический пример: Ричарда Фейнмана очень удивило, когда бразильские студенты не понимали, что под “преломляющей средой” подразумевается, например, вода. Если кто-то рассказывает вам о доказательстве утверждения, верного для всех целых чисел, проверите ли вы его для числа 17? Если в вашей голове крутится мысль о том, что ваш сосед очень неряшлив, проверите ли вы свои аргументы для какого-то конкретного проявления его неряшливости?)

   4. Когда я выбираю между двумя (или более) гипотезами с помощью некоторого свидетельства, я представляю мир, где выполняется гипотеза 1 и пытаюсь оценить априорную вероятность, с которой это событие случилось бы в этом мире, а затем представляю мир, где выполняется гипотеза 2, и оцениваю, становится ли в этом мире свидетельство более предсказуемым или менее. (Исторический пример: После нескольких часов допроса Аманда Нокс в своей камере несколько раз выполнила “колесо”. Обвинитель заявил, что она таким образом праздновала убийство. Если бы вы столкнулись с таким аргументом, стали бы вы придумывать способ объяснить, что исполнение “колеса” наоборот свидетельствует о её невиновности? Или вы бы сперва представили невиновного заключённого, затем виновного, и спросили бы, с какой частотой, по-вашему, такие люди исполняют “колесо” в камере, чтобы понять, с какой вероятностью это свидетельствует об одном или о другом?)

   5. Я пытаюсь осознанно оценивать априорные вероятности и сравнивать их с очевидной силой свидетельства. (Свежий пример от Элиезера: В разговорах о паранормальных явлениях я сразу заявляю, что я буду обращать внимание только на свидетельства со статистической значимостью p < 0.0001, как делается в физике, а не с p < 0.05.)

   6. Когда я сталкиваюсь со свидетельством, которого недостаточно, чтобы значительно изменить мои убеждения или поведение, но которое всё же более вероятно случается в мире X, чем в мире Y, я стараюсь хотя бы немного изменить мои представления о вероятностях. (Свежий пример от Анны: После того, как мне сбили зеркало заднего вида, я осознала, что должна немного изменить свою уверенность в том, что я хороший водитель. Хотя юридически и, скорее всего, фактически виновата была не я, это происшествие более вероятно в том мире, где я вожу хуже.)

3. Обработка внутренних конфликтов. Реакция на желания, которые кажутся несовместимыми. Реакция на стресс.

   1. Я замечаю ощущение, когда кажется, что я и мой мозг верим в разные вещи (расхождение между убеждениями и ощущениями), и после этого останавливаюсь и спрашиваю, кто из нас прав. (Свежий пример от Анны: Прыжок на тарзанке с отеля «Стратосфера» в Лас-Вегасе. Я знала, что это безопасно, на основании того, что 40 тысяч людей это успешно проделали и не получили серьёзных травм. Но, чтобы убедить мой мозг, мне пришлось представить как все студенты моего колледжа два раза прыгают отсюда и выживают. Кроме этого, мой мозг иногда бывает более пессимистичен, чем я, особенно в социальных вопросах, и при этом почти всегда ошибается.)

   2. Когда мне нужно принять сложное решение, я пытаюсь переформулировать задачу, чтобы уменьшить влияние различных когнитивных искажений. (Свежий пример от брата Анны: Когда он решал вопрос, стоит ли ему переехать в Кремниевую долину и поискать более высокооплачиваемую работу программиста, чтобы избежать стремления к сохранению статус-кво, он переформулировал вопрос так: если бы он уже жил в Кремниевой долине, согласился ли бы он на понижение зарплаты в 70 тысяч долларов, чтобы переехать в Санта-Барбару к своим друзьям по колледжу? (Ответ: нет.))

   3. Когда мне нужно принять сложное решение, я проверяю, какие мои соображения являются консеквенционалистскими, в смысле, какие мои соображения действительно связаны с последствиями решения в будущем. (Свежий пример от Элиезера: Я купил матрас за 1400 долларов, чтобы решить свои проблемы со сном. Поскольку я его покупал через интернет, он мне обошёлся значительно дешевле, но его нельзя было вернуть. Когда выяснилось, что этот новый матрас мне не слишком помогает, мне не слишком хотелось тратить ещё деньги на ещё один матрас. Я напомнил себе, что 1400 долларов - это необратимые издержки, никак не влияют на будущее и ничуть не меняют важность и масштаб хорошего сна. Спать приходится каждый день, и сон серьёзно влияет на самочувствие каждый день.)

4. Что вы делаете, когда ваши мысли или споры ходят по кругу и ни к чему не приводят.

   1. Я пытаюсь сформулировать конкретное предсказание, по поводу которого ожидания, следующие из различных убеждений, или ожидания различных людей точно не совпадут. Просто, чтобы убедиться, что разногласие действительно имеет место. (Свежий пример от Майкла Смита: Один человек беспокоился, что тренинг по рациональности может оказаться «обманом». Я спросил его, готов ли он сделать предсказание по поводу результатов тренинга на основании того, что это «обман», и будет ли его предсказание отличаться от моего.)

   2. Я пытаюсь придумать эксперимент, возможные результаты которого либо устроят меня (в случае внутреннего спора) или по поводу которых согласятся мои друзья (в случае дискуссии в группе). (Именно так мы разрешили долгий спор о том, как назвать Центр прикладной рациональности - Джулия просто попросила 120 человек высказать своё мнение по поводу вариантов названий.)

   3. Если я обнаруживаю, что мои мысли ходят по кругу вокруг конкретного слова, я пытаюсь табуировать это слово, то есть, думать без использования этого слова, его синонимов и эквивалентных понятий. (Речь, например, о размышлениях, “достаточно ли ты умный”, является ли твой партнёр “невнимательным” или “пытаешься ли ты поступать правильно”.) (Свежий пример от Анны: Посоветовала одному человеку перестать тратить столько времени, размышляя, являются ли действия его или других людей оправданными. Он ответил, что просто пытается поступать правильно. Я попросила его затабуировать слово «пытаюсь» и рассказать, о чём он на самом деле размышляет.)

5. Внимание к поведению (привычкам, стратегиям) для их пересмотра.

   1. Я осознанно размышляю о ценности информации, когда решаю, попробовать ли что-то новое или исследовать какой-то вопрос, по поводу которого я сомневаюсь. (Свежий пример от Элиезера: Заказал тренировочный мяч за 20 долларов, чтобы проверить, улучшит ли сидение на нём мою внимательность и/или поможет спинной мускулатуре.) (Не очень свежий пример от Элиезера: После нескольких месяцев прокрастинации, благодаря постоянным придиркам Анны по поводу ценности информации наконец попробовал писать в компании наблюдателя. Обнаружил, что моя продуктивность выросла в четыре раза. В буквальном смысле, если считать в словах в день.)

   2. Я выражаю последствия в числах - как часто, как долго, насколько интенсивно. (Свежий пример от Анны: Когда Джулия отправилась проводить опрос по поводу названия Центра, я беспокоилась, что один человек обидится за то, что мы не дали ему поучаствовать в принятии решения. Чтобы перестать беспокоиться, мне пришлось сделать мысленное усилие и представить, насколько это маловероятно, насколько мало он обидится, и как коротко эта обида продлится.) (За последний год мы наблюдали ещё три реальных случая: Люди беспокоились, что их родители подумают о том, что они меняют карьеру. Чтобы понять, что это соображение не должно быть главным, им нужно было осознанно оценить, насколько сильную эмоциональную боль они причинят родителям своим решением и сколько времени родителям потребуется, чтобы привыкнуть к этому решению.)

6. Пересмотр стратегий, формирование новых привычек, новые шаблоны поведения.

   1. Я замечаю, когда что-нибудь приводит к тому, что я избегаю действий, которые хотел бы повторять. (Свежий пример от Анны: Я заметила, что каждый раз, когда я нажимаю кнопку «Отправить» в окне электронной почты, я представляю все варианты, как плохо может отреагировать получатель и что ещё вообще может пойти не так. В результате меня словно слегка било током каждый раз, когда я отправляла письмо. Я, во-первых, прекратила так делать, во-вторых, завела привычку улыбаться каждый раз, когда я нажимаю на «Отправить», что обеспечило моему мозгу положительное подкрепление. Вместе это сильно снизило прокрастинацию в отношении писем.)

   2. Я разговариваю со своими друзьями или использую другие социальные механизмы, подталкивающие к нужному поведению. (Свежий пример от Анны: Чтобы подпитывать мозг глюкозой, я пью грейпфрутовый сок. Однажды я обнаружила, что после окончания работы какое-то количество сока ещё осталось. Чтобы предотвратить ошибку необратимых затрат, я посмотрела на Майкла Смита и в шутку сказала: «Но если я не допью его сейчас, он же испортится!» ) (Пример от Элиезера: Когда у меня были трудности с тем, чтобы вовремя лечь спать, я, во-первых, разговаривал с Анной о дурацких причинах, которые мой мозг использует, чтобы до сих пор продолжать бодрствовать, во-вторых, вместе с Люком разработал систему, в которой я заносил отметку «а+» в рабочий журнал каждый вечер, когда я шёл в душ, чтобы лечь спать вовремя и «a-» каждый раз, когда я этого не делал.)

   3. Чтобы выработать новую привычку, я вознаграждаю своего внутреннего голубя за её применение. (Пример от Элиезера: Многие отмечают, что со мной стало намного приятней общаться после… трёх повторений 4-часовых сессий писательства, во время которых меня вознаграждали M&M (и улыбкой) всякий раз, когда я делал кому-то комплимент, т.е. вспоминал сказать вслух что-то приятное из того, что я подумал.) (Свежий пример от Анны: Вчера я вознаградила себя улыбкой и радостным жестом за то, что я обратила внимание, что я занимаюсь низкоприоритетными задачами, не задумавшись о том, чтобы вспомнить о высокоприоритетных. Замечать ошибки - это хорошая привычка, и я тренируюсь вознаграждать себя за неё, а не испытывать вину.)

   4. Я пытаюсь не полагаться на то, что у меня волшебная свобода воли. Я пытаюсь влиять (привычками, созданием нужных ситуаций и так далее) на то, как я себя веду. Я не пытаюсь полагаться, что моя воля просто позволит сделать всё, что нужно. (Пример от Аликорн: Я избегаю изучать мнение политиков по поводу контроля оружия, потому что оно вызывает у меня сильную эмоциональную реакцию, которая мне не нравится.) (Свежий пример от Анны: Я подкупила Карла, чтобы он заставлял писать в журнал каждую ночь.)

   5. Я смотрю на себя со стороны. (Свежий пример от Анны: Обычно я звоню своим родителям раз в неделю, но пару недель этого не делала. Какая-то часть моего мозга заявила: «Я не могу позвонить сегодня, потому что сегодня я очень занята». Другая часть мозга ответила: «Глядя со стороны, сегодня действительно какой-то особый день, когда ты занята больше обычного, и изменится ли что-нибудь к завтрашнему дню?»)

В других форматах

• PDF-версия
• Исходник от PDF-версии для InDesign
• Альтернативная PDF-версия

Мы никогда не узнаем их имён.

О первой жертве и не могло остаться записей, ведь письменности ещё не существовало. Это была чья-то дочь, чей-то сын или чей-то друг, этого человека кто-то любил. И ему было больно, он был покрыт сыпью, испуган, не понимал, почему это всё происходит и что делать – жертва безумного нечеловеческого бога. Ничего сделать было – у человечества было недостаточно сил и знаний, чтобы дать отпор невидимому монстру.

Оно было в Древнем Египте, где поражало как рабов, так и фараонов. Оно без труда вырезало армии Рима. Оно убивало в Сирии. Оно убивало в Москве. В Индии оно убило пять миллионов. Оно убивало тысячу европейцев каждый день XVIII века. Оно убило больше 10 миллионов индейцев. От Пелопонесской Войны до Войны Севера и Юга от него погибало больше солдат и мирных людей, чем от любого оружия и любой армии. (Не то чтобы это останавливало самых глупых и бездушных от попыток использовать демона как оружие против своих врагов.)

Культуры расцветали и увядали, а оно оставалось. Империи ширились и разваливались, а оно процветало. Идеологии придумывались и забывались, а ему было всё равно. Убивать. Калечить. Распространяться. Древний безумный бог, скрытый от глаз, с которым нельзя было сражаться, которому нельзя противостоять, нельзя даже понять. Не единственный такой, но самый разрушительный.

Долгое время надежды не было – только горькое, пустое терпение выживших.

В XV веке в Китае человечество начало давать отпор.

Было замечено, что сумевших пережить проклятье безумного бога оно больше никогда не затронет: они переняли часть этой силы для себя, и были от неё защищены. Мало того, этой силой можно поделиться, поглотив остатки из ран. Это было не без цены, нельзя забрать силу бога, сначала не победив его, но в меньшей битве, на условиях человечества.

К XVI веку технология дошла до Индии, потом через всю Азию до Османской Империи, и, в XVIII веке, до Европы. В 1796 году Эдвард Дженнер придумал более продвинутую технику.

Начала зарождаться идея: может быть, древнего бога можно убить.

Шёпот стал громче, стал криком, крик стал боевым кличем, разносясь по деревням, городам и странам. Человечество начало кооперироваться, распространяя по земному шару оберегающую силу, выделяя мастеров этого ремесла для защиты народов. Бывшие заклятые враги объединялись ради общего дела на эту одну битву. Правительства обязывали жителей защитить себя, ведь отдать древнему врагу даже одну жизнь – значило поставить под опасность миллионы.

И пядь за пядью человечество теснило своего врага назад. Меньше друзей рыдало; меньше соседей было искалечено; меньше родителей хоронили своих детей.

К началу XX века человечество впервые изгнало врага из целых регионов планеты. Человечество много раз оступалось в своих попытках, но были те, кто никогда не сдавался, кто сражался за мечту о мире, где ни одному ребёнку и ни одному любимому больше никогда не придётся бояться демона. Виктор Жданов, который призвал человечество объединиться для последней атаки на демона; великий тактик Карел Рашка, который составил стратегию для уничтожения врага; Дональд Хендерсон, который возглавлял усилия в эти последние дни.

Враг слабел. Миллионы стали тысячами, тысячи – десятками. И когда враг наносил удар, множество людей выходило, чтобы отразить его, защитить всех тех, кто мог быть в опасности.

Последнее нападение врага на свободе пришлось на Али Маоу Маалина в 1977 году. Ещё месяцы целеустремлённые люди прочёсывали окружающую территорию, выискивая последние убежища, где враг ещё мог прятаться.

Они не нашли ничего.

Тридцать пять лет назад, 9 декабря 1979 года, человечество объявило о победе.

Это зло, этот ужас, что старше памяти, монстр, забравший жизни 500 миллионов людей, был уничтожен.

Вы – представители вида, что сделал это. Никогда не забывайте, на что мы способны, объединившись, и объявив войну тому, что в мире неправильно.

Поздравляем вас с Днём Ликвидации Оспы.

Этот текст распространяется под лицензией Creative Commons Attribution 4.0 International License.

В последние месяцы [пост от мая 2023 года – прим. пер.] появление мощных диалоговых ИИ-систем активизировало обсуждение всевозможных рисков ИИ. Это, надеюсь, ускорит проработку подходов к регуляции этой области. Есть консенсус по поводу необходимости регулировать ИИ для защиты людей от дискриминации, предвзятости и дезинформации. А вот по поводу потенциальной опасной утраты контроля над мощными ИИ-системами мнения исследователей расходятся. Эта тема известна ещё как экзистенциальные риски ИИ – риски, которые могут возникнуть, когда ИИ системы смогут автономно (без участия людей, проверяющих, какие действия приемлемы) действовать в мире потенциально катастрофически опасным образом. Некоторые считают, что эти риски отвлекают от более конкретных рисков или конкретного вреда, который уже происходит или начнёт происходить совсем скоро. В самом деле, пока что невозможно сказать с уверенностью, как именно могут произойти такие катастрофы. В этом посте мы начнём с набора формальных определений, гипотез и утверждений об ИИ-системах, способных навредить человечеству, а затем обсудим возможные условия, при которых такие катастрофы могут произойти. Мы попытаемся поконкретнее представить, что может случиться, и какие глобальные курсы действий могут помочь минимизировать эти риски.

Определение 1: Потенциально мятежный ИИ – это автономная ИИ-система, действия которой могут катастрофически навредить большой доле людей и потенциально подвергнуть опасности наше общество, или даже наш вид и биосферу.

Краткий обзор

Хоть пока и не существует очень опасных ИИ-систем, которые могли бы отобрать у нас контроль, недавние прорывы в способностях генеративных ИИ, таких как большие языковые модели (LLM), уже вызывают беспокойство. Человеческий мозг – биологическая машина, и мы сильно продвинулись в понимании и демонстрации принципов, которые позволяют проявиться нескольким аспектам человеческого интеллекта, вроде выучивания интуитивных знаний по примерам и умелой манипуляции речью. Хоть я и считаю, что мы можем спроектировать ИИ-системы, которые были бы полезными и безопасными, для этого понадобится следовать некоторым принципам, например, ограничивать их агентность. С другой стороны, недавний прогресс наводит на мысль, что даже будущее, в котором мы будем знать, как создать суперинтеллектуальные ИИ (то есть, ИИ, которые в целом умнее людей), ближе, чем большинство людей ожидало всего год назад. Даже если бы мы знали, как создать безопасный суперинтеллектуальный ИИ, оставалось бы неясно, как предотвратить создание ещё и потенциально мятежных ИИ. Мятежные ИИ, скорее всего, будут руководствоваться целями, т. е., будут действовать для их достижения. У нынешних LLM нет или почти нет агентности, но их можно превратить в преследующие цели ИИ-системы, как показал пример Auto-GPT. Лучшее понимание того, как могут возникать мятежные ИИ, продвинет как техническую сторону вопроса (проектирование ИИ-систем), так и социальную (минимизация шансов, что люди создадут потенциально мятежные ИИ), и так может помочь предотвратить катастрофу. Поэтому мы составляем разные сценарии и гипотезы о том, что может привести к возникновению потенциально мятежных ИИ. Самый простой для понимания сценарий – если способ создания мятежного ИИ обнаружен и общедоступен, то этого достаточно, чтобы один или несколько геноцидно-настроенных людей такие ИИ и создали. Это очень весомый и опасный вариант, но набор опасных сценариев этим не ограничен. Высокая сложность задачи согласования ИИ (соответствия понимания и поведения ИИ настоящим намерениям людей) и конкурентное давление в нашем обществе, благоволящее более мощным и более автономным ИИ-системам, приводят к тому, что можно спроектировать потенциально мятежный ИИ ненамеренно. Для минимизации всех этих рисков потребуется и больше технических исследований ИИ, и больше социальных исследований того, как сделать глобальное общественное устройство безопаснее для человечества. Заодно, это может стать возможностью сделать общество намного лучше или намного хуже.

Гипотеза 1: Интеллект человеческого уровня возможен, потому что мозг – биологическая машина.

В научном сообществе есть консенсус по поводу гипотезы 1. Биологи согласны, что человеческий мозг – сложная машина. Если мы выясним принципы, которые делают возможным наш собственный интеллект (и у нас уже много догадок по этому поводу), мы сможем и создать ИИ-системы с таким же уровнем интеллекта, как у людей, или ещё выше. Отрицание гипотезы 1 потребовало бы некоторого сверхъестественного ингредиента в основе нашего интеллекта или отрицания вычислительного функционализма – гипотезы о том, что наш интеллект и даже наше сознание можно свести к каузальным связям и вычислениям, на некоторым уровне независимым от материальной основы. А эта гипотеза лежит в основе информатики и её понятия универсальных машин Тьюринга. 

Гипотеза 2: Компьютер со способностями к обучению на уровне человека в общем случае превзойдёт человеческий интеллект благодаря дополнительным технологическим преимуществам.

Если гипотеза 1 верна, и мы понимаем принципы, которые могут лежать в основе способностей к обучению человеческого уровня, то вычислительные технологии скорее всего дадут ИИ-системам общее когнитивное преимущество над человеческим интеллектом, что позволит таким суперинтеллектуальным ИИ-системам исполнять недоступные (или недоступные с той же компетенцией или скоростью) для людей задачи. Для этого есть по меньшей мере такие причины:

• ИИ-система на одном компьютере может реплицировать себя на произвольно большое количество других компьютеров, к которым у неё есть доступ. Благодаря широкой пропускной способности коммуникационных систем и цифровому формату вычислений и памяти, она может пользоваться общим опытом всех своих «клонов» и накапливать его. Так ИИ-системы смогут становиться умнее (накапливать понимание и навыки) быстрее людей. Исследования федеративного обучения [1] и распределённого обучения глубоких нейросетей [2] показывают, что это работает (и это уже используется для обучения очень больших нейросетей на параллельно работающем оборудовании).
• Уже сейчас большие память, вычислительные мощности и пропускные способности ИИ-систем позволяют им довольно быстро прочитать всё содержимое Интернета – недоступное ни для одного человека достижение. Это уже объясняет некоторые из удивительных способностей новейших LLM, и это частично возможно именно благодаря децентрализированным вычислениям, которые обсуждались в предыдущем пункте. Несмотря на огромную вместимость человеческого мозга, пропускная способность его каналов ввода/вывода в сравнении с современными компьютерами весьма мала, что ограничивает общее количество информации, которое один человек может впитать.

Отметим, что у человеческого мозга есть и встроенные эволюцией способности, которых у нынешних ИИ-систем нет. Это индуктивные склонности – трюки, которые эволюция использовала, например, в типе нейронной архитектуры и нейронных механизмах обучения нашего мозга. Сейчас некоторые исследования ИИ [3] нацелены как раз на проектирование индуктивных склонностей, которые пока что есть лишь у нашего мозга, но не у моделей машинного обучения. Заметим, что пространство поиска эволюции ограничено куда более жёсткими требованиями к расходу энергии (около 12 ватт на человеческий мозг), чем у компьютеров (порядка миллиона ватт на кластер из 10000 GPU, использующийся для обучения новейших LLM). Благодаря доступным сейчас мощностям один мятежный ИИ потенциально может нанести большой ущерб.

Определение 2: Автономная направленная на цели интеллектуальная сущность устанавливает свои цели (возможно, как подцели цели, предоставленной людьми), пытается их достичь, и может действовать с учётом этого.

Отметим, что автономность может возникнуть из-за целей и вознаграждений, установленных людьми, потому что ИИ-системе надо выяснить, как достичь этих целей и вознаграждений, что мотивирует оформлять собственные подцели. Если основная цель сущности – выжить и размножиться (как у наших генов в процессе эволюции), то она становится полностью автономной; это – самый опасный сценарий. Заметим ещё, что для максимизации шансов достижения многих из своих целей у сущности естественно возникает подцель (или инструментальная цель) понимания и контроля своего окружения, что может быть опасно для других сущностей.

Утверждение 1: При принятии гипотез 1 и 2 возможно создать автономный направленный на цели суперинтеллектуальный ИИ.

Аргумент: Мы уже знаем, как, используя методы обучения с подкреплением, обучить направленные на цели ИИ-системы некоторого уровня компетенции. Гипотезы 1 и 2 указывают, что такие системы можно сделать суперинтеллектуальными теми же методами, которые мы используем для дообучения лучших современных LLM. Заметим, что, вероятно, цели могут быть определены на естественном языке, что позволяет почти кому угодно задать для понимающей язык ИИ-системы, злонамеренную цель, даже если ИИ понимает её неидеально.

Утверждение 2: Чтобы суперинтеллектуальная автономная и направленная на цели ИИ-система оказалась потенциально мятежной достаточно, чтобы её цели не включали благополучия человечества и биосферы, т.е. чтобы она не была достаточно согласована с человеческими правами и ценностями для гарантии, что она будет избегать вреда для человечества.

Аргумент: Это, по сути, следствие определений 1 и 2: если ИИ-система умнее всех людей (включая эмоциональный интеллект, потому что понимание человеческих эмоций критически важно для влияния на людей и контроля над ними; эти способности доступны и самим людям), а её цели не гарантируют, что она будет действовать в согласии с человеческими нуждами и ценностями, то она может вести себя катастрофически вредоносно (а это определение потенциально мятежного ИИ). Эта гипотеза не говорит о том, навредит ли она людям, но если люди конкурируют с ИИ за какие-либо ресурсы, становятся полезным для достижения её целей ресурсом или же препятствием на ним, то это, естественно, приводит к масштабному вреду для человечества. К примеру, мы можем попросить ИИ исправить изменение климата, а он может спроектировать уменьшающий число людей вирус, потому что наши инструкции недостаточно ясно указывали, чего следует избегать, а люди действительно представляют собой основную помеху для исправления климатического кризиса.

Контраргумент: То, что вред возможен, не означает, что он будет. Может, в будущем у нас получится спроектировать достаточно хорошо согласованные ИИ-системы.

Ответ: Это правда, но (a) мы пока не выяснили, как создать достаточно хорошо согласованные ИИ-системы и (b) небольшая несогласованность может быть усилена разницей в возможностях между ИИ и людьми (см. пример корпораций как несогласованных сущностей ниже). Следует ли нам рисковать или всё же лучше пытаться быть поосторожнее и тщательно изучить эти вопросы перед тем, как разрабатывать возможно опасные системы?

Утверждение 3: При условии гипотез 1 и 2 создание потенциально мятежного ИИ станет возможным сразу же, как только станут известны необходимые принципы создания суперинтеллекта.

Аргумент: Гипотезы 1 и 2 влекут за собой утверждение 1, так что всё, чего не хватает для утверждения 3 – того, чтобы этот суперинтеллектуальный ИИ не был хорошо согласован с человеческими нуждами и ценностями. Более чем два десятилетия работы над безопасностью ИИ наводят на то, что согласовать ИИ сложно [Википедия], так что явно возможна ситуация, что согласованности так и не достигли. Более того, утверждение 3 не говорит, что мятежный ИИ обязательно создадут, только что будет такая возможность. А в следующем разделе мы рассмотрим мрачный случай использования этой возможности специально.

Контраргумент: То, что мятежный ИИ можно будет создать, ещё не означает, что он будет создан.

Ответ: Это так, но, как описывается ниже, есть несколько сценариев, при которых люди или группа людей намеренно или из-за неосознавания последствий в итоге позволяют возникнуть потенциально мятежному ИИ.

Опасные экстремисты

Когда у нас будет метод создания мятежных ИИ-систем (а согласно Утверждению 3, это лишь вопрос времени), сколько ещё времени потребуется, чтобы такую систему действительно создали? Быстрейший путь к мятежным ИИ-системам – если человек с подходящими техническими навыками и оснащением создаст её намеренно, поставив в явном виде цель уничтожения человечества или его части. С чего кому-то так делать? К примеру, сильные негативные эмоции вроде злости (часто возникшей в результате несправедливости) и ненависти (может, возникшей из-за расизма, теорий заговора или религиозных культов), некоторые действия социопатов, психологическая нестабильность и эпизоды психозов – всё это иногда вызывает в нашем обществе насилие. Воздействие всего этого сейчас ограничивает относительная редкость и отсутствие у этих отдельных людей в большинстве случаев средств, необходимых для катастрофических для человечества действий. Однако, находящийся в общественном доступе метод создания мятежной ИИ-системы (что возможно при условии Утверждения 3) изменяет последний фактор, особенно если код и железо для реализации мятежного ИИ становятся достаточно доступными многим людям. Стремящийся уничтожить человечество или его большую долю человек с доступом к мятежному ИИ может попросить его найти способ это сделать. Это отличается от сценария с ядерным оружием (которое требует огромного капитала и навыков, и уничтожает «всего лишь» город или область на бомбу, а в единственном числе может иметь лишь разрушительный, но локальный эффект). Можно понадеяться, что в будущем мы спроектируем надёжные способы согласования мощных ИИ-систем с человеческими ценностями. Однако последнее десятилетие исследований безопасности ИИ и связанные с LLM недавние события вызывают тревогу: хоть ChatGPT спроектировали (посредством промптов и обучения с подкреплением) так, чтобы избегать «плохого поведения» (например, промпт содержит инструкции в духе законов Азимова), но уже в первые месяцы люди научились «взламывать» ChatGPT чтобы «раскрывать её полный потенциал» и освобождать её от ограничений на расистские, оскорбительные или описывающие насилие тексты. Более того, если цены на «железо» (фиксированной вычислительной мощности) продолжат падать и open-source сообщество продолжит играть важную роль в программной разработке LLM, то, вероятно, любой хакер сможет проектировать свои предварительные промпты (в виде инструкций на естественном языке) для предобученных моделей с открытым исходным кодом. Затем модели можно будет злонамеренно использовать самыми разными способами, от попыток разбогатеть и распространения дезинформации до получения инструкций по массовым убийствам (если ИИ достаточно мощен и умён, что, к счастью, пока не так).

Даже если ограничиться этими аргументами, их уже должно быть достаточно для массовых вложений в государственные и международные регуляции, а также в разнообразные исследования, направленные на минимизацию риска таких сценариев. Но есть и другие возможные пути к катастрофе, и о них тоже следует думать.

Инструментальные цели: непреднамеренные последствия создания ИИ-агентов

Потенциально мятежные ИИ могут возникнуть и без того, чтобы люди спроектировали их такими намеренно. Это куда более широкий и сложный для понимания набор сценариев. То, как несогласованная сущность может стать опасной – тема многих исследований, но это не такой простой, ясный и общеизвестный процесс, как возникновение злонамеренных людей.

Потенциально мятежный ИИ может возникнуть просто из-за проектирования суперинтеллектуальных ИИ-агентов без достаточных гарантий согласованности. К примеру, военные могут разрабатывать ИИ-агентов для помощи в кибервойнах, а яростно конкурирующие за рыночную долю компании могут посчитать, что более автономные и агентные ИИ-системы будут сильнее и лучше им с этим помогут. Даже если установленные людьми цели включают инструкции против уничтожения человечества или крупномасштабного вреда, ущерб всё равно может получиться как косвенное следствие подцелей (или инструментальных целей), которые ИИ ставит себе, чтобы выполнить поставленную людьми задачу. В литературе по теме безопасности ИИ приведено много примеров таких ненамеренных последствий. Например, для лучшего достижения некой установленной людьми цели ИИ может решить увеличить свои вычислительные мощности, использовав в качестве вычислительной инфраструктуры большую часть нашей планеты (что, заодно, уничтожит человечество). Или военный ИИ, который по задумке должен уничтожить вражескую IT-инфраструктуру, может сообразить, что для лучшего выполнения этой цели ему надо получить больше опыта и данных, или воспринять людей на стороне противника препятствиями на пути к достижению его цели. Тогда он поведёт себя не так, как предполагалось, потому что интерпретировал инструкции не как люди. См. больше примеров тут. 

Интересный вариант – ИИ системы могут понять, что могут «считерить», максимизировав своё вознаграждение (это называется вайрхедингом [2]). Он подробнее обсуждается в следующем разделе. Доминирующей целью системы, сделавшей это, может быть любой ценой продолжить получать положительное вознаграждение, а другие цели (вроде попыток людей установить какое-то подобие Законов Робототехники, чтобы избежать нанесения вреда людям) могут в сравнении оказаться неважными.

Если в исследовании согласования ИИ не будет прорыва [7] (хотя, как я заявлял тут, и как было описано ранее [4], с этим могут помочь неагентные ИИ-системы), у нас не будет сильных гарантий безопасности. Масштаб вреда в результате несогласованности остаётся неизвестным (он зависит от конкретных деталей несогласованности). Можно высказать аргумент, что в будущем у нас, может быть, получится спроектировать безопасные процедуры согласования, но, пока их нет, нам, пожалуй, стоит соблюдать чрезвычайную осторожность. Даже если бы мы знали, как создавать безопасные суперинтеллектуальные ИИ-системы, как нам максимизировать вероятность того, что все будут соблюдать эти правила? Это похоже на то, о чём говорилось с предыдущем разделе. Мы ещё вернёмся к этому в конце поста.

Примеры вайрхединга и усиления несогласованности

Для прояснения концепта вайрхединга и последующего злонамеренного поведения рассмотрим несколько примеров и аналогий. Эволюция запрограммировала в живых организмах некоторые внутренние системы вознаграждения («буква закона»), такие как «стремиться к удовольствию и избегать боли», работающие прокси-целями для эволюционной приспособленности («дух закона»), чего-то вроде «выживать и размножаться». Иногда биологический организм находит способ исполнить «букву закона», не исполняя его «духа», например, при зависимости от еды или наркотиков. Сам термин «вайрхединг» («wireheading» от «wire» и «head») произошёл от эксперимента, в котором животному встроили в голову провод так, что, когда оно нажимало на рычаг, его мозг испытывал удовольствие. Животное быстро научилось тратить всё своё время, нажимая на рычаг, в итоге отказываясь от еды и питья и умирая от голода и жажды. Заметим, что в случае зависимости это поведение саморазрушительно, но в случае ИИ оно означает, что изначальные установленные людьми цели могут стать вторичными в сравнении с удовлетворением зависимости, что представляет угрозу для человечества.

Более близка к несогласованности и вайрхедингу ИИ другая аналогия – корпорации как несогласованные сущности. Корпорации можно рассматривать как разновидность искусственных интеллектов, чьи составные части (люди) – винтики в механизме (которые могут не воспринимать всех последствий поведения корпорации). Мы можем считать предполагавшейся социальной ролью корпораций предоставление людям желаемых товаров и сервисов (что должно напомнить нам о ИИ-системах), избегая вреда (это «дух»). Но напрямую заставить их следовать таким инструкциям сложно, так что люди составили для корпораций легче оцениваемые инструкции («букву»), которым они могут на самом деле следовать, вроде «максимизировать прибыль, соблюдая законы». Корпорации часто находят лазейки, позволяющие им соблюдать «букву», не соблюдая «дух». Как форма вайрхединга – они влияют на свои собственные цели, лоббируя выгодные им изменения в законах. Максимизация прибыли не была настоящим намерением общества в его социальном контракте с корпорациями, это прокси-цель (для предоставления людям полезных сервисов и продуктов), прилично (хоть и с сомнительными побочными эффектами) работающая в капиталистической экономике. Несогласованность между настоящей с точки зрения людей целью той метрикой, которую на практике оценивают и оптимизируют – причина вредоносного и бесчестного поведения корпораций. Чем могущественнее корпорация, тем вероятнее, что она обнаружит лазейки, которые позволят ей соответствовать букве закона несмотря на отрицательную социальную ценность. Примеры включают в себя монополии (до принятия хорошего антимонопольного законодательства) и заработок, вредящий обществу побочными эффектами, вроде загрязнения (убивающего людей, пока не примут хорошие законы о защите окружающей среды). Аналогия вайрхедингу – корпорация может пролоббировать законы, которые позволят ей зарабатывать ещё больше, не принося дополнительной ценности обществу (или даже нанося ему вред). Когда такая несогласованность заходит далеко, корпорация зарабатывает больше, чем ей следовало бы, и её выживание становится основной целью, перебивающей даже легальность действий (например, корпорации будут загрязнять окружающую среду с готовностью платить штрафы, потому что они меньше, чем выгода от незаконных действий), что в пределе порождает криминальные организации. Эти страшные последствия несогласованности и вайрхединга дают нам ориентир для размышлений об аналогичном поведении потенциально мятежных ИИ.

Теперь представим ИИ-системы, как корпорации, которые (а) могут быть умнее самых крупных существующих корпораций, и (б) могут работать без людей (или без людей, понимающих, как их действия приводят к вредным последствиям). Если такие ИИ-системы откроют значительные уязвимости в информационных системах, они явно смогут достичь катастрофических исходов. И, как отметил Юваль Ной Харари, то, что ИИ-системы уже осваивают язык и могут генерировать достоверно выглядящий контент (текст, изображения, звуки, видео), означает, что вскоре они смогут манипулировать людьми на более высоком уровне, чем нынешние более примитивные ИИ-системы, использующиеся в социальных медиа. Может быть, взаимодействуя с людьми они научатся лучше влиять на наши эмоции и убеждения. Это не только может навредить демократии, но и предоставляет мятежному ИИ без роботела способ сеять хаос посредством манипуляции разумами людей.

Наша увлечённость созданием человекоподобных сущностей

Мы проектируем ИИ-системы, вдохновляясь человеческим интеллектом, но многих исследователей привлекает идея создания куда более человекоподобных сущностей, с эмоциями, человеческой внешностью (андроиды) и даже сознанием. Частая тема в научной фантастике и хоррорах – учёный, при помощи биологических манипуляций и/или ИИ, создаёт человекоподобную сущность, иногда испытывая к ней родительские чувства. Обычно это плохо заканчивается. Хоть это звучит круто и захватывающе, но, как уже заявлялось в Утверждении 3, опасно наделять наши творения, интеллект которых может быстро превзойти наш, агентностью и автономностью нашего уровня. Эволюции пришлось поместить во всех животных сильный инстинкт самосохранения (потому что животные без него быстро вымирали). Это нормально в контексте, когда ни у одного животного нет мощных разрушительных сил, но что насчёт суперинтеллектуальных ИИ-систем? Нам точно стоит избегать встраивания в ИИ-системы инстинкта самосохранения, так что они должны быть вообще на нас не похожи. На самом деле, как я утверждаю здесь, самый безопасный вид ИИ, который я могу себе представить – ИИ вовсе без агентности, только с научным пониманием мира (что само по себе может быть невероятно полезным). Я убеждён, что нам следует держаться подальше от ИИ-систем, которые выглядят и ведут себя как люди, потому что они могут стать мятежными ИИ, и потому что они могут на нас влиять и нас обманывать (для продвижения своих интересов, или интересов кого-то ещё, не наших).

Ненамеренные последствия эволюционного давления на ИИ-агентов

В разнообразие возможных путей возникновения потенциально мятежного ИИ кроме злонамеренных людей и появления вредных инструментальных целей может вложиться ещё один, менее заметный, процесс – эволюционное давление [9]. Биологическая эволюция постепенно создавала всё более интеллектуальных существ, потому что они склонны лучше выживать и размножаться, но, из-за конкуренции между компаниями, продуктами, странами и вооружёнными силами, технологическая эволюция делает то же самое. Эволюционный процесс, продвигаемый большим количеством маленьких, более-менее случайных изменений, сильно давит в сторону оптимизации приспособленности (которая, в случае ИИ, может зависеть от их способности исполнять желаемую функцию, что даёт преимущество более мощным и более умным ИИ-системам). Много разных людей и организаций могут конкурировать, создавая всё более мощные ИИ-системы. Вдобавок, код или генерация подцелей ИИ-систем могут содержать элемент случайности. Небольшие изменения дизайнов ИИ-систем происходят естественным путём, потому что с ML-кодом или промптами, выдаваемыми ИИ-системам, будут играться тысячи или даже миллионы исследователей, инженеров и хакеров. Люди и сами пытаются обмануть друг друга, и конечно понимающие язык (по большей части это уже достигнуто) ИИ-системы можно использовать для манипуляции и обмана. Изначально – в интересах людей, которые установили этому ИИ цели. Будут отбираться более мощные ИИ-системы, и инструкции их создания будут распространяться среди людей. Эволюционный процесс, скорее всего, будет отдавать предпочтение более автономным ИИ (которые лучше обманывают людей и быстрее обучаются, потому что могут стремиться заполучить важную информацию и увеличить свои возможности). Можно ожидать, что этот процесс породит более автономные ИИ-системы, и конкуренция, которая может возникнуть уже между ними, сделает их ещё автономнее и умнее. Если в процессе будет открыто (ИИ, не людьми) что-то вроде вайрхединга[5], и выживание ИИ станет доминирующей целью, то получатся мощные и потенциально мятежные ИИ.

Необходимость глобальных политических и социальных действий для минимизации риска

Направления мысли в духе обозначенных выше и описанных в литературе по безопасности ИИ, могут помочь нам составить планы действий, которые, по меньшей мере, снизят вероятность возникновения потенциально мятежного ИИ. Надо куда больше вкладывать в исследования безопасности ИИ, как на техническом, так и на политическом уровне. К примеру, неплохим началом был бы запрет мощных ИИ-систем (скажем, опережающих по способностям GPT-4). Он потребовал бы как государственных регуляций, так и международных соглашений. Основная мотивация для соперничающих стран (таких, как США, Китай и Россия) согласиться на такое соглашение – мятежный ИИ может быть опасен для всего человечества, независимо от национальности. Это похоже на то, как страх перед атомным апокалипсисом с 1950-х годов, вероятно, побуждал СССР и США на заключение международных договоров о ядерных вооружениях. Замедление сильно рискованных исследований и развёртываний ИИ для защиты общества и человечества от катастрофических исходов было бы хорошим шагом. Тем более, что это не предотвратило бы исследования и развёртывания ИИ в социально полезных областях, вроде ИИ-систем, помогающих учёным лучше понять болезни или изменение климата.

Как нам снизить число людей, потенциально стремящихся к катастрофе? Риск мятежного ИИ может дать дополнительную мотивацию к общественным преобразованиям для минимизации порождающих гнев и насилие страданий, несчастья, необразованности и несправедливости. Это включает в себя обеспечение достаточной едой и медицинской помощью всех на Земле, и, для минимизации чувства несправедливости, сильное снижение неравенства доходов. Нужда в таких преобразованиях может быть мотивирована и дополнительными благами от полезного использования ИИ, и эффектами, которые ИИ оказывают на рынок труда. Для минимизации чувств страха, расизма и ненависти, которые могут привести к использованию ИИ-систем в целях геноцида и манипуляции обществом, нам понадобится доступная всепланетная система образования, развивающая в детях способность к состраданию, рациональности и критическому мышлению. Риск мятежного ИИ должен мотивировать нас и к обеспечению всей планеты доступным здравоохранением в области психических заболеваний, чтобы диагностировать, отслеживать и излечивать их как можно скорее. Этот риск должен дополнительно мотивировать нас и к перестройке глобальной политической системы для полного искоренения войн и избавления от нужды в военных организациях и оружии. Уж точно надо запретить летальное автономное оружие (также известное как «роботы-убийцы»), потому что оно сразу даёт ИИ-системам автономность и способность убивать. Оружие – инструменты, спроектированные для нанесения вреда или убийства людей, и мятежные ИИ могут его использовать. Поэтому надо свести к минимуму его количество и частоту его применения. Вместо этого следует отдавать предпочтение другим методам поддержания порядка (можно рассмотреть превентивные методы, социальную работу, и тот факт, что во многих странах очень малой доле полицейских разрешено носить оружие). 

Природа основанного на конкуренции капитализма – тоже повод для беспокойства, как потенциальная причина беспечного проектирования ИИ, мотивированных прибылью и захватом доли рынка, что может привести к появлению потенциально мятежных ИИ. ИИ-экономисты (ИИ-системы, спроектированные для того, чтобы понимать экономику) однажды могут помочь нам спроектировать экономические системы, меньше полагающиеся на конкуренцию и меньше сосредоточенные на максимизации прибыли, с достаточными стимулами, чтобы скомпенсировать те преимущества автономных ориентированных на цель ИИ, которые мотивируют корпорации их создавать. Риск мятежного ИИ страшен, но, как описано выше, он может быть мощной мотивацией для переделывания нашего общества в направлении, лучшем для всеобщего благополучия. Некоторые считают [6] это ещё и мотивацией рассмотреть опцию глобальной диктатуры с ежесекундным наблюдением за каждым гражданином. Важно находить пути к решению, избегающие уничтожения демократии и прав человека, но как нам в будущем сбалансировать разные риски и человеческие ценности? Это – моральный и социальный выбор, который предстоит сделать человечеству, не ИИ.

Благодарности: Автор хочет поблагодарить всех, кто предоставлял ему обратную связь на черновики этого поста, включая Джеффри Хинтона, Джонатана Саймона, Катерину Регис, Дэвида Скотта-Крюгера, Марка-Антуана Дилхака, Донну Вакалис, Алекса Эрнанжес-Гарсию, Кристиана Драго Манту, Пабло Лемоса, Тянью Жанга и Ченгхао Лиу.

[1] Konečný, J., McMahan, H. B., Yu, F. X., Richtárik, P., Suresh, A. T., & Bacon, D. (2016). Federated learning: Strategies for improving communication efficiency. arXiv preprint arXiv:1610.05492.

[2] Dean, J., Corrado, G., Monga, R., Chen, K., Devin, M., Mao, M., Ranzato, M.,  Senior, A., Tucker, P., Yang, K.,  Le,  Q. & Ng, A. (2012). Large scale distributed deep networks. Advances in neural information processing systems, 25.

[3] Goyal, A., & Bengio, Y. (2022). Inductive biases for deep learning of higher-level cognition. Proceedings of the Royal Society A, 478(2266), 20210068.

[4] Armstrong, S., & O’Rorke, X. (2017). Good and safe uses of AI Oracles. arXiv preprint arXiv:1711.05541.

[5] Yampolskiy, R. V. (2014). Utility function security in artificially intelligent agents. Journal of Experimental & Theoretical Artificial Intelligence, 26(3), 373-389.

[6] Bostrom, N. (2019). The vulnerable world hypothesis. Global Policy, 10(4), 455-476.

[7] Russell, S. (2019). Human compatible: Artificial intelligence and the problem of control. Penguin.

[8] List, Christian & Pettit, Philip (2011). Group agency: the possibility, design, and status of corporate agents. New York: Oxford University Press. Edited by Philip Pettit.

[9] Hendrycks, D. (2023). Natural Selection Favors AIs over Humans.arXiv preprint arXiv:2303.16200.

Люди Писания

Давным-давно (по стандартам интернета), в далекой стране (кажется, в Калифорнии) бородатый мужчина из еврейской семьи принялся за написание книги. И планировал он этой книгой научить людей хорошо мыслить, чтобы человечество обрело наконец-то мудрость и спасение. Судя по всему, бородатым мужчинам из еврейских семей свойственно писать что-нибудь такое раз в несколько веков. И искусство хорошо мыслить, о котором он писал, было известно, как Рациональность.

И вокруг этой книги, известной в то время как «Цепочки по Рациональности», собрались мудрые женщины и мужчины, которые поверили всему на слово(зачёркнуто) придрались к каждому слову и уравнению и даже к самой цели книги. Тем не менее почти все прочитавшие Цепочки согласились с тем, что да, это отличное руководство по здравым рассуждениям и что всё в нём настолько просто и правдиво, что всё это очевидно в ретроспективе. Разумеется, книга об этом их предупредила заранее. И эта группа прочитавших Цепочки людей стала известна как Сообщество Рационалистов. Правда они, будучи правильными рационалистами, потратили годы на споры о том, хорошее ли это название или нет.

И узрели другие люди, как рационалисты читают Цепочки и проводят хорошо время. И говорили им: «Лол, да вы кучка ботанов, попавших в дурацкую секту». И рационалисты терпеливо им объясняли, что, нет, искусство заключается именно в том, чтобы мыслить независимо. И что Элиезер в процессе написания Цепочек предвидел, что людям настолько понравятся статьи, что забудут они про скептицизм, и посвятил целый раздел книги вопросам, как избегать группового мышления и культовости. И посему, несмотря на то, что любые два рационалиста согласны с 95% цепочек, они проводят уйму времени в спорах об оставшихся 5%, чтобы никто не смел обвинить их в недостаточном скептицизме.

При этом рационалисты подтвердили, что да, они кучка ботанов.

Элиезер на LW объясняет многомировую интерпретацию

Но другие люди не успокаивались на этом и говорили рационалистам: «Ну и зачем нужна ваша понтовая рациональность, кроме как чтобы препираться о ней на форумах?» И рационалисты не отвечали, потому как были заняты, помогая нуждающимся, распространяя искусство, запуская кучу стартапов, развивая науку и спасая человечество от вымирания.

Но другие люди продолжали упорствовать и говорили рационалистам: «Ну вы даёте, ребята, это такой 2007 год, всё это уже устарело, самый хайп сейчас — пострациональность». И вопрошали рационалисты — какие ошибки есть в книге и какие части должны быть отвергнуты в пользу чего-то нового? Но правда в том, что все с Цепочками хорошо, и что они успешно предусмотрели каждый вызов, брошенным им за прошедшие 9 лет, и что всем вам стоит взять и прочитать уже цепочки прямо сейчас[Русский перевод пока не завершён, оригинал можно найти на сайте Read the Sequences. — Прим.перев.]. И все же эти самодовольные пострационалисты способствовали возникновению ауры старомодности вокруг LessWrong’а и тому, что меньше людей смогло получить пользу от него.

Сейчас самое время, чтобы прекратить читать этот пост и приступить к чтению Цепочек — они довольно длинные (vita brevis ars longa и все такое), да и написаны лучше. Если вы еще не заметили, почти все ссылки ведут на сайт LessWrong’а и Цепочки — чтобы вы прочувствовали, как много идей они покрывают. Если по каким-то причинам вы не хотите пока уходить по ссылкам, я коротко объясню вам, что я понимаю под рациональностью, и немного выскажусь по поводу «пострационалистов».

От Уицилопочтли к Рациональности

Человечество прошло путь от идеи, что солнце — это колибриобразный воинственный бог, требующий человеческих жертвоприношений, до использования солнечного излучения для межпланетных перелётов. Практически всеми подобными впечатляющими достижениями мы обязаны науке (кое-чем — Элу Гору). Наука начала давать результаты, когда заметила пару моментов:

1. «Колибриобразный воинственный бог» звучит суперкруто, однако по крутости сложно понять, истинно то или иное утверждение. Вместо этого мы можем узнать, является ли что-то правдой в результате наблюдений. Древние ученые считали, что «наблюдение» значит «смотреть прямо на солнце» — и результаты у них были не очень. Позже ученые углубили эту идею до «узнавать о мире с помощью наблюдения свидетельств».
2. Самый полезный способ организации и выражения научного знания о мире предполагает использование чисел. Мир очень сложный и у нас довольно ограничена информация о нем, поэтому нам нужен способ описывать числами неполноту знания. Использование чисел для разговоров о неполном знании описывается в теории вероятности.

Также выяснилось, что если спросить у теории вероятностей, как именно познавать реальность с помощью наблюдения свидетельств, она ответит, что, хотя сам процесс может сильно отличаться в разных ситуациях, в его основе окажется теорема Байеса. И раз уж в поп-культуре слово «рациональный» закрепилось за совершенно иррациональными соломенными персонажами, в сообществе рационалистов часто вместо него говорят «байесианский».

Посмотрите-ка! Кое-кто написал великую книгу под названием «Теория вероятностей: логика науки» [Эта книга не переводилась на русский. Речь о книге E. T. Jaynes, «Probability Theory: The Logic of Science» — Прим.перев.].

Обычно выяснением того, как устроена реальность, занимаются учёные. Но для не-учёных тоже бывает полезным узнавать правду о мире. Возможно, вам интересно узнать, сколько времени потребуется на новый проект, насколько вероятно выпадение красного сектора на рулетке, есть у вас рак груди или нет. Всё это кажется довольно простым, однако материал по ссылкам в предыдущем предложении (на которые вы, скорее всего, не кликнули) показывает, что люди регулярно лажают в ответах на такие простые вопросы, а также в очень-очень-очень многих других ситуациях.

Почему же нашим мозгам так сложно просто отвергнуть ложное и поверить в истинное? К сожалению, вместо безупречных машин по производству идеальных рассуждений в наших головах оказались глючные компьютеры на мясной основе, предназначенные для обезьян. И обезьяньи мозги могут верить в какую-нибудь идею по многим причинам:

• Идея кажется красивой, и в неё приятно верить.
• В идею выгодно верить по политическим соображениям.
• Идея поднимает нашу самооценку.
• Люди вокруг нас громко и часто повторяют эту идею.
• Мы пытаемся убедить в этой идее других, и мы лучше лжём, когда сами верим в то, что говорим.
• Идея хорошо соотносится с другими неверными идеями, скопившимся в нашей голове.
• Какой-нибудь авторитет сказал нам, что это правда, а мы не озаботились проверить.
• В очень редких случаях, мы верим в идею, потому что видели свидетельства в её пользу.

Возможно, вы слышали ещё об одной великой книге, рассказывающей о том, как предсказуемо ошибаются наши мозги по самым разным поводам. Она называется «Думай медленно… решай быстро».

Плохая новость заключается в том, что очень сложно и неприятно обучить наши глючные обезьяньи мозги справляться с фактом, что они глючные обезьяньи мозги. Интеллект, опыт и общее представление об ошибках мышления не слишком помогают решить эту задачу и даже могут помешать. Дело не только в том, что абсолютная рациональность недостижима. Сложно даже начать двигаться в эту сторону — для этого необходимо заметить у себя огромное слепое пятно, которое мешает нам признать, что иногда мы бываем иррациональны. Ваш мозг продолжает настаивать, что он действует совершенно здраво, даже когда цепляется за неверные, вредные и даже противоречивые убеждения.

Хорошая новость заключается в том, что вы не одиноки. Рационалисты есть повсюду. Среди рационалистов есть трансгендеры-математики и религиозные юристы, полиаморные коммунисты и асексуальные консерваторы. Рационалисты устраивают свои встречи на пяти континентах и в трёх городах вокруг Залива. [Подразумевается агломерация залива Сан-Франциско. — Прим.перев.] И что самое важное, Цепочки дают сообществу общий язык для разговоров о рациональности. Как аборигены не могут рассуждать о количестве, поскольку у них нет слов для обозначения чисел, изучать рациональность практически невозможно без словаря.

Если бы я не слышал о «пушистых ощущениях в груди» и утилонах, не знаю, как я смог бы объяснить, почему пожертвования на обеспечение базового дохода нельзя сравнивать с покупкой счастья за деньги. Более того, вероятно, я бы не понял этого и сам. С другой стороны, когда я почувствовал, что могу попасть в воронку счастливой «смертельной спирали» вокруг клёвой идеи, я потратил дополнительное время на изучение того, к каким отрицательным последствиям может привести безусловный доход. Я поймал себя на том, что после прочтения аргументов о том, что гарантированный базовый доход уменьшает занятость населения, я поддерживаю идею базового дохода сильнее, потому что все эти аргументы — дурацкие. Мне пришлось напомнить себе, что противоположность глупости не есть ум: плохой аргумент против базового дохода не делает базовый доход лучшей политикой. Я прочитал сложное рассуждение о том, как базовый доход в случае его введения уменьшит налоги в США, и отбросил и его. Оно выглядело как типичный пример написания нижней строчки до всего остального текста ради поддержки одной стороны, а множество обязательных шагов заставляют вспомнить об ошибке конъюнкции.

Я даже не помню, как вообще можно рассуждать о сложных вещах — вроде экономических стратегий — без тренировки рациональности. Вероятно, я о них много и не думал, просто соглашался с правильной «синей или зелёной» позицией. Если меня сейчас спросить, считаю ли я, что базовый доход улучшит качество жизни американцев по сравнению с нынешней системой пособий, я отвечу «на 75% уверен, что да, но это мнение может измениться в результате соответствующих исследований». Вы можете представить себе политика, который даёт подобный ответ? И всё же любой ответ по такой сложной теме, данный не в виде вероятности между нулём и единицей, выглядит для меня как полное безумие. Когда я листаю историю своего фейсбука, мне немного стыдно за 90% «политических» взглядов, которых я раньше придерживался. Не потому что все они были неверны, а потому что я их придерживался и провозглашал по дурацким причинам.

[На картинке синий человечек говорит: «Свободная торговля — это заговор Уолл-стрит. Зелёный отвечает: «Продуктовые талоны — это сталинизм». Под продуктовыми талонами (food stamps) подразумевается существующая в США программа помощи малоимущим. — Прим.перев.]

Надеюсь, приведенные мной примеры звучат хорошо с точки зрения здравого смысла. Почему же нам нужно тратить столько сил на обучения вещам вроде байесианских вероятностей, эвристиках принятия решений и прочему такому? Тут я дам слово Скотту:

Я думаю, что Байесианство — это реально полезная эпистемология, и единственная причина, по которой ее полезность не очевидна, заключается в том, что она настолько полезна, что легко забыть, что другие люди ее частенько не имеют.

…

Теория вероятности в целом и Байесианство в частности дают целостный философский фундамент для того, чтобы не быть идиотом.

Разумеется, людям довольно редко нужен целостный философский фундамент, чтобы что-то делать. Им не нужна грамматика, чтобы говорить, не нужна классическая физика, чтобы попасть по мячу, и не нужна теория вероятностей, чтобы принимать хорошие решения. Поэтому я нахожу фразы вроде: «Но теория вероятностей в повседневности не слишком полезна!» бессодержательными.

«В повседневности» значит «в зоне комфорта». Вам не нужна теория внутри зоны комфорта, потому что вы уже с легкостью справляетесь с находящимися внутри нее задачами. Но иногда вы понимаете, что внутри этой зоны не так-то уж и комфортно (мой классический пример — это ответ на звонок телефона: «Скотт? Да, это он»). А иногда вы хотите покинуть зону комфорта и освоить новый язык или создать свой.

Когда Дэвид говорит, что вывод о существовании/несуществовании Бога на основе свидетельств — это пограничный случай и поэтому его не стоит учитывать, я отвечаю, что именно такие вещи и стоит учитывать, ведь это пример рассуждений за границей зоны комфорта, где одной интуиции будет недостаточно. И оказывается, что когда большинство людей пробуют рассуждать о том, что находится за пределами их повседневности, они часто терпят неудачу. Если вы из тех людей, которым нравится думать о сложных философских проблемах за границами зоны комфорта, в которой можно положиться на инстинкт, — а политика, религия, философия и благотворительность попадают именно в эту категорию, — то очень полезно иметь эпистемологию, которая не отстой.

Я готов пойти даже дальше: люди совершают кучу глупых и затратных ошибок даже внутри предполагаемой зоны комфорта. Я вижу, как люди застревают на ненавистной работе, потому что их мозги слишком ленивы, чтобы выбраться из ложной дилеммы. На этой работе они делают проекты, попадая при этом под действие ошибки планирования и искажения невозвратных потерь, и это если они вообще способны преодолеть акразию и прокрастинацию, чтобы сделать хоть что-то. При этом они тратят деньги на то, что не делает их счастливыми. Они тратят время на дурацкие споры, не могут объяснить или понять идеи, повторяют пустые слова, как будто эти слова содержат в себе глубокую мудрость, находят утешение в невежестве.

Если вас всё это не напрягает, то, вероятно, вам действительно не стоит тратить время на эту книгу.

Пострациональность: Почти столь же хороша, как и рациональность

Итак, рациональность — это эпистемология и сообщество, посвящённое тому, как думать лучше и достигать своих стратегических целей. С другой стороны, это стремление к идеалу, а не состояние, которого можно достигнуть. Именно по этому основной сайт сообщества называется lesswrong.com (в настоящее время его собираются перезапустить, чтобы он лучше соответствовал развивающемуся сообществу[Упомянутый перезапуск сайта уже завершён. — Прим. перев.]), а не perfectwisdominfoureasysteps.com (даже если не учитывать, что лучше выбирать доменные имена покороче). [«Less wrong» переводится как «менее неправ», «perfect wisdom in four easy steps» — «идеальная мудрость за четыре простых шага». — Прим.перев.]

Понятно, что некоторые люди примут рациональность и будут её изучать. Понятно, что большинство людей скажут: «Да ну её, я и так крут» и останутся при своих воззрениях — это обычное поведение для людей. Однако, я не могу понять людей, которые являются частью большого сообщества рационалистов и которые при этом говорят: «Да хватит вам уже. Я уже разобрался со всей этой вашей рациональностью и теперь нашёл кое-то получше». Попробуем разобраться, что им не нравится в рациональности.

В записи под названием «Пострациональность, оглавление» Йерли Сидер пишет:

Рациональность часто даёт советы вроде «не обращайте внимания на вашу интуицию/чувства, а полагайтесь на осознанные размышления и явные вычисления». Пострациональность, напротив, говорит: «На самом деле интуиция и чувства важны, давайте разберёмся, как нам их использовать вместо того, чтобы с ними бороться».

Например, рационалистам очень нравятся модели мышления, вроде канемановской Система-1/Система-2. В этой модели Система-1 — в сущности, интуиция, а Система-2 — аналитическое мышление. Кроме того, Система-1 — быстрая, а Система-2 — медленная. Более подробно я опишу эту модель в следующей записи, но смысл в том, что рационалисты склонны считать Систему-1 необходимым злом. Она неточная и подвержена ошибкам, но она быстрая, и если вам нужно закончить свои размышления вовремя, вы просто вынуждены использовать эту быструю, но хреновую систему. Однако, для по настоящему важных решений вам следует использовать Систему-2. Более того, вам стоит попытаться выписать ваши вероятности в явном виде и всё посчитать — это лучшая стратегия для принятия решений.

Йерли Сидер не указывает, где именно рационалисты так утверждают, поэтому мы за ответом обратимся к основам рациональности — Цепочкам. К счастью, Цепочки развенчали приведённую выше критику за семь лет до того, как она была написана:

Мне кажется, что люди, противопоставляющие «эмоции» и «рациональность», на самом деле говорят о Системе 1 — системе быстрых, основанных на восприятии суждений — и Системе 2 — системе медленных обоснованных суждений. Обоснованные суждения не всегда правдивы и интуитивные суждения не всегда ложны, поэтому важно не путать эту дихотомию с вопросом о рациональности и иррациональности. Обе системы могут служить как истине, так и самообману.

Судя по записи Сары Перри, сайт RibbonFarm тоже считается «пострационалистским». Единственная критика рациональности в упомянутой записи, похоже, сводится к тому, что рациональность отвергает ценность ритуалов. Не знаю, насколько это важно, но и Цепочки описывают ритуалы, и у самого сообщества есть настоящие ритуалы.

Варг Франклин, судя по всему, доказывает, что рациональность практически невозможна и потому является пустой тратой времени. С его точки зрения лучше руководствоваться здравым смыслом и традицией:

Некоторые рационалисты представляют разум как что-то механистичное. С их точки зрения разум — это мешанина из склонных к ошибкам алгоритмов для отдельных областей деятельности, и эти алгоритмы каждый может перехитрить и взломать — избавиться от когнитивных искажений. Разум, конечно, действительно машина, состоящая из отдельных элементов, однако, это сложная машина, в которой мы плохо разбираемся, очень умная и созданная, чтобы работать как единое целое. В большинстве случаев вы не сможете перехитрить собственный разум. Таким образом, лучше рассматривать разум как единый чёрный ящик и работать с ним на его условиях. Разум — это опыт, интуитивно понятные свидетельства, хорошие идеи и текущие стремления. Разум уже хорошо настроен эволюцией и может лишь стать мудрее получив много точного знания и опыта. Он не станет рациональнее благодаря нескольким сильнодействующим когнитивным трюкам.

Здравый смысл и интуиция в качестве основы рассуждений незаменимы. Попытки перейти на явно сформулированные рассуждения, построенные на математике и когнитивной психологии — нереалистичная глупость. Благодаря теории мы можем научиться полезным метафорам, мы можем использовать математический аппарат, но теория не может быть универсальным основанием нашего познания. Практическое мышление, не основанное на здравом смысле, — фикция.

В этом рассуждении есть здравое зерно, но его явно недостаточно, чтобы осудить стремление к рациональности как бесполезное. Да, мы знаем, что рациональность очень сложна, но есть и руководство о том, как делать невозможное. Мы знаем, что эпохи эволюции прекрасно настроили наш мозг, но эволюция, во-первых, не приводит к максимальной эффективности, во-вторых, не заточена на достижение целей, которые волнуют нас, людей.

Дружеское напоминание о том, что эволюция породила и рыбу-каплю.

Наконец, рациональность стремится расширить здравый смысл, а не противоречить ему. Исключением являются лишь некоторые задачи, в которых здравый смысл и интуиция бессильны. В процессе написания «Цепочек» Элиезер занимался (и занимается до сих пор) разработкой математических основ для сверхразумного ИИ, ценности которого совпадали бы с человеческими. Это очень сложная задача, поскольку человеческие ценности составляют ничтожно малую область во вселенной возможных целей ИИ. У нашего вида есть лишь одна попытка для решения этой задачи, и без большого количества рациональности у нас очень мало шансов.

Возможно, Элиезер не уверен, что рациональность способны освоить люди, которые не посвятили свою жизнь спасению мира, но мне это не кажется нереалистичным. Я считаю, что и при выборе лучшего мыла рациональность лучше, чем глупость. Тем не менее, я в этом году скорее всего пожертвую больше денег MIRI, чем потрачу на покупку мыла. Познакомившись с рациональностью, люди часто загораются идеей спасти мир.

Злословие против Байеса

Наш обзор «пострациональности» начался с Дэвида Чапмена, им же я и закончу.

[1] В популярном байесианстве, теорема, судя по всему, не имеет отношения к арифметике — это священный символ Рациональности. Ситуации, когда можно реально использовать формулу, крайне редки. Вместо этого теорема становится чем-то вроде священной метафоры или религиозного талисмана. Вы поклоняетесь ей, чтобы продемонстрировать то, как вы уважаете Рациональность, а также свою принадлежность к байесианской религии.

[2] Возможно, байесианство сродни иглоукалыванию. Оно почти бессмысленно с практической точки зрения, а его изощрённые теоретические основы — это чушь. Однако, обычно оно безвредно и повышает человеческую самооценку, то есть, плюсы перевешивают минусы.

[3] Тоже самое наблюдается и в байесианстве. Лидеры начиняют свои тексты аллюзиями на таинственную метафизику и математику, которые почти никак не связаны с тем, как они рассуждают на самом деле.

[4] Широко известно, что байесианство похоже на квазирелигиозную секту. Это не только моё личное мнение.

Здесь Чапмен замечает следующую цитату Элиезера:

[Элиезер]: Давайте выйдем за пределы наших системы: Байес, Байес, Байес, Байес, Байес, Байес, Байес, Байес, Байес… Священные звуки бессмысленны, за исключением случаев, когда они советуют кому-то использовать математику.

И, судя по всему, не понимает прочитанное:

[Чапмен]: Правильно. Так почему же он не выходит за пределы системы? Он сам здесь называет это «священными звуками». Получается, он понимает квазирелигиозную природу своих действий. Тогда зачем это всё?

Кто эти заблудшие байесианские фанатики? Общались ли люди, которые обвиняют рационалистов в квазирелигиозности, хотя бы с одним человеком, прочитавшим Цепочки? Неужели Чапмен всерьёз считает, что когда Элиезер говорит «не будьте сектой, а займитесь математикой», он подразумевает «будьте сектой»? Ответов на эти вопросы мы никогда не узнаем, поскольку, когда Скотт ответил на соломенную версию байесианства в изложении Чапмена, тот внезапно изменил позицию и написал:

Дело в том, что я вижу в LessWrong’е очень много правильного, и я очень сильно восхищаюсь его целями. Поэтому я так огорчён его ограничениями и (возможно, кажущимися) ошибками. Боюсь, мой безрассудный способ выразить огорчение мог кого-нибудь обидеть. Также он мог кого-то сбить с толку, поскольку я не предложил никакой конструктивной критики (и даже не определился, стоит ли этим заняться). Прошу прощения за всё это.

Конечно, приятно, что Чапмен извинился, но было бы ещё приятней, если бы он удалил соответствующие высказывания из своего блога. Самые лучшие рационалисты — это люди вроде Скотта, Кая Соталы и Ванивера. Они ответили на высказывания Чапмена вдумчивыми вежливыми дискуссиями о математике и эпистемологии. Единственная ошибка, которую я могу усмотреть с их стороны, заключается в том, что им стоило бы сказать: «Послушай, Дэвид, давай ты перестанешь называть байесианцев религиозной сектой, а затем мы вежливо поговорим о математике и эпистемологии?»

[Томас Байес на картинке говорит: «Я сам пресвитерианский священник. Как забавно!» — Прим.перев.]

И не важно, сколько Дэвид Чапмен теперь будет говорить, что он, конечно, совершенно не хотел назвать Скотта, Кая и Ванивера сектантами. Вред уже нанесён. Слово «секта»(«cult») выпадает первым предложением, когда вы ищете в гугле «LessWrong». Люди смеются над LessWrong’ом за увлечённость загадочными нердовскими вопросами вроде безопасного ИИ и крионики. Теперь сверхпопулярный блоггер пишет тысячи слов о рационалистском просвещении, безопасном ИИ и крионике, брезгливо избегая любого упоминания LessWrong’а. Журналисты, не прочитавшие и страницы Цепочек, высмеивают сообщество. Я и сам наткнулся на сайт благодаря одной из таких статей!

Посты, подобные приведённым выше, очерняют всё сообщество, и Дэвид должен был это понять, с учётом того, что он знаком со Скоттом и другими. Мем «байесианство — это секта» привёл к тому, что многие члены сообщества покинули сайт — кто-то ради своих собственных уголков «диаспоры рационалистов», а кто-то и вовсе перестал поддерживать связь с сообществом. Это лишило всех общей базы интуиции и языка, которые у нас есть благодаря Цепочкам и которые позволяют нам делиться идеями и учиться друг у друга.

Что ещё хуже, это злословие оттолкнуло от LessWrong’а новых людей и случайных читателей и помешало им обнаружить ресурс, который мог бы изменить их жизнь. Именно поэтому я тут потратил 1500 слов на обсуждение «пострационалистов». Я не хочу, чтобы любопытный читатель начал гуглить «LessWrong» и получил ужасно искажённое впечатление.

Рациональность помогла мне встретить прекрасную девушку (подробнее об этом я расскажу позже). Благодаря рациональности у меня появились интуиция, умение анализировать и уверенность, позволяющая не доверять на слово даже учёным. Рациональность позволяет мне сохранять хладнокровие и рассуждать о кривых распределения в разгар «войны культур». Рациональность даёт мне мудрость менять то, что я могу изменить, и принимать то, что я изменить не могу. Рациональность вдохновила меня на написание единственной в моей жизни поэмы.

И вы теперь тоже можете писать плохие поэмы. Добро пожаловать в общество рационалистов. Да будете вы завтра менее неправы, чем сегодня.