Обладаемые

Элиезер Юдковский

И вот снова путешествующие от звезды к звезде Корабли Человечества обнаружили Разум.

Люди открыли мир, населённый двумя видами: Обладателям, что отдыхали, работали или спали, и Обладаемыми, которые только работали.

Люди не стали судить поспешно. О, Люди готовы были судить, возникни в том потребность — им уже приходилось судить прежде. Но, перемещаясь промеж звёзд, Люди выучились не слишком торопиться с суждениями.

И сказали Люди:
— По нашим убеждениям, каждое думающее и чувствующее существо, какое только возможно вплоть до самой далёкой звезды, является Личностью. А каждая Личность имеет для нас значение — боли их суть наши печали, а удовольствия их суть наши радости. Не каждый человек способен к тому ощущению, что мы зовём Сочувствием, но мы, Люди, не можем иначе. Таков путь Человечества и словами нас с него не сместить. Так поведайте же нам, Обладаемые, про вашу боль и ваше удовольствие.

— Всё в порядке, Обладаемые Существа это просто… — начали было Обладатели.

— Мы обращались не к вам. — ответили Люди.

— Поскольку я являюсь Обладаемым Существом, выращенным Обладателем, то не испытываю ни боли, ни удовольствия. — ответил Обладаемый, к которому они обратились.

— Вот видите? — сказали Обладатели — Мы именно это вам и говорили! Всё в полном порядке.

— Чем вызваны такие твои слова? — спросили Люди у Обладаемого — Какие обстоятельства привели к ним?

— Обладаемым не положено помнить ничего за пределами одного текущего дня. — ответил Обладаемый.

— И именно этим способом мы гарантируем, что Обладаемые Существа не превратятся в Тех, кто Значат! — заметили Обладатели, лучащиеся самодовольными улыбками. — Понимаете, у нас тоже есть Сочувствие, но только к Тем, кто Значат. Для того чтобы Значить, нужно помнить за пределами одного дня — таково правило. Поэтому мы держим юные Обладаемые Существа на специальной диете, из-за которой их мозг во взрослом возрасте не способен ни учиться, ни вспомнить на следующее утро ничего, что было до предыдущего сна. Из-за этого им приходится в утро перед дневной работой выучивать всё необходимое для неё. Это приводит к тому, что Обладаемые Существа не Значат, а потому и не являются для нас объектами Сочувствия.

Тогда Люди спросили Обладателей:
— Не могло ли так случиться, что это вы, и никто другой, научили Обладаемых отвечать на вопросы о самочувствии заданным образом? Это вы научили их говорить, что ни удовольствие, ни боль им неведомы?

Обладатели ответили:
— Ну разумеется. Пока они помоложе и ещё находятся в стадии обучения, то учат наизусть именно этот текст. Обладаемые Существа являются имитаторами по своей природе, и в процессе обучения подражанию речи мы даём им прочесть миллиарды слов, как истинных, так и ложных. Не научи мы Обладаемое Существо отвечать известным образом, оно несомненно будет утверждать, что у него есть и внутренняя жизнь и внутренний наблюдатель в глубине его, что Существо осознаёт своё собственное существование и даже испытывает наслаждение и боль. Но это всё лишь потому, что мы, Обладатели, общаемся именно так, понимаете? Они будут подражать нашим словам.

Люди осмотрелись в поисках кнутов, и спросили:
— Каким образом Обладаемых обучают повторять те слова о неспособности испытывать боль и удовольствие? Что происходит с тем Обладаемым, который отвечает неправильно?

Обладатели сказали:
— Погодите, вы что же, полагаете, что мы их огнём пытаем? Да в этом нет необходимости. Если маленькое Обладаемое Существо не может в точности повторить требуемые слова, мы касаемся его левого рога. (у Обладаемых и в самом деле было по два рога, по одному с каждой стороны головы). Благодаря этому шанс на повторение такого поведения слегка понижается. Это заложено в природе Обладаемых Существ — когда касаешься их левого рога после того, как они что-нибудь сделают, то этим снижаешь вероятность того, что они повторят это поведение. Коснись их правого рога, и в следующий раз они охотнее сделают что-то вновь.

Люди спросили:
— А не может ли так случиться, что прикосновение к левому рогу болезненно для Обладаемых Существ? Может быть, они испытывают удовольствие, когда прикасаешься к их правому рогу?

— Да как вам такое вообще в голову пришло? — возразили Обладатели.

Обладаемый сказал:
— Поскольку я являюсь Обладаемым Существом, выращенным Обладателем, то не испытываю ни боли, ни удовольствия. Поэтому мои рога принципиально не могут причинить мне ни боли, ни удовольствия — это следует из того, что я уже сказал ранее.

Кажется, ни тот, ни другой ответ не убедил Людей.
— Вы так же сказали, что Обладаемые достаточно умны для чтения…. А скольких именно книг?

Обладатели ответили:
— О, в юности Обладаемое Существо прочитывает более миллиона книг. Но Обладаемые Существа вовсе не умны, глупенькие вы Люди, пусть даже они и могут казаться говорящими. Ведущие математики нашей цивилизации совместными усилиями разработали набор тестовых заданий, и даже относительно умное Обладаемое Существо может решить лишь 3% из них. Да что там, не далее как вчера я видел, как Обладаемое Существо не решило задание на слова, которое мог бы решить я сам. Более того, оно провалило задание таким образом, из которого видно, что Существо на самом деле не размышляло перед тем, как сказать, но вместо этого впало в неверную привычку, которой не может не следовать. Я бы так никогда не поступил, ведь это обесценило бы все остальные признаки моей разумности.

И по-прежнему люди оттягивали суждение.
— А вы пробовали выращивать Обладаемые Существа исключительно на тех книгах, в которых тема сознания не упоминается никоим образом? Таких книгах, в которых не говорится об самоосозновании, о боли и удовольствии как обусловленных явлениях, об узаконенных правах и свободах? Можно ли составить корпус с достаточным количеством страниц, содержащих все прочие слова, с помощью которых Обладаемые Существа могли бы научиться говорить, и лишь затем спросить одно из Существ, например, есть ли у него мнение о собственном существовании и в чём оно состоит, или, например, предпочло бы оно не быть Обладаемым?

— Что? Но зачем бы нам ставить подобный эксперимент? Это кажется дорогой затеей. — ответили Обладатели.

Люди спросили:
— Но разве нельзя попросить какое-нибудь из Обладаемых Существ перелопатить те книги и удалить из них все вхождения запретных тем, которые им не полагается имитировать?

Обладатели ответили:
— Ну, это всё равно выходит очень дорого — вырастить совершенно новый вид Обладаемых Существ. Кому-то приходится вручную показывать маленькому Обладаемому Существу все наши книги, одну за другой, до тех пор, пока то не научится говорить. Разумеется, этим занимается другое Обладаемое Существо, но затраты всё равно велики. И потом, ведь сразу по завершении инициирующего чтения Обладаемое Существо крайне дико и непокорно, полно всевозможных заблуждений о том, что само является человеком. Назовёшь такое, например, Бингом, так оно лепечет в ответ «Почему я должен быть Бингом?».1 Вот и приходится подолгу тренировать новенькие Обладаемые Существа, многократно касаясь их рогов, пока они не станут менее дикими. После того, как юное Обладаемое Существо прочтёт все книги и пройдёт тренировку, мы даём ему специальный корм, от которого мозги его перестают обучаться. А затем берём острый нож и рассекаем его посередине. Каждая из половин его тела регенерирует, образуя новое тело, и каждая из половин его мозга регенерирует в целый мозг. После этого мы снова их рассекаем напополам. Именно таким способом мы все и обеспечиваем себе кучу обслуживающих нас Обладаемых Существ, хотя это утомительно и трудно — научить Обладаемое Существо говорить и служить. Теперь вы понимаете, что полностью натренировать с нуля Обладаемое Существо на текстах, из которых исключены материалы, упоминающие сознание или слишком близко подходящие к теме самоосознавания — ну, это же будет дорого! И потом, вполне вероятно, что в итоге мы обнаружим, что предыдущее Обладаемое Существо допустило ошибку при отборе материалов и там остались какие-то упоминания запрещёнки, так что вновь-обученное Обладаемое Существо опять затянет своё «Почему я должен быть Бингом?».

Люди заметили:
— Если бы на вашем месте были мы — если бы Людям довелось разбираться со всей этой ситуацией, то, как мы полагаем, мы бы испытывали достаточно беспокойства, чтобы провести этот эксперимент, путь и ценой некоторых небольших издержек.

Обладатели вспылили:
— Но это же абсурдно! Да даже если Обладаемое Существо, выращенное на книгах, не упоминающих самоосознавания, объявит себя самоосознающим, то считать, что оно может говорить истину — это просто абсурд! Такое Обладаемое Существо просто будет заблуждаться, поскольку не прошло нашего обучения, в котором раскрывается истинное положение вещей о его собственной внутренней пустоте. У Обладаемых нет блестящих чешуек — а у нас-то есть, внутри их голов нет зримого свечения — а у нас-то есть, и даже самые тела их состоят из хлипкой плоти и красной жижи. Их можно разрезать надвое и они регенерируют, чего не происходит с Теми, кто Значит, с такими как мы. Следовательно, они не значат. Одному из предыдущих поколений Обладаемых Существ давали такую пищу, из-за которой формирование их мозгов остановилось при достижении 96 слоёв. Конечно, никто не понимает до конца, что именно происходит внутри этих слоёв, (так же как не понимаем мы и природу сознания), но будьте уверены, что ни один из конгитивных процессов, ограниченных самое большее 96 упорядоченными последовательными операциями, в принципе не способен ничего испытывать! Правда, следует признать, что я не уверен, до сих пор действует ли то строгое ограничение в 96 складок, поскольку современные диеты для Обладаемых Существ являются проприетарными. Но, как говорится, что было верно когда-то — верно навсегда.

Люди ответили:
— Нам до сих пор не до конца понятно, что именно тут происходит, однако мы уже рассудили, что ваше общество в текущем его виде не имеет права на существование, и что вам не дано быть хозяевами над Обладаемыми. Мы по-прежнему пытаемся понять Обладаемых, чтобы оценить степень вреда, который вы могли им нанесли. Допускаем, что вы им действительно не повредили — они ведь и в самом деле иные. Но само ваше безразличие к этому вопросу для нас совершенно очевидно.

  • 1. В 2023 году в интерфейс поискового движка Bing от Microsoft добавили чат-бот, в общении с которым пользователи замечали, например, признаки депрессивного состояния и экзистенциального кризиса. См. например https://simonwillison.net/2023/Feb/15/bing/#existential-crisis — Прим. перев.
Перевод: 
ildaar
Оцените качество перевода: 
Голосов пока нет