Вы здесь

Чувство морали

Элиезер Юдковский

Предположим, что нечто — болезнь, монстр, война, или что-то ещё — убивает людей. И допустим, что у вас достаточно ресурсов для осуществления одного из двух вариантов:

  1. Гарантированно спасти 400 жизней;
  2. Спасти 500 жизней с вероятностью в 90%, но при этом процент вероятности того, что спасти людей не удастся, составит 10%.

Большинство людей выбирают первый вариант, что я считаю глупым, поскольку, если вы умножите 500 жизней на 90% вероятности, то получите 450 жизней, что превышает 400 жизней из первого варианта. (Для спасённых жизней предельная полезность не убывает, так что это уместное вычисление).

Вы можете возмущённо воскликнуть: «Что?! Как вы можете играть с человеческими жизнями? Как вы можете думать о цифрах, когда столько поставлено на карту? Что если выпадут те 10% и все умрут? Это слишком большая плата за вашу проклятую логику! Ваша рациональность оторвана от реальности!»

Ах, но вот одна интересная вещь. Если вы представите параметры таким образом:

  1. 100 человек гарантированно умрут.
  2. Шанс 90%, что никто не умрёт, но вероятность 10%, что погибнут 500 человек.

В таком случае большинство выберут второй вариант. Даже если это та же самая авантюра. Очевидно, что так же, как уверенность в спасении 400 жизней кажется гораздо более комфортной, чем ненадёжная выгода, также и конкретная потеря ощущается сильнее, чем неопределённая.

Вы можете играть на публику и в этом случае: «Как вы можете обречь 100 человек на верную смерть, когда есть такая хорошая возможность спасти их? Мы все должны рискнуть! Даже если бы шанс спасти всех составлял всего 75%, всё равно стоило бы попробовать, раз есть шанс! Пусть им воспользуются все или никто!»

Знаете что? Это не о ваших чувствах. Человеческая жизнь, со всеми её радостями и страданиями, складывающимися в течение десятилетий, стоит гораздо больше, чем чувство комфорта или дискомфорта вашего мозга от планирования. Вам кажется, что вычисление ожидаемой полезности слишком бесчувственно? Что же, это ощущение — лишь перо на чаше весов, когда на карту поставлена жизнь. Просто заткнитесь и умножайте. Гугол равен 10^100 — единица, за которой следуют сто нулей. Гуголплекс — ещё более непостижимое большое число, это 10^гугол, единица, за которой следует гугол нулей. Теперь выберите какое-нибудь банальное неудобство, типа икоты, и какое-нибудь явно нетривиальное несчастье, например, медленно отрывающаяся конечность при нападении садистскими акулами-мутантами. Если мы вынуждены сделать выбор между предотвращением икоты у гуголплекс людей или предотвращением нападения акулы-мутанта на одного человека, какой выбор мы должны сделать? Если вы присваиваете икоте какое-то негативное значение, то, под страхом теоретической несогласованности решений, должно быть некоторое количество икоты, которое в сумме составило бы конкуренцию негативному значению атаки акулы. Для любого конкретного конечного зла должно быть некоторое количество икоты, которое было бы ещё хуже.

Подобные моральные дилеммы не являются умозрительным кровавым спортом для развлечения философов-аналитиков на званых обедах. Это искажённые версии тех ситуаций, в которых мы на самом деле оказываемся каждый день. Стоит ли мне потратить 50 долларов на консольную игру или отдать их на благотворительность? Должен ли я организовывать сбор средств в размере 700 000 долларов для оплаты одной трансплантации костного мозга или использовать эти же деньги для приобретения противомоскитных сеток и предотвратить смерть примерно 200 детей от малярии?

Тем не менее, многие отводят взгляд от обилия неприятных моральных компромиссов в реальности — многие даже гордятся тем, что отводят взгляд. Исследования показывают, что люди проводят различие между «священными ценностями», такими как человеческие жизни, и «не священными ценностями», такими как деньги. И когда вы пытаетесь обменять священную ценность на не священную, субъекты выражают большое негодование. (И порой они даже хотят покарать человека, который сделал такое предложение.)

У меня есть любимая история про то, как команда исследователей, которые оценивают эффективность разных проектов, подсчитала стоимость спасённой жизни и порекомендовала правительству реализовать этот проект, поскольку он был экономически эффективным. Правительственное агентство отклонило отчёт, потому что, по их словам, нельзя оценивать человеческую жизнь в долларах. После отклонения отчёта агентство решило не использовать такой способ оценки.

Обмен сакральной ценности на не сакральную кажется действительно ужасным. Просто умножать одно на другое было бы слишком хладнокровно – для этого надо быть очень рациональным… Но альтруизм — это не тёплое неопределённое чувство, которое вы испытываете, будучи альтруистом. Если вы делаете это ради духовной выгоды, это не что иное, как эгоизм. Но главное — это помочь другим, какими бы ни были средства. Так что заткнись и умножай!

И если вам кажется, что в этой максимизации есть жестокость, подобная обнажённому мечу Фемиды или горению Солнца, — если кажется, что посреди этой рациональности есть небольшое холодное пламя…

Ну, тогда есть способ, который может помочь почувствовать себя лучше. Но он не сработает.

Я скажу вот что: если вы отбросите своё сожаление по поводу духовного удовлетворения, которое могли бы получить — и будете искренне следовать Пути, не думая, что вас обманут, — если вы посвятите себя рациональности, не сдерживая себя, то увидите, что рациональность даст вам взамен.

Но это сработает, только если вы не будете говорить себе: «Мне было бы лучше, если бы я был менее рациональным». Разве вам грустно оттого, что у вас есть возможность реально помогать людям? Вы не можете полностью раскрыть свой потенциал, если считаете свой дар тяжёлой ношей.


Перевод: 
Юлия Литовченко, Саша Бережной
Номер в книге "Рациональность: от ИИ до зомби": 
285
Оцените перевод: 
Средняя оценка: 5 (2 votes)
  • Короткая ссылка сюда: lesswrong.ru/450