Вы здесь

Дырявые обобщения

Элиезер Юдковский

Съедобны ли яблоки? Обычно да, но некоторые яблоки гнилые.

Сколько у людей пальцев? Обычно десять, однако многие люди пальцы теряли, а их всё равно считали людьми.

Практически любое обобщение в реальном мире окажется «дырявым»1. Единственный способ этого избежать — спустится на уровень, который гораздо ниже макроскопических объектов. Ниже сообществ, людей, пальцев, тканей, клеток. На уровне частиц и полей законы и впрямь универсальны.

(Впрочем, возможно, есть некоторые исключения…)

В обычной жизни дырявые обобщения нужно просто как-то учитывать. Если вы идёте за печеньем в кондитерскую, которая почти всегда работает до 10 вечера, кроме дня благодарения, когда она работает до 6 вечера, а сегодня внезапно как раз день геноцида коренных американцев, то лучше бы дойти до неё до шести, иначе не будет вам печенья.

Нам сложно иметь дело с дырявыми обобщениями из-за нашего стремления к однозначности 2. Хочется раз и навсегда сказать, что у людей десять пальцев, и мы огорчаемся, когда приходится мириться с неоднозначными ситуациями.

Когда ставки растут, стремление к однозначности часто растёт следом. И из-за этого мы отказываемся разбираться в сложном вопросе именно тогда, когда это нужно больше всего.

Даже если бы мы всегда хотели чего-то простого (а это не так), жизнь была бы сложна. Дырявость дырявых обобщений при решении вопроса, что делать дальше, проистекала бы из-за дырявой структуры реального мира. Это можно сформулировать иначе:

У инструментальных ценностей часто нет компактного локального описания.

Представим ящик с миллионом долларов. Ящик закрыт, но не обычным кодовым замком, а с помощью механизма, управляемого дюжиной клавиш. Если вы понимаете, как работает механизм, то вы сможете подобрать последовательность клавиш и открыть ящик. Причём ящик открывается не единственной последовательностью, а неверная последовательность сожжёт деньги. Если вы ничего не знаете о механизме, то простые правила вроде «нажатие любой кнопки три раза откроет ящик» или «нажатие пяти разных кнопок без повторений сожжёт деньги» вам не помогут.

Существует компактное нелокальное описание последовательности клавиш: нажать те клавиши, которые откроют ящик. Написать компактную программу, которая определит правильные и неправильные последовательности, можно, но эта программа должна описывать механизм, а не сами клавиши.

Аналогично, существует локальное, но не компактное описание последовательности клавиш: колоссальная таблица с результатами для каждого возможного сочетания клавиш. Это очень большая компьютерная программа и в ней не упоминается ничего, кроме клавиш.

При этом невозможно коротко, используя только язык клавиш, описать, какие последовательности окажутся хорошими, плохими или нейтральными.

Хуже того, могут обнаружиться заманчивые обобщения, которые окажутся дырявыми. Например, представим, что для большинства клавиш нажатие их три раза подряд открывает ящик, но существует клавиша, любое нажатие на которую сжигает деньги. Вы можете решить, что нашли идеальное обобщение — компактно описанный класс последовательность, который всегда открывает ящик — а окажется, что вы не учли какие-то варианты работы машины или значимость неких побочных эффектов.

В данном примере механизм — это метафора для сложности реального мира. Открытие ящика (что хорошо) и сжигание денег (что плохо) представляют собой тысячи осколков желаний, из которых состоят наши терминальные ценности. Клавиши олицетворяют собой доступные нам действия, стратегии и правила.

Если задуматься, сколько существует способов оценить исходы и насколько сложны пути, ведущие к ним, удивительно, что вообще существует какие-либо этические рекомендации. (Из которых наиболее странной, но при этом полезной является «цель не оправдывает средства»)

И наоборот, сложность действий не обязательно свидетельствует о сложности цели. Часто встречаются люди, которые мудро улыбаются и приговаривают: «Ну, мораль — это сложная штука. Знаете ли, женское обрезание может быть правильным в одной культуре и неправильным в другой, да и вообще, пытать людей не всегда плохо. Если вы думаете, что существуют простые правила, вы довольно наивны и слишком сильно стремитесь к однозначности».

Можно заявить прямо и безусловно, что любое убийство имеет отрицательную полезность. Да, даже убийство Гитлера. Это не означает, что не стоит убивать Гитлера. Это означает, что общая полезность убийства Гитлера складывается из огромной отрицательной полезности его смерти и гораздо большей положительной полезности всех спасенных жизней.

Многие люди совершают ошибку, о которой я предупреждал в эссе «Ценности терминальные и инструментальные»: они думают, что если результирующая ожидаемая полезность последствий смерти Гитлера оказывается положительной, то мгновенная локальная терминальная полезность его смерти также является положительной. А это, в свою очередь, означает, что принцип «смерть — это всегда плохо» оказывается дырявым обобщением. Ошибка здесь в том, что полезность учитывается дважды. От ожидаемой полезности вы опять возвращаетесь к полезности, хотя рассуждения должны идти от полезности к ожидаемой полезности.

Впрочем, возможно, люди просто стремятся к односторонним политическим спорам. У лучших правил не должно быть недостатков.

В рамках моей моральной философии локальная полезность смерти Гитлера постоянна и отрицательна, независимо от внешних последствий и, соответственно, ожидаемой полезности.

Разумеется, можно составить моральный аргумент, будто наказывать злых людей — даже применять смертную казнь для достаточно злых людей — есть добро. Однако такой аргумент нельзя подкрепить тем, что, застрелив человека, направившего на кого-то оружие, мы, возможно, спасаем другие жизни. Ведь это апелляция к ценности жизни, а не ценности смерти. Даже если ожидаемые полезности запутанные и дырявые, это ещё не означает, что сами полезности — тоже запутанные и дырявые. Они могут быть таковыми! Но это уже другой разговор.

  • 1. Юдковский здесь использует отсылку к термину «leaky abstraction», который на русский язык обычно переводят как «дырявые абстракции». — Прим.перев.
  • 2. В оригинале используется термин «closure». Часто его переводят как «завершённость». – Прим. перев.

Перевод: 
sepremento, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
149
Оцените перевод: 
Средняя оценка: 5 (4 votes)
  • Короткая ссылка сюда: lesswrong.ru/548