Вы здесь

Замаскированные вопросы

Элиезер Юдковский

Представьте, что вы работаете на необычной фабрике. Вы должны брать объекты с загадочного конвейера и сортировать их по двум корзинам. В ваш первый рабочий день Старшая Сортировщица Сьюзен объяснила вам, что синие объекты яйцевидной формы называются «сияйцами» и их следует класть в «корзину для сияиц», а красные кубы называются «крубами» и их следует класть в «корзину для крубов».

Приступив к работе, вы заметили, что сияйца и крубы отличаются не только цветом и формой. Сияйца покрыты мехом, а крубы — гладкие. Поверхность сияиц слегка пружинит при нажатии, крубы — твердые. Сияйца — непрозрачные, поверхность крубов слегка просвечивает.

Вскоре вы столкнулись с сияйцом необычайно темного оттенка синего. Более того, присмотревшись получше, вы увидели, что это фиолетовый цвет — смесь красного и синего.

Погодите! Почему же вы называете этот объект «сияйцом»? Ведь «сияйцо» изначально определили как синий и яйцевидный объект. А характеристика «синее» даже отражена в самом названии «сияйца». А этот объект не синий. Одна из необходимых характеристик отсутствует, так что вам следует называть его не «сияйцом», а «фиолетовым яйцевидным объектом».

Но так уж случилось, что помимо яйцевидности и фиолетового цвета, этот объект непрозрачный, покрыт мехом и слегка пружинит. Так что увидев его, вы подумали: «О, сияйцо странного цвета». Но это уж точно не круб, верно?

И всё же вы не слишком уверены в том, что следует делать в таких случаях. Поэтому вы зовете на помощь Старшую Сортировщицу Сьюзен.

— Точно, это сияйцо, — отвечает Сьюзен. — Кладите его в корзину для сияиц.

Вы уже собираетесь бросить фиолетовое сияйцо в соответствующую корзину, но останавливаетесь.

— Сьюзен, откуда вы знаете, что это сияйцо?

Сьюзен странно на вас смотрит.

— Разве не очевидно? Пусть этот объект и фиолетовый, но при этом он еще и яйцевидной формы, непрозрачный, покрыт мехом и пружинит, как и другие сияйца. В редких цветовых дефектах нет ничего удивительного. Или это одна из философских загадок вроде: «Откуда вы знаете, что мир не был создан пять минут назад вместе с людьми с полным набором ложных воспоминаний?» В философском смысле у меня нет абсолютной уверенности в том, что это сияйцо, но, по-моему, вполне можно считать, что это так.

— Нет, я имею ввиду… — вы медлите, подыскивая нужные слова. — Зачем нужны отдельные корзины для сияиц и крубов? В чем разница между сияйцами и крубами?

— Сияйца — синие и яйцеподобные, крубы — красные и кубические, —- терпеливо отвечает Сьюзен. — Вы ведь прослушали стандартную вводную лекцию?

— Зачем надо сортировать сияйца и крубы?

— Э-э-э… потому что иначе они перемешаются? — говорит Сьюзен. — Потому что никто не станет нам платить просто за то, что мы сидим тут и не сортируем сияйца и крубы?

— Кто исходно определил, что синий яйцевидный объект — это сияйцо, и почему он так решил?

Сьюзен пожимает плечами:

— Думаю, с тем же успехом можно называть сияйцами красные кубические объекты, а крубами — синие и яйцевидные, но, по-моему, нынешний вариант удобнее для запоминания.

Вы на некоторое время задумываетесь.

— Предположим, что по конвейеру приехал очень необычный объект. Оранжевый, сферической формы, покрытый мехом, прозрачный и с маленькими зелеными щупальцами. Как мне определить — сияйцо это или круб?

— Ух-ты, с таким пока ещё никто не сталкивался, — отвечает Сьюзен. — Думаю, в этом случае мы воспользуемся сортирующим сканером.

— Как этот сканер работает? — продолжаете допытываться вы. — Это рентген? Магнитно-резонансная томография? Нейронная спектроскопия?

— Мне сказали, что он работает по правилу Байеса, но я не до конца понимаю, как это, — сказала Сьюзен. — Впрочем, мне нравится произносить это слово: байес, байес, байес, байес, байес.

— Какую информацию сообщает сортировочный сканер?

— Он сообщает, в какую корзину надо положить объект. Поэтому его и называют сортировочным.

Вы замолкаете.

— Кстати, - небрежно добавляет Сьюзен, — возможно, вам будет интересно узнать, что сияйца содержат ванадиевую руду, а крубы — кусочки палладия. И то, и другое активно применяется в промышленности.

— Сьюзен, вы чистое зло.

— Спасибо за комплимент.

Итак, судя по всему, мы обнаружили, в чём сущность сияйцности: сияйцо — объект, содержащий ванадиевую руду. Внешние характеристики — вроде синего цвета или пушистости — не определяют, является ли объект сияйцом. Эти характеристики важны лишь потому, что помогают понять, является ли объект сияйцом, то есть, содержит ли он ванадий.

Содержание ванадия — необходимое и достаточное определение. Все сияйца содержат ванадий, и всё, что содержит ванадий, — сияйцо. «Сияйцо» это лишь быстрый способ сказать «содержащий ванадий объект». Так ведь?

Не так быстро, говорит Сьюзен. Около 98% сияиц содержит ванадий, однако 2% содержит палладий. Точнее (продолжает Сьюзен), около 98% синих яйцевидных, мохнатых, мягких, непрозрачных объектов содержит ванадий. Для необычных сияиц будут другие пропорции: 95% фиолетовых сияиц содержат ванадий, 92% твердых сияиц содержит ванадий и так далее.

Предположим, вы обнаружили синий яйцевидный, мохнатый, непрозрачный объект. На вид — обычное сияйцо во всех отношения. Чисто из любопытства вы засунули его в сортировочный сканер. Сканер выдал: «палладий» — те самые редкие 2%. Сияйцо ли это?

Поскольку вы собираетесь бросить этот объект в корзину для крубов, первоначально у вас может появиться желание назвать его «крубом». Однако, оказывается, почти все сияйца, если выключить свет, слегка светятся в темноте, а почти все крубы в темноте не светятся. И процентное соотношение светящихся сияиц к несветящимся примерно такое же, как и для содержащих палладий вместо ванадия синих, яйцевидных, мохнатых, мягких, непрозрачных объектов. Поэтому, если вас интересует вопрос, светится ли этот объект в темноте как сияйцо или не светится как круб, вам стоит предположить, что он светится как сияйцо.

Так что это в итоге за объект: сияйцо или круб?

С одной стороны, независимо от того, что вы ещё узнаете про этот объект, вы его бросите в корзину для крубов. С другой — если вы хотите сделать предположение о каких-то неизвестных характеристиках этого объекта, то вам следует предполагать, что объект обладает скорее характеристиками сияйца, а не круба. То есть поместить его в кластер подобия синих, яйцевидных, мохнатых, мягких, непрозрачных вещей, а не в кластер красных, кубических, гладких, твердых и слегка прозрачных вещей.

В различных ситуациях вопрос «сияйцо ли это?» может использоваться для решения самых разных задач.

Если же никакая задача перед вами не стоит, то ответ на этот вопрос вам на самом деле не нужен.

Атеизм — это религия? Трансгумагизм — это культ? Люди, утверждающие, что атеизм — религия, потому что «это совокупность убеждений о Боге», на самом деле стремятся доказать (как мне кажется), что методы рассуждений у атеистов примерно такие же, как и у религиозных людей, или что атеизм не менее опасен с точки зрения вероятности спровоцировать насилие, и так далее… В действительности же на кону стоят заявления атеистов о существенной разнице и даже превосходстве атеизма по отношению к религии, которое верующий стремится опровергнуть путем отрицания разницы, вместо того, чтобы опровергать превосходство(!).

Однако такое поведение нельзя считать заведомо иррациональным. Заведомо иррациональное происходит в тот миг, когда кто-то в ходе спора вытаскивает словарь, чтобы посмотреть определения «атеизма» и «религии». И это глупо независимо от того, кто это делает, атеист или верующий. Как вообще словарь может определить, отличается ли эмпирический кластер атеистов достаточно сильно от эмпирического кластера теологов? Как от изменения смысла слов может измениться реальность? Точки в пространстве вещей не сдвинутся с места, если мы нарисуем другие границы.

Но люди часто не понимают, что их спор про то, где нарисовать определяющую границу, на самом деле является спором про то, можно ли сделать вывод, что большинство вещей внутри некоего эмпирического кластера обладает некоторой общей характеристикой…

Отсюда и выражение — «замаскированный вопрос».


Перевод: 
Muyyd1, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
160
Оцените качество перевода: 
Средняя оценка: 4.3 (10 votes)
  • Короткая ссылка сюда: lesswrong.ru/308