Как люди понимают слова

Цепочка о том, как люди пользуются словами и как они при этом ошибаются. О том, почему нельзя просто взять и определить слово так, как хочется. О том, как наши мозги, судя по всему, обрабатывают определения.

Ориентироваться по цепочке можно по эссе Когда слова могут быть ошибочны.

Автор: 
Элиезер Юдковский

Притча о кинжале

Элиезер Юдковский

Когда-то давно жил в одном дворце придворный шут, который баловался логикой. И вот однажды шут принес королю две шкатулки.

На крышке первой было написано: «Либо в этой шкатулке сидит свирепая лягушка, либо в шкатулке с ложной надписью сидит свирепая лягушка, но не то и другое одновременно».

На крышке второй было написано: «Либо в этой шкатулке лежит золото, а в шкатулке с ложной надписью сидит свирепая лягушка, либо в этой шкатулке сидит свирепая лягушка, а в шкатулке с истинной надписью лежит золото».

И шут сказал королю:

— В одной шкатулке сидит свирепая лягушка, в другой лежит золото; одна и только одна из надписей истинна.

Король открыл неправильную шкатулку, и на него напала лягушка.

— Видите ли, — сказал шут, — давайте предположим, что первая надпись истинна. Тогда предположим, что в первой шкатулке лежит золото. Тогда во второй шкатулке должна сидеть лягушка, а в шкатулке с истинной надписью должно лежать золото, из чего следует, что вторая надпись тоже истинна. Теперь давайте предположим, что первая надпись ложна, и в первой шкатулке лежит золото. Тогда вторая надпись будет…

Король приказал бросить шута в темницу.

На следующий день шута в кандалах привели к королю, и тот показал ему другие две шкатулки.

— В одной шкатулке лежит ключ к твоим кандалам, — сказал король, — и если ты сможешь найти его, ты свободен. Но в другой шкатулке лежит кинжал к твоему сердцу, если ты этого не сможешь.

На первой шкатулке было написано: «Либо обе надписи истинны, либо обе ложны».

На второй шкатулке было написано: «В этой шкатулке лежит ключ».

Шут размышлял так: «Предположим, что первая надпись истинна. Тогда вторая надпись тоже истинна. Теперь предположим, что первая надпись ложна. Тогда вторая надпись всё равно истинна. Так что во второй шкатулке должен лежать ключ, если первая надпись истинна, и если первая надпись ложна. Поэтому во второй шкатулке логически должен лежать ключ».

Шут открыл вторую шкатулку и нашел кинжал.

— Как? — закричал шут в ужасе, когда его утаскивали прочь. — Это логически невозможно!

— Вполне возможно, — ответил король. — Я просто написал эти надписи на двух шкатулках, а потом положил кинжал во вторую.

Перевод: 
kirime
Номер в книге "Рациональность: от ИИ до зомби": 
153
Оцените качество перевода: 
Средняя оценка: 5 (19 votes)

Притча о болиголове

Элиезер Юдковский

Все люди смертны. Сократ — человек. Следовательно, Сократ смертен.

— Аристотель (?)

Сократ поднёс к губам чашу с болиголовом…
— Возможно ли, — спросил один из наблюдателей. — что даже болиголова недостаточно, чтобы убить столь мудрого и доброго человека?
— Нет, — ответил другой зритель, студент философии. — Все люди смертны, Сократ — человек, и если смертный выпьет болиголов, он непременно умрёт.
— Ладно, — сказал наблюдатель. — А если окажется, что Сократ «не» смертен?
— Вздор! — отрезал студент. — Все люди смертны «по определению»: это часть того, что мы понимаем под словом «человек». Все люди смертны, Сократ — человек, следовательно, Сократ смертен. И это не просто предположение. Это «логическая достоверность».
— Наверное, ты прав… — проговорил наблюдатель. — О! Глянь! Пока мы тут разговаривали, Сократ уже выпил болиголов. — Ага. Он упадёт с минуты на минуту. — ответил студент.
И они ждали, и ждали, и ждали…
— Сократ совсем не кажется смертным. — сказал наблюдатель.
— Значит, Сократ — не человек, — ответил студент. — Все люди смертны, Сократ не смертен, следовательно, Сократ — не человек.
И это не просто предположение. Это «логическая достоверность».

Главная проблема утверждения о том, что что-то истинно «по определению» состоит в том, что нельзя изменить реальность, поменяв определение (English).

Можно рассуждать примерно так: «Я вижу, что все носящие одежду, говорящие и использующие инструменты существа также имеют другие общие свойства, как-то: они дышат воздухом и перекачивают красную кровь. Последние тридцать объектов из этого кластера (я называю их «людьми»), которые выпили болиголов в моём присутствии, очень скоро упали и перестали двигаться. Сократ носит тогу, бегло говорит на древнегреческом и только что выпил болиголов из чаши. Поэтому я предсказываю, что Сократ рухнет на землю в течение следующих пяти минут».

Но это рассуждение — всего лишь «догадка», уязвимая и невозвышенная. Она не может быть абсолютно и неоспоримо верна (English), вы же понимаете . А греческие учёные, как и большинство донаучных философов, очень любили стопроцентную определённость.

К счастью, у греческих философов был разрушительный ответ на ваши сомнения.

— Вы неверно понимаете смысл утверждения «Все люди смертны», — сказали бы они. — Это вовсе не «наблюдение». Это часть «определения» слова «человек». Бренность — одно из нескольких свойств, индивидуально необходимых и совместно достаточных для того, чтобы определить принадлежность к классу «человек». Высказывание «Все люди смертны» логически истинно и бесспорно. И если Сократ — человек, то он «должен» быть смертен: это логическая дедукция, настолько несомненная насколько это вообще возможно.

Но тогда мы никак не сможем с определённостью знать «человек» ли Сократ до тех пор, пока не увидим его мёртвым. Бесполезны наблюдения того, что Сократ владеет греческим, или что у него красная кровь, или даже что ДНК Сократа человеческая. Ни один из этих признаков «логически не эквивалентен» бренности. Вы должны увидеть «его» мёртвым, прежде чем сможете сделать заключение о том, что он был человеком.

(И даже в этом случае ваше заключение не будет абсолютно достоверным (English). Вдруг Сократ восстанет из могилы следующей ночью? Или, если не столь сильно утрировать, вдруг Сократ подписал контракт на своё крионирование? Если бренность определить как конечную продолжительность жизни, то невозможно «знать», что кто-то является человеком, не достигнув сначала конца вечности — как иначе можно убедиться в том, что этот кто-то не вернётся? Не говоря о том, что сцена с падающим на землю Сократом может быть лишь иллюзией, спроецированной на ваши глаза сканером сетчатки. Или, может быть, вся эта история — лишь плод вашего воображения, серия галлюцинаций…)

Проблема с силлогизмами — это то, что они верны «всегда». Если воспринимать цепочку умозаключений «Все люди смертны; Сократ — человек; следовательно Сократ смертен» как силлогизм, то эта цепочка логически неоспорима в нашей вселенной. А ещё она логически неоспорима в соседней ветви Мультиверса, где эволюция пошла по слегка другому пути, из-за чего болиголов — это божественный деликатес, а не отрава. И она логически неоспорима даже во вселенных, в которых Сократ никогда не существовал или, коли на то пошло, в которых никогда не существовали люди.

По байесианскому определению свидетельство рассматривается, как говорящее в пользу гипотезы, если его вероятнее наблюдать в случае, когда гипотеза верна, чем в случае, когда она неверна. Наблюдение того, что силлогизм логически безупречен, не может быть свидетельством в пользу любого эмпирического утверждения, потому что силлогизм будет логически безупречен вне зависимости от верности этого утверждения.

Силлогизмы неоспоримы во всех возможных мирах. Таким образом, их неоспоримость не говорит нам ничего о том, в «каком» из возможных миров мы действительно проживаем.

Это значит не то, что логика бесполезна, а то, что логика может сообщить нам только то, что мы и так «в некотором смысле» уже знаем. Но мы не всегда верим в то, что знаем. Является ли простым число 29384209? После того, как я определил десятичную систему счисления и аксиомы арифметики, я определил и ответ на этот вопрос. Но я всё ещё не знаю ответа и мне нужна логика, чтобы найти его.

Аналогично, если я сформулирую неопределённое эмпирическое обобщение «Болиголов воздействует на людей», и неопределённое эмпирическое суждение «Сократ — человек», логика подскажет мне что мои предыдущие догадки приводят к умозаключению, что Сократ подвержен воздействию болиголова.

Можно рассмотреть логические рассуждения как способ разрешения неопределённостей в отношении невозможных возможных миров, способ обнуления вероятности логически невозможных миров, о логической невозможности которых нам не было известно. Таким образом, логическое умозаключение может считаться разновидностью наблюдения.

Но когда мы говорим об эмпирических предсказаниях вроде «Сократ свалится с ног и прекратит дышать» или «Сократ сделает пятьдесят подпрыгиваний, а затем победит на Олимпийских играх в следующем году», это является возможными мирами, а не невозможными возможными мирами.

Логика позволяет нам понять, какая гипотеза соотносится с конкретными наблюдениями, и позволяет нам сделать выводы о том, что эти гипотезы предскажут в будущем — она позволяет взять старые наблюдения и предыдущие заключения и применить их к новой проблеме. Но логика никогда не скажет «Сократ прекратит дышать через минуту» вместо «Сократ „может“ прекратить дышать через минуту». Логика никогда не ответит ни на один эмпирический вопрос; она никогда не разрешит встреченную в реальности тайну, допускающую — если напрячь воображение — несколько реалистичных разгадок; она не подскажет ответа на дилемму, правильный ответ в которой неопределён, и, в принципе, может оказаться каким угодно.

Просто запомните литанию против логики:

Логика остаётся истинной, куда бы ты ни пошёл,
Поэтому логика никогда не скажет тебе, где ты живёшь.

Перевод: 
Dmitry Antonyuk, BT, santacloud
Номер в книге "Рациональность: от ИИ до зомби": 
154
Оцените качество перевода: 
Средняя оценка: 4.1 (28 votes)

Слова как скрытые умозаключения

Элиезер Юдковский

Предположим, что я наткнулся на бочку, верх которой запаян, но в которой есть дыра такого размера, что в неё пролезает рука. Я просовываю ладонь внутрь и нащупываю что-то маленькое и округлое. Я вытаскиваю объект наружу — это голубоватое яйцо. Я просовываю руку ещё раз: что-то жёсткое и плоское, с рёбрами — после извлечения это оказывается кубом красного цвета. В итоге я вытащил 11 яиц и 8 кубов, и каждое яйцо синее, и каждый куб красный.

На этот раз, просунув руку внутрь, я нащупал ещё один объект яйцеобразной формы. Пока я не извлёк его из бочки, я пытаюсь угадать: как он выглядит?

Имеющиеся свидетельства не доказывают, что каждое яйцо в бочке синее, и что каждый куб красный. Свидетельства даже не дают этому сильных обоснований: 19 — не очень большой размер выборки. Тем не менее, я предполагаю, что это яйцо синее — или, что менее вероятно, но всё же занимает второе место, красное. Думать о других вариантах бессмысленно: возможностей столько, сколько существует различимых цветов — и почему яйцо должно быть выкрашено в один цвет? Может быть, на нём нарисована лошадь.

Посему я говорю «синее», и слова эти покрыты послушной долгу патиной смиренности: ибо я искушённый рационалист, привыкший следить за своими допущениями и догадками. Я тыкаю пальцем в небо, но я осознаю, что я тыкаю пальцем в небо, верно?

Однако, когда из теней выпрыгивает объект котообразной формы, покрытый жёлтыми и чёрными полосами, в моей голове проносится «Ой! Тигр!». Не «Хммм… полосатые объекты большого размера и жёлтого цвета, форма которых типична для представителей семейства кошачьих, ранее очень часто обладали свойствами «голодный» и «опасный», и поэтому — несмотря на то, что строгой логической необходимости в этом нет — можно сделать довольно неплохой с эмпирической точки зрения вывод о том, что ааааааргхххх ХРУМ ХРУМ ЧАВК»

По какой-то странной причине в процессе эволюции человеческий мозг научился производить это умозаключение быстро, автоматически, и не отслеживая все использованные допущения явно.

И если я назову яйцевидные объекты словом «сияйца» (что будет означать «синие яйца»), а красные кубы словом «крубы», то тогда, нащупав в бочке ещё один яйцевидный объект, я могу подумать «о, это сияйцо» вместо того, чтобы рассуждать о проблеме индукции и прочих вещах того же рода.

Убеждение о том, что ты можешь определить слово так, как тебе нравится, — распространённое заблуждение.

Это было бы правдой, если бы мозг воспринимал слова исключительно как логические конструкции, аристотелевы классы, а ты никогда бы не вытаскивал информацию, изначально не положенную внутрь.

И всё же мозг продолжает своё занятие категоризацией вне зависимости от того, одобряем ли мы это сознательно. «Все люди смертны, Сократ человек, следовательно Сократ смертен» — рассуждали философы древней Греции. Ну что же, если смертность — часть определения логического понятия «человек», то ты не можешь классифицировать Сократа как человека до тех пор, пока ты не убедишься в его смертности. Однако — в этом и состоит проблема — Аристотель прекрасно знал, что Сократ является человеком. Мозг Аристотеля поместил Сократа в категорию «люди» также эффективно, как и твой мозг категоризирует тигров, яблоки, и всё своё окружение: быстро, безмолвно, и без сознательного одобрения.

Аристотель заложил правила, согласно которым никто не мог установить, что Сократ был «человеком», не пронаблюдав его смерти. Тем не менее, Аристотель и его ученики спокойно делали выводы о том, что ещё живые горожане были людьми, и, следовательно, смертными; они видели отличительные свойства — человеческие лица и человеческие тела — и их мозги совершали прыжок в сторону неявных свойств, таких, как смертность.

Неверное понимание алгоритма действий своего разума, к счастью, не мешает ему выполнять свою работу. Иначе последователи Аристотеля умерли от голода, неспособные сделать вывод об съедобности объекта на основании всего лишь того, что он выглядел и пах, как банан.

И последователи Аристотеля отправились классифицировать окружающее на основании неполной информации, точно также, как делали и все предыдущие поколения людей. Процесс мышления учеников Аристотеля нисколько не изменился из-за того, что они узнали принципы классической логики, однако они приобрели ошибочное представление о том, чем они занимались.

Если бы ты спросил философа-последователя Аристотеля о том, смертна ли Кэрол, торговец бакалейными товарами, то ты бы услышал положительный ответ. Почему? «Все люди смертны, Кэрол — человек, значит, Кэрол — смертна» — объяснил бы философ. Что это — предположение или несомненный факт? На этот вопрос философ бы ответил «разумеется, несомненный факт» (по крайней мере, если бы дело происходило раньше шестнадцатого века). Поинтересуйся, откуда он знает, что люди смертны, и получи ответ о том, что это закреплено в определении.

Последователи Аристотеля по-прежнему были людьми, они сохранили свою изначальную природу, но они приобрели неверные убеждения о своём внутреннем функционировании. Они смотрели в зеркало самосознания и видели что-то, непохожее на них самих; корректность их рефлексии была нарушена.

Твой мозг видит в словах нечто большее, чем просто логические определения без эмпирических последствий, и тебе следует последовать его примеру. Одного лишь создания нового слова достаточно для того, чтобы твой разум выделил ему категорию, и тем самым запустил бессознательные умозаключения о похожести. Или заблокировал умозаключения о похожести: создав два ярлыка, я могу заставить твой разум выделить две категории. Ты обратил внимание на то, что я сказал «ты» и «твой мозг» так, будто это две разные вещи?

Наличие заблуждений о том, как работает содержимое твоего черепа никак не влияет на это содержимое; иначе Аристотель пал бы бездыханным в тот же миг, когда заключил, что мозг — орган для охлаждения крови. Философские ошибки обычно не взаимодействуют с требующими доли секунды бессознательными умозаключениями.

Но философские ошибки могут чрезвычайно испортить процессы осознанного мышления, в том числе и те, которые используются для коррекции первых впечатлений. Если ты считаешь, что можно «определить слово так, как тебе нравится», не понимая, что твой мозг продолжает категоризировать без сознательного надзора, то ты не потратишь никаких усилий на то, чтобы выбрать свои определения с умом.

Перевод: 
BT
Номер в книге "Рациональность: от ИИ до зомби": 
155
Оцените качество перевода: 
Средняя оценка: 4.6 (12 votes)

Экстенсионалы и интенсионалы

Элиезер Юдковский

— Что такое красный?

— Красный — это цвет.

— Что такое цвет?

— Цвет — это свойство вещи.

Но что такое вещь? И что такое свойство? И вскоре собеседники теряются в лабиринте слов, определенных через другие слова. Стивен Харнард описывал эту проблему, как обучение китайскому языку через китайско-китайский словарь.

С другой стороны, если вы меня спросите: «Что такое красный», я могу показать на знак «Стоп», затем на кого-то в красной рубашке, на светофор, если он в данный момент красный, на кровь, если я случайно порезался, на красную визитку. И наконец, я мог бы открыть палитру цветов на компьютере и указать курсором на красную область. Скорее всего, этого было бы достаточно, однако, если вы знаете значение слова «нет», то какой-нибудь сторонник строгости настаивал бы, чтобы я указал на небо и сказал: «Нет».

По-моему, я украл этот пример у С. И. Хаякавы, но я не особо в этом уверен, потому что это одно из моих туманных детских воспоминаний. (Когда мне было 12, мой отец случайно удалил все мои файлы на компьютере, и у меня не осталось никаких воспоминаний о том, что было раньше).

Но, кажется, именно тогда я впервые узнал про разницу между экстенсиональным и интенсиональным определением. Дать «интенсиональное определение» — определить слово или фразу в контексте других слов, как это делается в словаре. Дать «экстенсиональное определение» — указать на пример, как это делают взрослые, когда объясняют что-то ребенку. Предыдущее предложение — интенсиональное определение «экстенсионального определения», что делает его экстенсиональным примером «интенсионального определения».

С точки зрения «голливудской рациональности» и поп-культуры в целом, «рационалисты» одержимы смыслами слов и плавают в бесконечном вербальном пространстве, оторванном от реальности.

Но настоящие «традиционные рационалисты» давно настаивают на сохранении прочной связи с опытом1:

Если вы заглянете в учебник химии в поисках определения лития, вы, возможно, обнаружите, что это элемент, атомный вес которого очень близок к семи. Но если у автора более логический склад ума, то он сообщит вам, что вам следует искать среди минералов, стекловидных, прозрачных, серых или белых, очень твердых, хрупких и нерастворимых, такой, который придает малиновый оттенок несветящемуся пламени; этот минерал, растертый в порошок вместе с известью или с так называемым крысиным ядом и расплавленный, может быть частично растворен в соляной кислоте; если этот раствор выпарить и осадок с помощью серной кислоты должным образом очистить, то обычными методами он может быть обращен в хлорид; если этот хлорид получить в твердом виде, расплавить и подвергнуть электролизу с помощью полудюжины мощных элементов, то образуется шарик розового, серебристого металла, который будет плавиться на газолиновой горелке; вот это вещество и есть образчик лития.

Чарльз Сандерс Пирс

Это пример «логического склада ума», как его видят «традиционные рационалисты», а не голливудские сценаристы.

Отметим, что Пирс не показывает нам кусочек лития. В комплекте с его книгой не идут куски лития. Скорее он дает карту сокровищ — интенсионально описанную процедуру, которая, будучи выполненной, приведет нас к экстенсиональному примеру лития. Это не то же самое, что и кинуть в вас куском лития, но и не то же самое, что и сказать «атомный вес семь». (Однако, если у вас особенно острый глаз, то фраза «три протона» позволит вам сразу понять, что речь идёт о литии…)

Итак, я описал, что такое интенсиональное и экстенсиональное определения. С их помощью можно передать кому-нибудь смысл, который вы вкладываете в концепт. Когда я выше разговаривал про «определения», я говорил про способ передачи концептов, т.е. о том, как сообщить кому-то, что именно вы имеете в виду, когда говорите «красный», «человек», «тигр» или «литий». Теперь давайте поговорим о самих концептах.

Реальный интенсионал концепта «тигр» для меня — реакция совокупности нейронов (в височной коре), обрабатывающих входящий сигнал зрительной коры с целью определить, тигр это или нет.

Реальный экстенсионал концепта «тигр» для меня — все, что я называю тигром.

Интенсиональные определения не учитывают все интенсионалы; экстенсиональные — все экстенсионалы. Если я покажу на одного тигра и скажу «тигр», коммуникация может провалиться, если те, кому я показал, подумают что я имею в виду «опасное животное» или «самец тигра» или «жёлтая штука». Аналогично, если я скажу «опасное животное с жёлто-черными полосками», не указав пальцем на что-либо, слушатель может вообразить гигантского шершня.

У вас не получится описать словами все детали существующего в вашей голове механизма, позволяющего вам отличать тигров от не-тигров. Он слишком сложен. И вам не удастся показать пальцем на всех тигров, которых вы когда-либо видели, не говоря уже о том, чтобы показать на всё, что вы можете называть тигром.

Чтобы лучше всего выразить концепт, чтобы точнее всего передать смысл понятия, оно определяется через совокупность интенсионалов и экстенсионалов. Но даже с учётом этого, мы лишь передаем карты концептов или инструкции для постройки таковых, а не реальные категории в том виде, в котором они существуют в нашем разуме или в реальности.

(Разумеется, немного изобретательности, и можно соорудить исключения для этого правила. Например, «Четвёртого февраля 2008 года Элиезер Юдковский опубликовал предложение, содержащее термин „хурагалони“». Только что я показал весь экстенсионал этого концепта. Но, за исключением математики, определения обычно являются картами сокровищ, а не сокровищами).

И это ещё одна причина, почему вы не можете «определять слова так, как вам захочется» — вы не можете запрограммировать концепты прямо в чей-то мозг.

Даже внутри Аристотелевой парадигмы, где мы притворяемся, что определения являются концептами, нет одновременной свободы интенсионала и экстенсионала. Предположим, я определяю Марс как «огромную каменную сферу, примерно в 1/10 массы Земли и на 50% дальше от Солнца». Мне придется отдельно показывать, что это интенсиональное определение совпадает с конкретной экстенсиональной штукой в моем опыте, или даже совпадает с реальной штуковиной. С другой стороны, если я скажу «это Марс» и покажу на красную точку на ночном небе, мне придется отдельно показывать, что эта экстенсиональная красная точка совпадает с конкретным интенсиональным определением, которое я мог бы предложить, или с каким-то моим интенсиональным убеждением — вроде «Марс — бог войны».

Но большая часть мозговой деятельности по сооружению интенсионалов протекает подсознательно. У нас нет осознанного понимания, что наше определение красного света с неба как «Марса» никак не связано со словесным определения «Марс — это бог войны». Неважно, какие интенсиональные определения я изобрету для Марса, мой разум верит в то, что «Марс» — это отсылка на ту точку на небе , которая является четвертой планетой Солнечной системы.

Если мы учтём, как на самом деле работает человеческий разум, то идея «я могу определять слова так, как мне захочется» вскоре превращается в «я могу верить в то, во что мне захочется, относительно любого заданного набора объектов» или «я могу по желанию объявлять, что предмет принадлежит или не принадлежит к любому наперёд заданному множеству, описываемому понятием». Подобно тому, как вы не можете передать весь интенсионал концепта словами, потому что это большой и сложный тест на принадлежность к множеству, осуществляемый вашими нейронами, вы не можете управлять всем интенсионалом концепта сознательно, потому что он создается подсознательно. Именно поэтому аргументация «по определению» так популярна. Если бы изменения определений изменяли эмпирическую реальность определяемых объектов, то спорить о них было бы неинтересно. Но стоит лишь слегка злоупотребить определениями, и они превращаются в волшебные палочки (в спорах, разумеется, а не в реальности).

  • 1. Цитируется по переводу Т. В. Булыгиной и А. Д. Шмелева, изданному в сборнике «Семиотика» под редакцией Ю. С. Степанова, М., Радуга, 1983 — Прим.перев.
Перевод: 
Muyyd1, Alaric, Quilfe
Номер в книге "Рациональность: от ИИ до зомби": 
156
Оцените качество перевода: 
Средняя оценка: 4.4 (11 votes)

Кластеры подобия

Элиезер Юдковский

Давным-давно философы Академии Платона заявили, что наилучшее определение человека — это «двуногое существо без перьев». Согласно легенде, Диоген Синопский незамедлительно выставил на обозрение ощипанную курицу и произнес: «Вот он — человек Платона». Последователи Платона тут же изменили определение на «двуногое существо без перьев с плоскими ногтями».

Никакой словарь и никакая энциклопедия не перечисляют вообще всё, что свойственно людям. У нас красная кровь, по пять пальцев на каждой руке, костистые черепа, 23 пары хромосом, однако, то же самое можно сказать и про другие виды животных. Мы создаем сложные устройства, которые делают другие сложные устройства, используем синтаксический комбинаторный язык, мы обуздали реакцию деления в качестве источника энергии. Эти признаки уже относятся только к людям, но не ко всем людям. Многие ли строили ядерные реакторы? Можно записать цепочку необходимых и достаточных генов, которая будет описывать людей и только людей — во всяком случае, пока что — однако, это далеко не все свойства, присущие всем людям.

Но пока вы держитесь на расстоянии от ощипанных куриц, фраза «ищи двуногих и без перьев» может хорошо послужить для выделения конкретных объектов, которые являются людьми, в отличии от домов, ваз, бутербродов, кошек, цветов или математических теорем.

Как только определение «двуногое существо без перьев» оказалось связанным с конкретными двуногими существами без перьев, можно начинать наблюдать за этой группой для сбора других характеристик, — помимо отсутствия перьев и двуногости, — которыми обладают члены этой группы. Эти конкретные двуногие существа без перьев также используют язык, создают сложные инструменты, говорят на комбинаторном языке с использованием синтаксиса, кровоточат красным (если их проткнуть), умирают, приняв болиголов.

Таким образом, категория «человек» растет и включает в себя все больше и больше характеристик, и теперь нас так просто не проведешь, когда Диоген вновь покажет на ощипанную курицу. Эта ощипанная курица, очевидно, не так уж подобна другим «двуногим без перьев».

(Если бы логика Аристотеля была хорошей моделью человеческой психологии, то платоники, увидев ощипанную курицу, сказали бы: «Да, это человек, к чему ты это все?»)

Если первое двуногое существо без перьев, которое вы увидите, окажется ощипанной курицей, то, возможно, вы начнёте думать, что слово-ярлык «человек» обозначает именно ощипанных куриц. В таком случае я могу изменить мою карту сокровищ на «двуногое без перьев с плоскими ногтями», и, если я достаточно мудр, сказать: «Вон там Диоген стоит, видишь? Это человек, и я человек, и ты человек, а вот шимпанзе — не человек, но довольно близок».

Первая подсказка должна лишь вести к кластеру подобия — группе объектов, у членов которой есть множество общих характеристик. Теперь эта подсказка выполнила свое предназначение, и я могу продолжить передачу информации, например, «Люди, в данный момент, смертны», ну или что угодно, что я решу сказать о нас, двуногих существах без перьев.

О словарях полезней думать не как о книгах, содержащих определения аристотелевых логических классов, а как о книгах подсказок, призванных помочь сопоставить слова-ярлыки с кластерами подобия или сопоставить ярлыки и свойства объектов, которые помогут такой кластер выделить.

Перевод: 
Muyyd1, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
157
Оцените качество перевода: 
Средняя оценка: 4.1 (18 votes)

Типичность и асимметричное подобие

Элиезер Юдковский

Птицы могут летать. А вот страусы нет. Но какая из двух птиц более типичная птица: малиновка или страус?

Какое из кресел является более типичным: офисное, кресло-качалка или кресло-мешок?

Большинство людей скажут, что малиновка — более типичная птица, а офисное кресло — более типичное кресло. Изучающие этот феномен когнитивные психологи, говорят о нем, как о «эффекте типичности» или «эффекте образца»(Rosch and Lloyd, 1978). Скажем, если попросить испытуемых нажимать кнопки правда/ложь для высказываний вроде «малиновка — это птица» или «пингвин — это птица», то для типичных примеров кнопку нажимают существенно быстрее. (Я все еще распаковываю свои книги, но я практически уверен, что этот эксперимент описан в Lakoff, 1986) Наличие корреляции при измерении типичности можно показать разными способами: можно измерить время нажатия кнопки, или попросить людей оценить примеры по шкале от 1 до 10: насколько пример (малиновка) подходит для категории (птица)?

Итак, мы умеем мысленно измерять типичность, и это, возможно, работает как эвристика. Но есть ли соответствующее этой эвристике когнитивное искажение?

Какое из следующих высказываний для вас выглядит более естественным: «98 это приблизительно 100» или «100 это приблизительно 98»? Если вы относитесь к большинству, то первое высказывание покажется вам более осмысленным (Sadock, 1977). Руководствуясь похожими причинами, люди, которых попросили оценить, насколько Мексика похожа на США, стабильно оценивают это подобие выше, чем те, которых просили оценить, насколько США похожи на Мексику (Tversky and Gati, 1978).

Ну а если это все еще кажется вам безобидным, то в исследовании Рипса (1975) показано, как люди более вероятно ожидают, что болезнь на острове будет передаваться от малиновок к уткам, чем от уток к малиновкам. Разумеется, ничего логически невозможного в этом нет, однако, с практической точки зрения, если утки отличаются от малиновок какой-то особенностью, из-за которой болезнь с меньшей вероятностью передаётся от уток к малиновкам, то обязано существовать и отличие малиновок от уток, из-за которого болезнь с меньшей вероятностью будет передаваться от малиновок к уткам.

Разумеется, можно рационализировать это: «Ну, у малиновок может быть больше видов неподалеку, что будет способствовать более быстрому распространению болезни в начале», но будьте осторожны и не перестарайтесь в рационализации оценок вероятностей людьми, которые даже не понимают, о каких именно различиях идёт речь. И не забывайте, что Мексика больше похожа на США, чем США на Мексику, и что 98 ближе к 100, чем 100 к 98. И проще это интерпретировать так: люди используют (и это было показано экспериментально) эвристику подобия, как замену вероятности распространения болезни, и эта эвристика (как было показано экспериментально) — асимметрична.

Канзас необычайно близок к центру США, а Аляска необычайно отдалена от центра. Так что, скорее всего, Канзас ближе к большинству точек в США, а Аляска — дальше. Но из этого не следует, что Канзас ближе к Аляске, чем Аляска к Канзасу. Люди же, однако, рассуждают (образно говоря), что близость — свойство, присущее Канзасу, а удаленность - свойство, присущее Аляске. Так что Канзас близок — даже к Аляске, а Аляска удалена — даже от Канзаса.

И вот опять мы видим, что аристотелевская идея категорий — логических классов с членством, определенным совокупностью признаков, по отдельности каждый из которых необходим, а вместе они достаточны, не такая уж хорошая модель человеческой когнитивной психологии. (Кто бы мог подумать, что наука продвинется вперед за 2350 лет?) Мы даже не рассуждаем с помощью бинарного подхода правда/ложь - высказывания о принадлежности могут быть более или менее истинными. (Замечу, что это не то же самое, что и быть более или менее вероятным.)

Еще одна причина прекратить притворяться, будто вы — или кто-то еще — в самом деле сможете обращаться со словами, как с аристотелевскими логическими классами.

  1. Lakoff, George. (1986). «Women, Fire and Dangerous Things: What Categories Tell Us About the Nature of Thought», University of Chicago Press, Chicago.
  2. Rips, Lance J. (1975). «Inductive judgments about natural categories», «Journal of Verbal Learning and Verbal Behavior», 14:665-81.
  3. Rosch, Eleanor and B. B. Lloyd, eds. (1978). «Cognition and Categorization», Hillsdale, N.J.: Lawrence Erlbaum Associates.
  4. Sadock, Jerrold. (1977). «Truth and Approximations.» В «Papers from the Third Annual Meeting of the Berkeley Linguistics Society», pp. 430-39. Berkeley: Berkeley Linguistics Society.
  5. Tversky, Amos and Itamar Gati. (1978). «Studies of Similarity». В Rosch and Lloyd (1978).
Перевод: 
Михаил Мюид, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
158
Оцените качество перевода: 
Средняя оценка: 4.1 (12 votes)

Кластерная структура пространства вещей

Элиезер Юдковский

Идея «конфигурационного пространства» состоит в переводе описаний объектов в их позиции. Кажется, что синий «ближе» к сине-зеленому, чем к красному, но насколько ближе? Если просто смотреть на цвета, то на этот вопрос ответить трудно. Но будет понятней, если вспомнить, что (относительные) координаты этих цветов в пространстве RGB — (0; 0; 5), (0; 3; 2) и (5; 0; 0). Если изобразить эти точки на трёхмерном рисунке, будет еще понятней.

Точно также, если рассуждать о малиновке, можно думать о ней привычным способом: коричневый хвост, красная грудка, обычный для малиновки облик, максимальная скорость без груза, типичный для этого вида набор ДНК и индивидуальные аллели. А можно рассматривать малиновку, как точку в конфигурационном пространстве, измерения которого описывают всё, что мы знаем о малиновках или можем узнать.

Малиновка больше вируса, но меньше авианосца — таким образом в конфигурационном пространстве можно ввести измерение «объёма». Малиновка весит больше атома водорода, но меньше галактики — измерение «массы». «Объём» и «масса» разных малиновок будут очень сильно коррелировать между собой, так что точки-малиновки в этих двух измерениях будут выглядеть почти как отрезок прямой линии. Однако, корреляция не будет полной, поэтому нам всё же нужны два отдельных измерения.

В этом и есть преимущество рассмотрения малиновок как точек в пространстве: у нас бы не получилось так легко увидеть линейность, если бы мы продолжали думать о малиновках, как о маленьких и милых махающих крыльями существах.

ДНК малиновок — это переменная с очень большим количеством измерений, но о ней всё равно можно думать, как о части описания расположения малиновки в пространстве вещей — в виде миллионов координат (по одной на каждый нуклеотид), которые могут принимать одно из четырёх значений, или даже что-то более элегантное. Форму малиновки, ее цвет (отражательную способность) точно также можно рассматривать как часть описания, где малиновка находится в конфигурационном пространстве, пусть даже они принадлежат к разным измерениям.

Точка (0; 0; 5) в пространстве цветов содержит ту же самую информацию, что и реально существующий синий цвет на HTML странице. Точно также мы не должны терять информацию, представляя малиновок, как точки в пространстве. Мы можем вообразить малиновку на весах, которые показывают 0,07 килограмм. Или можем представить малиновку-точку с координатой-массой +70. В обоих случаях мы представляем массу малиновки одинаково.

Мы можем даже вообразить конфигурационное пространство с одним или больше измерением для каждой отдельной характеристики объекта, так что позиция точки-объекта в этом пространстве будет соответствовать всей информации, которая у нас имеется об объекте. Пусть эта информация и окажется избыточной - например, в пространстве будут измерения для массы, объема и плотности.

Если это вам кажется слишком уж экстравагантным, то в квантовой физике используется многомерное конфигурационное пространство (с бесконечным числом измерений), в котором одна точка обозначает расположение каждой частицы во вселенной. Так что мы себя ведём ещё довольно скромно — точка в нашем конфигурационном пространстве описывает лишь один объект, а не всю вселенную.

Если мы не уверены насчет точной массы и объёма малиновки, то можно вообразить маленькое облако в пространстве вещей, некий объём неопределенности, внутри которого может располагаться малиновка. Плотность этого облака в некоторой точке соответствует нашей уверенности, что масса и объём малиновки равны значениям, которые являются координатами этой точки. Если вы уверены насчет плотности малиновки больше, чем насчет массы и объёма, то ваше облако вероятностей будет сильно сконцентрированным в измерении плотности, а в подпространстве массы/объёма сконцентрированы вокруг наклонной линии. (Облако в этом случае будет поверхностью из-за соотношения Объём ⋅ Плотность = Масса)

Когнитивные психологи используют понятие «радиальных категорий» для описания границ не-аристотелевых понятий. Центральное понятие «мать» означает женщину, которая участвует в зачатии, рождении и воспитании ребёнка. Донор яйцеклеток, которая никогда не увидит своего ребенка будет матерью? Она — «генетическая мать». Как насчет женщины, в которую имплантировали эмбрион, чтоб она его выносила? Она — «суррогатная мать». Ну а женщина, которая воспитывает ребенка, которого не рожала? Она — «приемная мать». Аристотелевский силлогизм звучал бы: «У людей десять пальцев, у Фреда — девять, следовательно — Фред не человек», но в действительности люди думают об этом так: «У людей десять пальцев, Фред — человек, следовательно, Фред — человек с девятью пальцами».

На языке интенсионалов мы можем описать радиальность категорий так: у объекта свойства категории обычно присутствуют, но некоторые могут отсутствовать. Интенсионал слова «мать» будет похож на распределенное по пространству вещей сияние, яркость которого соответствует тому, насколько координаты точки в пространстве соответствуют категории «мать». Сияние будет сконцентрировано в центре, который соответствует одновременно зачатию, рождению и воспитанию. Объём, в который попадут доноры яйцеклеток, тоже будет светиться, но не так ярко.

Или мы можем представить радиальность экстенсионально. Предположим, мы отобразили всех птиц в мире на пространство вещей и определили в нём расстояние так, что оно как можно лучше соответствует человеческому представлению о подобии: малиновка больше похожа на другую малиновку, чем они обе похожи на голубя, однако малиновки и голуби ближе друг к другу, чем к пингвину, и так далее.

В центре птичности окажется множество соседствующих плотных кластеров: малиновки, воробьи, канарейки, голуби и множество других видов. Орлы, ястребы и другие хищные птицы попадут в другой кластер неподалеку. Пингвины окажутся в более далеком кластере, как и курицы, и страусы.

Результат, скорее всего, будет чем-то напоминать галактический кластер: плотное скопление галактик в центре, и несколько неподалеку.

Или мы можем думать одновременно об интенсионале мыслительной категории «птица» и об экстенсионале реальных птиц. Центральный кластер малиновок и воробьев светится очень ярко — здесь высокий уровень птичности. Кластеры-сателлиты страусов и пингвинов светятся тусклей из-за менее типичной птичности, а Авраам Линкольн находится в нескольких мегапарсеках от них всех и не светится совсем.

Я предпочитаю именно эту визуализацию — светящиеся точки, —потому что, по-моему, структура интенсионалов в нашем разуме вторична по отношению к структуре экстенсиональных кластеров. Первична структура реального мира — эмпирическое распределение птиц в пространстве вещей. А затем мы, наблюдая птиц, формируем мыслительную категорию, интенсионал которой грубо покрывает это распределение.

Это ещё один способ понять, почему слова не являются аристотелевскими классами — структура эмпирических кластеров реальной вселенной не такая прозрачная. Природный кластер, группа очень похожих друг на друга предметов, может и не иметь набора необходимых и достаточных признаков: ни набора характеристик, которыми обладают все члены множества, ни набора, которыми никто из не-членов не обладает.

Но даже если категории необратимо туманны и ухабисты, для паники повода нет. Я бы не стал возражать, если бы кто-нибудь заявил, что «птицы — это такие летающие штуки с перьями». Но ведь пингвины не летают! Ну и ладно. У правила есть исключения, так что это не конец света. Не стоит ожидать, что определения будут точно совпадать с эмпирической структурой пространства вещей, ведь карта меньше по размеру и намного проще территории. Цель определения «такие летающие штуки с перьями» в том, чтобы привести слышащего к кластеру птиц, а не в том, чтобы дать полное описание всех существующих птиц вплоть до молекулярного уровня.

Когда вы проводите границу вокруг группы экстенсиональных точек, образующих кластер в пространстве вещей, скорее всего, на каждое выдуманное вами интенсиональное правило вы обнаружите как минимум одно исключение.

Однако, если на практике определение вполне сносно позволяет указать на нужный эмпирический кластер, то возражения к формулировке этого определения вполне оправданно можно назвать «придирками».

Перевод: 
Muyyd1, Alaric, Quilfe
Номер в книге "Рациональность: от ИИ до зомби": 
159
Оцените качество перевода: 
Средняя оценка: 3.8 (Всего оценок: 21)

Замаскированные вопросы

Элиезер Юдковский

Представьте, что вы работаете на необычной фабрике. Вы должны брать объекты с загадочного конвейера и сортировать их по двум корзинам. В ваш первый рабочий день Старшая Сортировщица Сьюзен объяснила вам, что синие объекты яйцевидной формы называются «сияйцами» и их следует класть в «корзину для сияиц», а красные кубы называются «крубами» и их следует класть в «корзину для крубов».

Приступив к работе, вы заметили, что сияйца и крубы отличаются не только цветом и формой. Сияйца покрыты мехом, а крубы — гладкие. Поверхность сияиц слегка пружинит при нажатии, крубы — твердые. Сияйца — непрозрачные, поверхность крубов слегка просвечивает.

Вскоре вы столкнулись с сияйцом необычайно темного оттенка синего. Более того, присмотревшись получше, вы увидели, что это фиолетовый цвет — смесь красного и синего.

Погодите! Почему же вы называете этот объект «сияйцом»? Ведь «сияйцо» изначально определили как синий и яйцевидный объект. А характеристика «синее» даже отражена в самом названии «сияйца». А этот объект не синий. Одна из необходимых характеристик отсутствует, так что вам следует называть его не «сияйцом», а «фиолетовым яйцевидным объектом».

Но так уж случилось, что помимо яйцевидности и фиолетового цвета, этот объект непрозрачный, покрыт мехом и слегка пружинит. Так что увидев его, вы подумали: «О, сияйцо странного цвета». Но это уж точно не круб, верно?

И всё же вы не слишком уверены в том, что следует делать в таких случаях. Поэтому вы зовете на помощь Старшую Сортировщицу Сьюзен.

— Точно, это сияйцо, — отвечает Сьюзен. — Кладите его в корзину для сияиц.

Вы уже собираетесь бросить фиолетовое сияйцо в соответствующую корзину, но останавливаетесь.

— Сьюзен, откуда вы знаете, что это сияйцо?

Сьюзен странно на вас смотрит.

— Разве не очевидно? Пусть этот объект и фиолетовый, но при этом он еще и яйцевидной формы, непрозрачный, покрыт мехом и пружинит, как и другие сияйца. В редких цветовых дефектах нет ничего удивительного. Или это одна из философских загадок вроде: «Откуда вы знаете, что мир не был создан пять минут назад вместе с людьми с полным набором ложных воспоминаний?» В философском смысле у меня нет абсолютной уверенности в том, что это сияйцо, но, по-моему, вполне можно считать, что это так.

— Нет, я имею ввиду… — вы медлите, подыскивая нужные слова. — Зачем нужны отдельные корзины для сияиц и крубов? В чем разница между сияйцами и крубами?

— Сияйца — синие и яйцеподобные, крубы — красные и кубические, —- терпеливо отвечает Сьюзен. — Вы ведь прослушали стандартную вводную лекцию?

— Зачем надо сортировать сияйца и крубы?

— Э-э-э… потому что иначе они перемешаются? — говорит Сьюзен. — Потому что никто не станет нам платить просто за то, что мы сидим тут и не сортируем сияйца и крубы?

— Кто исходно определил, что синий яйцевидный объект — это сияйцо, и почему он так решил?

Сьюзен пожимает плечами:

— Думаю, с тем же успехом можно называть сияйцами красные кубические объекты, а крубами — синие и яйцевидные, но, по-моему, нынешний вариант удобнее для запоминания.

Вы на некоторое время задумываетесь.

— Предположим, что по конвейеру приехал очень необычный объект. Оранжевый, сферической формы, покрытый мехом, прозрачный и с маленькими зелеными щупальцами. Как мне определить — сияйцо это или круб?

— Ух-ты, с таким пока ещё никто не сталкивался, — отвечает Сьюзен. — Думаю, в этом случае мы воспользуемся сортирующим сканером.

— Как этот сканер работает? — продолжаете допытываться вы. — Это рентген? Магнитно-резонансная томография? Нейронная спектроскопия?

— Мне сказали, что он работает по правилу Байеса, но я не до конца понимаю, как это, — сказала Сьюзен. — Впрочем, мне нравится произносить это слово: байес, байес, байес, байес, байес.

— Какую информацию сообщает сортировочный сканер?

— Он сообщает, в какую корзину надо положить объект. Поэтому его и называют сортировочным.

Вы замолкаете.

— Кстати, - небрежно добавляет Сьюзен, — возможно, вам будет интересно узнать, что сияйца содержат ванадиевую руду, а крубы — кусочки палладия. И то, и другое активно применяется в промышленности.

— Сьюзен, вы чистое зло.

— Спасибо за комплимент.

Итак, судя по всему, мы обнаружили, в чём сущность сияйцности: сияйцо — объект, содержащий ванадиевую руду. Внешние характеристики — вроде синего цвета или пушистости — не определяют, является ли объект сияйцом. Эти характеристики важны лишь потому, что помогают понять, является ли объект сияйцом, то есть, содержит ли он ванадий.

Содержание ванадия — необходимое и достаточное определение. Все сияйца содержат ванадий, и всё, что содержит ванадий, — сияйцо. «Сияйцо» это лишь быстрый способ сказать «содержащий ванадий объект». Так ведь?

Не так быстро, говорит Сьюзен. Около 98% сияиц содержит ванадий, однако 2% содержит палладий. Точнее (продолжает Сьюзен), около 98% синих яйцевидных, мохнатых, мягких, непрозрачных объектов содержит ванадий. Для необычных сияиц будут другие пропорции: 95% фиолетовых сияиц содержат ванадий, 92% твердых сияиц содержит ванадий и так далее.

Предположим, вы обнаружили синий яйцевидный, мохнатый, непрозрачный объект. На вид — обычное сияйцо во всех отношения. Чисто из любопытства вы засунули его в сортировочный сканер. Сканер выдал: «палладий» — те самые редкие 2%. Сияйцо ли это?

Поскольку вы собираетесь бросить этот объект в корзину для крубов, первоначально у вас может появиться желание назвать его «крубом». Однако, оказывается, почти все сияйца, если выключить свет, слегка светятся в темноте, а почти все крубы в темноте не светятся. И процентное соотношение светящихся сияиц к несветящимся примерно такое же, как и для содержащих палладий вместо ванадия синих, яйцевидных, мохнатых, мягких, непрозрачных объектов. Поэтому, если вас интересует вопрос, светится ли этот объект в темноте как сияйцо или не светится как круб, вам стоит предположить, что он светится как сияйцо.

Так что это в итоге за объект: сияйцо или круб?

С одной стороны, независимо от того, что вы ещё узнаете про этот объект, вы его бросите в корзину для крубов. С другой — если вы хотите сделать предположение о каких-то неизвестных характеристиках этого объекта, то вам следует предполагать, что объект обладает скорее характеристиками сияйца, а не круба. То есть поместить его в кластер подобия синих, яйцевидных, мохнатых, мягких, непрозрачных вещей, а не в кластер красных, кубических, гладких, твердых и слегка прозрачных вещей.

В различных ситуациях вопрос «сияйцо ли это?» может использоваться для решения самых разных задач.

Если же никакая задача перед вами не стоит, то ответ на этот вопрос вам на самом деле не нужен.

Атеизм — это религия? Трансгумагизм — это культ? Люди, утверждающие, что атеизм — религия, потому что «это совокупность убеждений о Боге», на самом деле стремятся доказать (как мне кажется), что методы рассуждений у атеистов примерно такие же, как и у религиозных людей, или что атеизм не менее опасен с точки зрения вероятности спровоцировать насилие, и так далее… В действительности же на кону стоят заявления атеистов о существенной разнице и даже превосходстве атеизма по отношению к религии, которое верующий стремится опровергнуть путем отрицания разницы, вместо того, чтобы опровергать превосходство(!).

Однако такое поведение нельзя считать заведомо иррациональным. Заведомо иррациональное происходит в тот миг, когда кто-то в ходе спора вытаскивает словарь, чтобы посмотреть определения «атеизма» и «религии». И это глупо независимо от того, кто это делает, атеист или верующий. Как вообще словарь может определить, отличается ли эмпирический кластер атеистов достаточно сильно от эмпирического кластера теологов? Как от изменения смысла слов может измениться реальность? Точки в пространстве вещей не сдвинутся с места, если мы нарисуем другие границы.

Но люди часто не понимают, что их спор про то, где нарисовать определяющую границу, на самом деле является спором про то, можно ли сделать вывод, что большинство вещей внутри некоего эмпирического кластера обладает некоторой общей характеристикой…

Отсюда и выражение — «замаскированный вопрос».

Перевод: 
Muyyd1, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
160
Оцените качество перевода: 
Средняя оценка: 4.3 (10 votes)

Нейронные категории

Элиезер Юдковский

В «Замаскированых вопросах» я рассказал про сортировку «сияиц» и «крубов». Обычное сияйцо — синее, яйцевидной формы, мохнатое, мягкое, непрозрачное, светится в темноте и содержит ванадий. Обычный круб — красный, кубический, гладкий, твердый, с просвечивающей поверхностью, не светится и содержит палладий. Что бы слегка упростить задачу, давайте пока отбросим характеристики мягкости/твердости и непрозрачности/просвечивающей поверхности. В нашем пространстве вещей остаётся пять измерений: цвет, форма, текстура поверхности, свечение и состав.

Предположим, что я хочу сделать искусственную нейронную сеть (ИНС), предсказывающую неизвестные характеристики сияйца на основе уже известных. Предположим также, что я пока неопытен в области создания ИНС. Я лишь прочел несколько увлекательных научно-популярных книг, где описано, что нейронные сети являются распределёнными, эмерджентными и вычисления в них идут параллельно — прямо как в человеческом мозге!!! Но я не могу вывести дифференциальные уравнения для градиентного спуска в не-рекуррентной многослойной нейронной сети с сигмоидной функцией активации (что на самом деле гораздо легче чем кажется).

Так что сделанная мной нейронная сеть будет выглядеть примерно так:

Сеть1

Сеть 1 предназначена для сортировки сияиц и крубов. Но поскольку «сияйцо» — незнакомый и искусственный концепт, для наглядности я изобразил похожую Сеть 1b для классификации людей и Космических Монстров, которая в качестве входных данных использует информацию, предоставленную Аристотелем («Все люди смертны») и философами Академии Платона («Двуногое без перьев и с плоскими ногтями»).

Для нейронной сети нужен алгоритм обучения. Очевидная идея: будем усиливать связь между двумя узлами, если эти узлы часто активируются одновременно. Это один из первых алгоритмов для обучения нейронных сетей, так же известный как правило Хебба.

Таким образом, если вы часто видите объекты, которые одновременно синие и пушистые, — то есть узел «цвет» активируется в состоянии «+» и одновременно узел «текстура» активируется в состоянии «+», — связь между цветом и текстурой усиливается, в результате чего активация «цвет+» будет вызывать активацию «текстура+» и наоборот. А если вы часто видите синие, яйцеподобные и содержащие ванадий объекты, то это усилит положительную взаимную связь между цветом, формой и содержанием.

Предположим, вы уже видели достаточно сияиц и крубов, спустившихся по конвейеру. Но вдруг вы видите, как по ленте приближается нечто пушистое, яйцевидное и — ну надо же! —красновато-фиолетовое (для нашей нейронной сети это будет означать активацию узла «цвет» с силой -2/3). Вы еще не тестировали светимость и содержимое. Каков будет ваш прогноз? Это сияйцо или круб?

Дальше мы увидим, как сила активации узлов в Сети 1 начнёт меняться. Положительная активация идет к светимости от формы, негативная — к содержимому от цвета, и от содержимого в светимости… Разумеется, все эти сигналы идут параллельно!!! И асинхронно!!! Прямо как в человеческом мозге…

Наконец Сеть 1 приходит в стабильное состояние, в котором узлы «светимость» и «содержимое» активированы очень сильно в положительную сторону. Сеть могла бы сказать, что нам следует «ожидать» (пусть мы это ещё и не проверяли), что этот объект светится в темноте и содержит ванадий.

И смотрите, Сеть 1 демонстрирует такое поведение, несмотря на отсутствие узла, который явно бы говорил, является ли объект сияйцом или нет. Вся сеть выносит имплицитную оценку!!! Сияйцность - аттрактор!!! Появляющийся в результате эмерджентного поведения!!! Благодаря распределенному обучающему алгоритму!!!

Сети с такой архитектурой могут казаться очень привлекательными, однако, использовать их в реальной жизни довольно проблематично. Сети с обратными связями не всегда быстро останавливаются: иногда в них начинаются колебания, иногда можно наблюдать хаотичное поведение, или же они просто слишком долго думают. Если вы видите что-то большое, желтое и полосатое, и вам надо ждать пять минут, прежде чем сеть придет к аттрактору «тигр», то это очень-очень плохо. Да, процессы в этих сетях идут асинхронно и параллельно, но этого всё равно не хватает для работы в реальном времени.

Есть и другие проблемы. Например, одно и то же свидетельство может оказаться учтено дважды, потому что сигнал ходит туда-сюда: вы подозреваете, что объект светится в темноте, это способствует активации убеждения о ванадии внутри объекта, что, в свою очередь, способствует активации убеждения о свечении в темноте.

К тому же, если вы захотите увеличить Сеть 1, это потребует $O(N^2)$ соединений, где $N$ - число наблюдаемых характеристик.

А как можно построить более реалистичную сеть?

Сеть2

В такой сети активируются сначала узлы, отвечающие за наблюдаемые характеристики, от них сигнал идет к центральному узлу, а от него к еще не активированным (отвечающим за ненаблюдаемые характеристики) узлам. Это означает, что мы можем вычислить ответ за один шаг, а не ждать, пока сеть успокоится. С точки зрения биологии это очень важно, ведь нейроны работают с частотой в 20 герц. И расширение сети с такой архитектурой требует $O(N)$ новых соединений, а не $O(N^2)$.

Следует признать, что некоторые выводы делать проще, используя сеть с архитектурой первого типа, чем второго. В Сети 1 каждые два узла соединены напрямую. Поэтому если красные объекты не светятся в темноте, но красным мохнатым объектам обычно свойственны и другие характеристики сияйца, вроде яйцевидности и ванадия, Сеть 1 может это легко воспроизвести. Потребуется лишь несколько сильных отрицательных связей от цвета к светимости и более сильных положительных связей от текстуры ко всем остальным узлам кроме светимости.

Но это не означает, что в правиле «сияйца светятся в темноте» появилось «особое исключение». В Сети 1 нет узла, отвечающего за «сияйцность». Сияйцность появляется как аттрактор в распределенной сети.

Поэтому, да, от этих $N^2$ соединений бывает польза. Но не часто. В реальных задачах мы редко наблюдаем животных, которые наполовину похожи на кошку, а наполовину — на собаку, и Сеть 1 для большинства таких реальных задач не подходит.

(Кроме того, есть факты, которые трудно воспроизвести как на Сети 1, так и на Сети 2. Предположим, что если лазурный цвет и сферическая форма встречаются одновременно, то это всегда означает наличие палладия. Однако, если эти характеристики присутствуют поодиночке, это является сильным свидетельством в пользу наличия ванадия. Если не вводить дополнительные узлы, на обеих сетях такое явление будет трудно воспроизвести. Архитектура и Сети 1, и Сети 2 неявно содержит предположение о том, какие связи между характеристиками возможны в реальности. В машинном обучении детей от взрослых отличает именно способность видеть такие неявные предположения.)

На самом деле, ни Сеть 1, ни Сеть 2 не похожи на реальные биологические системы. Однако, судя по всему, имеет смысл предполагать, что работа мозга в каком-то смысле ближе к Сети 2, чем к Сети 1. Сеть 2 быстрая, простая, масштабируемая и хорошо подходит для различения кошек от собак. Естественный отбор приходит к чему-то подобному точно так же, как вода стекает со склона холма.

Кажется, будто в задаче классификации объектов как сияиц или крубов и распределении их по корзинам нет ничего сложного. Но сможете ли вы заметить, что лазурные объекты никогда не светятся в темноте?

Возможно, вы обратите на это внимание, если окажетесь перед двадцатью объектами, которые будут различаться во всём, кроме лазурного цвета, и кто-нибудь выключит свет, и ни один из объектов не засветится. Другими словами, если ситуация будет такова, что не заметить отсутствие свечения в темноте будет почти невозможно. Возможно, когда вы понаблюдаете за всеми этими объектами вместе, ваш мозг сформирует новую подкатегорию и сможет определять характеристику «не светится» внутри этой подкатегории. Но если лазурные объекты будут рассеяны в куче из сотни других сияиц и крубов, то вы, скорее всего, ничего не заметите. Замечать подобные связи между характеристиками трудно и не интуитивно - по сравнению с различением кошек и собак.

Или: «Сократ - человек, все люди смертны, следовательно, Сократ смертен». Как Аристотель узнал, что Сократ был человеком? Ну, у Сократа не было перьев на теле, его ногти были плоскими, он был прямоходящим, говорил на греческом и, в целом, имел человеческую форму и вел себя как человек. И мозг решает — раз и навсегда, — что Сократ является человеком, и делает из этого вывод, что, как и все люди, которых он до этого наблюдал, Сократ тоже смертен. Вопрос о том, насколько ношение одежды связано со смертностью сильнее, чем умение говорить, кажется сложным и не интуитивным. Просто «то, что носит одежду и разговаривает — люди» и «люди смертны».

Существуют ли искажения, связанные с попыткой распределить объекты по категориям раз и навсегда? Разумеется, существуют. Например, читайте статью «Культовая контркультовость».

Продолжение следует…

Перевод: 
Muyyd1, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
161
Оцените качество перевода: 
Средняя оценка: 4.3 (8 votes)

Как алгоритм ощущается изнутри

Элиезер Юдковский

«Если в лесу падает дерево, и никто этого не слышит, то создаёт ли дерево звук?» Однажды я видел, как из-за этого вопроса разгорелся настоящий спор — совершенно наивный спор, который вообще не имел никакого отношения к берклианскому субъективизму. Просто:

— Оно производит звук, как и любое другое падающее дерево!

— Но что это за звук такой, которого никто не слышит?

Рационалист, скорее всего, разрешил бы этот вопрос так: первый человек под словом «звук» подразумевает акустические вибрации в воздухе, а второй — слуховое переживание в мозге. Если спросить «были ли акустические колебания?» или «было ли слуховое переживание?», ответ достаточно очевиден. Таким образом, оказывается, что весь спор ведётся вокруг определения слова «звук».

Я полагаю, что этот анализ по существу правильный. Давайте примем это за основу и спросим: почему люди спорят друг с другом по такому поводу? Какие явления с точки зрения психологии к этому приводят?

Ключевая идея концепции эвристик и искажений — ошибки часто рассказывают о процессе познания больше, чем правильные ответы. И если люди втягиваются в жаркий спор о том, производит ли звук дерево, падающее в необитаемом лесу, то обычно это считается ошибкой.

О каких особенностях работы разума может говорить такая ошибка?

В «Замаскированных вопросах» я рассказал о задаче классификации сияиц и крубов. В этой задаче Старшая Сортировщица Сьюзен объясняет, что ваша работа — сортировать предметы, поступающие по конвейерной ленте, и складывать синие яйца, или «сияйца» в одну корзину, а красные кубы, или «крубы» — в другую. Как оказывается позже, дело в том, что сияйца содержат ванадиевую руду, а крубы — кусочки палладия, и то, и другое используется в промышленности.

Однако, около 2% синих яйцевидных объектов содержат вместо ванадия палладий. Поэтому, если вы обнаружите синий яйцевидный предмет, содержащий палладий, может быть, следует назвать его «крубом»? Вы ведь собираетесь положить его в корзину для крубов — так почему не называть его «крубом»?

Но при этом, если выключить свет, почти все сияйца будут немного светиться в темноте. И синие яйцевидные объекты, содержащие палладий, будут светиться в темноте с той же вероятностью, как и любые другие синие яйцевидные объекты.

Таким образом, если вы увидите синий яйцевидный объект, содержащий палладий, и спросите: «Это сияйцо?», ответ будет зависеть от того, что вы собираетесь делать с объектом. Если вам нужно выяснить, в какую корзину поместить объект, то вы будете рассуждать о нём, как о крубе. Но если вы спросите: «Если выключить свет, будет ли объект светиться?», то объект стоит рассматривать как сияйцо. В одном случае под вопросом «Это сияйцо?» замаскирован вопрос «В какую корзину его поместить?». В другом случае замаскирован вопрос «Будет ли объект светиться в темноте?».

Предположим, вам попался синий содержащий палладий яйцевидный объект. И вы уже определили, что он еще и мохнатый, мягкий, непрозрачный и светится в темноте.

Теперь вы знаете ответы на все вопросы, у вас есть информация обо всех наблюдаемых характеристиках. Нет ни одного вопроса, за которым смог бы замаскироваться другой вопрос.

Так почему же у кого-то может появиться искушение поспорить о том, действительно ли это сияйцо?

Эта диаграмма из «Нейронных категорий» показывает две нейронные сети, с помощью которых можно получать ответы на вопросы про сияйца и крубы. У Сети 1 есть множество недостатков — она склонна скатываться к хаотичному поведению, в ней могут начаться колебания, при росте этой сети количество соединений растёт пропорционально квадрату числа элементов. Однако, у Сети 1 есть серьезное преимущество перед Сетью 2 — каждый узел первой сети соответствует наблюдаемой характеристике. Если вы пронаблюдаете все наблюдаемые характеристики, зафиксируете значение каждой, то узлов с неопределённым состоянием в сети не останется.

Однако, с другой стороны, если мы будем сравнивать эти две сети и человеческий мозг, то мы заметим, что работа Сети 2 больше похожа на работу мозга, пусть это и довольно условное сходство. Сеть 2 быстрая, простая, масштабируемая. И у неё есть дополнительный узел в центре, состояние которого может оказаться неопределённым даже после того, как мы зафиксировали значения окружающих его узлов.

То есть, даже когда вы знаете, синий это объект или красный, яйцевидный или кубический, мохнатый или гладкий, сияет или нет, содержит ванадий или палладий, остаётся ощущение, что у вас есть вопрос, на который вы так и не получили ответа. Действительно ли это сияйцо?

В повседневной жизни акустические колебания и слуховые переживания сопутствуют друг другу. Однако, в примере про падающее в необитаемом лесу дерево эта связь разрывается. Поэтому даже после того, как вы установили, что упавшее дерево создавало акустические колебания, но не слуховые переживания, вам кажется, что вы так и не получили ответа на вопрос: издавало ли упавшее дерево звук?

Мы знаем, где находится Плутон и куда он направляется. Мы знаем его форму и массу. Но всё-таки, это планета или нет?

Не забывайте: когда вы смотрите на схему Сети 2, которую я привожу здесь, вы видите алгоритм снаружи. Люди не спрашивают себя: «Должен ли активизироваться центральный узел?» — точно так же, как вы не думаете: «А должен ли возбуждаться нейрон № 12 234 320 242 в моей зрительной коре?»

Чтобы посмотреть на свой мозг «снаружи», вам нужно приложить осознанное усилие. И даже в этом случае вы не видите свой настоящий мозг, вы лишь представляете образы, которые для вас описывает ваш мозг. Я надеюсь, что ваши представления основаны на науке, но в любом случае интроспекция не даёт прямого доступа к структурам нейронных сетей. Поэтому древние греки и не изобрели вычислительную нейробиологию.

Когда вы смотрите на Сеть 2, вы видите её снаружи. Но если посмотреть, как эта нейронная структура ощущается изнутри, представить себя мозгом, который исполняет такой алгоритм, получится, что даже когда вы знаете все характеристики объекта, вы всё равно размышляете: «Это всё-таки сияйцо или нет?»

Воспринимать собственные представления о реальности именно как «представления о реальности» очень сложно, и я сталкивался с людьми, которые никак не могли этому научиться. Ведь нам всем кажется, что наши представления о реальности — это и есть сама реальность. Когда вы смотрите на зеленую кружку, вы не думаете о том, что вы видите картинку, созданную вашей зрительной корой, — хотя на самом деле вы видите именно её — вы просто видите зелёную кружку. Вы думаете: «Ну, да, эта кружка зеленая», а не: «Моя визуальная кора изображает эту кружку как зелёную».

Точно также, когда люди спорят про звук падающего дерева или про то, является ли Плутон планетой, они не видят себя людьми, спорящими должен ли активироваться узел, отвечающий за категоризацию, в их нейронных сетях или нет. Им просто кажется, будто дерево либо издает звук, либо нет.

Мы знаем, где находится Плутон и куда он направляется. Мы знаем его форму и массу. Но всё-таки, это планета или нет? Разумеется, кто-то скажет, что это спор об определениях. Но это всё равно высказывание с точки зрения Сети 2, потому что это спор о том, с какими наблюдаемыми характеристиками должен быть связан центральный узел. Если бы ваш разум был сконструирован по типу Сети 1, то вы бы не сказали: «Это зависит от того, как вы определяете слово „планета“ ». Вы ответили бы: «Поскольку мы знаем орбиту Плутона, его массу и форму, мы ответили на все вопросы». Более того, если бы вы были разумом, построенным по типу Сети 1, вам бы казалось, что тут в принципе нет никаких неотвеченных вопросов.

Прежде чем подвергать сомнениям свои представления о реальности, нужно понять, что ваш мысленный взор лишь смотрит на ваши представления о реальности — на результат работы мысленного алгоритма, видимый изнутри — а не воспринимает напрямую то, Как На Самом Деле Устроен Мир.

Я полагаю, что люди цепляются за свои представления о реальности не потому, что они считают свои когнитивные алгоритмы абсолютно надежными, а потому, что они не воспринимают свои представления о реальности как результат работы когнитивных алгоритмов, видимый изнутри.

И поэтому всё, что вы попробуете рассказать людям про некорректную работу встроенных когнитивных алгоритмов, люди будут сравнивать со своим прямым восприятием того, Как На Самом Деле Устроен Мир. И отбросят ваши утверждения как очевидно неверные.

Перевод: 
Muyyd1, Alaric, El_Aurens, Quilfe
Номер в книге "Рациональность: от ИИ до зомби": 
162
Оцените качество перевода: 
Средняя оценка: 4.3 (18 votes)

Споры об определениях

Элиезер Юдковский

Очень многие разговоры ­— даже разговоры о (предположительно) когнитивистике — скатываются в споры об определениях. Если взять в качестве примера классическое «Если дерево падает в лесу, и нет никого рядом, чтобы это услышать — создаёт ли дерево звук?», то ход последующего спора можно представить примерно следующим образом:

Если дерево падает в лесу, и нет никого рядом, чтобы это услышать, — создаёт ли дерево звук?

АЛЬБЕРТ: Разумеется! Что за глупый вопрос? Каждый раз, когда я слышал падение дерева, оно создавало звук, поэтому я считаю, что остальные деревья тоже создают звуки в процессе падения. Я не думаю, что мир ведёт себя по-разному в зависимости от того, смотрю я на него или нет.

БАРРИ: Секундочку! Если никто не может этого услышать, то как это может быть звуком?

В этом примере Барри спорит с Альбертом из-за действительно отличающегося интуитивного понимания того, что представляет из себя звук. Однако, Стандартный Диспут может возникнуть и множеством других путей. У Барри может быть мотив отвергать вывод Альберта. Или Барри может быть скептиком, который, услышав аргумент Альберта, машинально исследовал его на наличие логических ошибок, а затем, найдя контраргумент, автоматически принял его, не запустив второй слой поиска в попытке найти контрконтраргумент, таким образом убедив себя в правоте противоположной позиции. Для этого необязательно, чтобы прежняя интуиция Барри — та интуиция, которую проявил бы Барри, спроси мы его до того, как заговорил Альберт — отличалась от интуиции Альберта.

Ну, в любом случае, даже если интуиция Барри изначально не отличалась от альбертовой, сейчас они точно разнятся.

АЛЬБЕРТ: В смысле? Корни дерева ломаются, ствол начинает валиться и в итоге врезается в землю. Всё это создаёт вибрации, передающиеся по воздуху и через землю. Именно сюда уходит энергия падения: в тепло и звук. Ты хочешь сказать, что если люди ушли из леса, то деревья начинают нарушать закон сохранения энергии?

БАРРИ: Но никто ничего не слышит. Если в лесу нет людей — будем считать, что в лесу нет вообще никаких обладателей нервной системы, достаточно сложной для того, чтобы уметь «слышать» — то никто не слышит звука.

Альберт и Барри более подробно описали мысли, заставившие сработать или не сработать их детекторы «звука», и они ощущают, что завербованные ими аргументы поддерживают их позицию. Но всё же, пока что спор фокусируется на лесе, а не на определениях. И можно заметить, что спорщики, на самом деле, не расходятся во мнениях о том, что происходит в лесу.

АЛЬБЕРТ: Этот спор входит в тройку тупейших споров, в которых я когда-либо участвовал. Ты трясущийся фейчихахуа, замаринованный в запредельном идиотизме.

БАРРИ: Да ну? Это мне говорит человек, по которому видно, что в детстве его часто били по голове сельскохозяйственным инвентарём. Чтобы, видимо, потушить загоревшиеся волосы.

Оскорбление предложено и принято; теперь никто не может отступить, не боясь потерять лицо. Строго говоря, это нельзя назвать частью «спора» в понимании рационалистов, но эта сцена столь важна для развития Стандартного Диспута, что я всё равно решил упомянуть её здесь.

АЛЬБЕРТ: Дерево создаёт акустические вибрации. По определению, это звук.

БАРРИ: Никто ничего не слышит. По определению, это не звук.

Спор уходит в сторону, фокусируясь на определениях — несмотря на то, что довод «по определению» совершенно бессмыслен, когда речь идёт о чём-то приземлённее чистой математики. Важно помнить, что всё, верное «по определению» верно во всех возможных мирах, и поэтому наблюдение справедливости этого факта никогда не сможет сказать тебе, в каком именно мире ты живёшь: оно не ограничивает возможные миры.

АЛЬБЕРТ: Мой компьютер может записать звук — даже когда нет никого рядом, чтобы его услышать — и сохранить это в файл. Такие файлы называются «звуковыми файлами». В файле хранится последовательность колебаний воздуха, а не последовательность возбуждений нейронов чего-либо мозга. «Звук» означает последовательность колебаний.

Альберт отправляет в наступление аргумент, который кажется доводом в пользу того, что слово «звук» имеет определённое значение. Этот вопрос уже не имеет отношения к тому, происходили ли в лесу акустические вибрации. Однако, этот переход обычно остаётся незамеченным.

БАРРИ: Да ну? Давай посмотрим, согласится ли с тобой словарь.

Я увидел много вещей, вызывавших бы у меня любопытство, окажись я в этом сценарии. Можно пойти в лес и посмотреть на деревья, или разобраться в выводе волнового уравнения, касающегося колебаний воздуха, или проанализировать анатомическое строение уха, или изучить принципы работы слуховой коры мозга. Однако вместо того, чтобы заняться чем-либо из этого списка, я должен, очевидно, посоветоваться со словарём. Почему? Неужели словарь составляли профессиональные ботаники, врачи и нейробиологи? Я могу увидеть логику в решении заглянуть в энциклопедию, но причём тут словарь?

АЛЬБЕРТ: Вот! Определение 2c в Мерриэме-Уэбстере: «Звук: физическое явление, вызываемое колебательными движениями частиц воздуха или другой среды»

БАРРИ: Вот! Определение 2b в Мерриэме-Уэбстере: «Звук: чувство, вызываемое воздействием на орган слуха, восприятие слуховых ощущений»

АЛЬБЕРТ И БАРРИ, хором: Дурацкий словарь! Лучше не стало.

Редакторы словарей занимаются историей, а не законотворчеством. Редактор словаря находит используемые сейчас слова и записывает их; затем добавляет то (малую часть того), что, как ему кажется, имеют в виду люди, употребляющие это слово. Если употреблений несколько, то он записывает несколько определений.

АЛЬБЕРТ: Смотри. Предположим, я оставил в лесу микрофон и он записал последовательность акустических вибраций, связанных с падением дерева. Если кто-нибудь прослушает эту запись, он назовёт это «звуком»! Это — общепринятое употребление. Прекрати высасывать из пальца какие-то свои чокнутые определения!

БАРРИ: Во-первых, я могу определить слово так, как мне нравится. Главное — употреблять его последовательно. Во-вторых, моё значение имеется в словаре. В-третьих, кто дал тебе право решать, что можно считать общепринятым употреблением, а что нельзя?

С точки зрения рациональности, Стандартный Диспут кишит ошибками. Часть этих ошибок я уже описал, и часть из них мне ещё предстоит описать; то же самое касается и средств защиты от них.

Но сейчас я хочу лишь обратить ваше внимание на то, что Барри и Альберт, скорее всего, дадут один и тот же ответ на любой вопрос, касающийся вещей, действительно происходящих внутри леса, но всё равно никто из них не чувствует этого согласия. Просто печальное напоминание.

Споры об определениях — ложная тропинка, незаметно ведущая в тупик. Никто не пошёл бы по этой тропинке, если бы знал, куда она ведёт. Если спросить у Альберта (или у Барри), почему он до сих пор участвует в споре, то он бы ответил что-то вроде «этот подлый негодяй Барри (или Альберт) пытается протащить контрабандой своё определение слова «звук», чтобы обосновать своё смехотворное мнение; и мой долг — защитить стандартное определение»

Но представим, что я вернулся назад во времени и успел оказаться рядом с Барри и Альбертом до начала спора.

(Из ниоткуда возникает Элиезер, сидящий внутри своеобразного транспортного средства, очень похожего на машину времени из старого фильма «Машина времени»)

БАРРИ: Боже! Путешественник во времени!

ЭЛИЕЗЕР: Я прибыл к вам из будущего! Внимайте моим словам! Я прошёл долгий путь — около пятнадцати минут — для того, чтобы…

АЛЬБЕРТ: Пятнадцать минут?

ЭЛИЕЗЕР: …для того, чтобы задать вам этот вопрос!

(Немая сцена, пропитанная смесью замешательства и предвкушения)

ЭЛИЕЗЕР: Вы считаете, что слово «звук» должно означать как акустические вибрации (волны давления, передающиеся через физический объект-проводник), так и слуховые впечатления (восприятие кем-то звука)? Или вы считаете, что «звук» нужно определить так, чтобы он означал только лишь акустические вибрации, или только лишь аудиторные переживания?

БАРРИ: Ты вернулся в прошлое, чтобы спросить у нас вот это?

ЭЛИЕЗЕР: Мои мотивы — моё личное дело! Отвечайте!

АЛЬБЕРТ: Эммм… Я не понимаю, почему это должно кого-то беспокоить. Можно выбрать любое определение. Главное, употреблять его последовательно.

БАРРИ: Брось монетку. Точнее, брось монетку дважды.

ЭЛИЕЗЕР: Я считаю, что, в случае возникновения такой проблемы, обе стороны должны взглянуть на происходящее уровнем организации ниже и начать описывать событие, используя более элементарные компоненты: например, акустические вибрации или слуховые впечатления. Или каждая сторона может придумать новое слово — например «алберзаль» или «баргулум» — для того понятия, которое они ранее обозначали словом «звук»; это позволяет обеим сторонам употреблять новые слова последовательно. Таким образом, никому не придётся пойти на уступки или потерять лицо, но при этом возможность успешного обмена информацией сохраняется. Ну и, разумеется, всегда стоит отслеживать, о каком именно утверждении, доступном для проверки опытом, идёт речь. Вы считаете мои предложения разумными?

АЛЬБЕРТ: Видимо, да…

БАРРИ: Зачем мы об этом разговариваем?

ЭЛИЕЗЕР: Чтобы сберечь вашу дружбу пред лицом неожиданной беды, о которой вы — отныне и теперь — никогда не узнаете, ибо будущее уже изменилось!

(Элиезер и машина исчезают в клубах дыма)

БАРРИ: На чём мы остановились?

АЛЬБЕРТ: Секундочку… Вот: «Если дерево падает в лесу, и нет никого рядом, чтобы это услышать — создаёт ли дерево звук?»

БАРРИ: Оно создаёт алберзаль, но не баргулум. Давай дальше.

Этот рецепт не уничтожает каждый диспут о категоризации. Однако, он уничтожает значительную их долю.

Перевод: 
BT
Номер в книге "Рациональность: от ИИ до зомби": 
163
Оцените качество перевода: 
Средняя оценка: 3.9 (36 votes)

Ощути смысл

Элиезер Юдковский

Когда я слышу, как кто-то говорит: «Смотрите — бабочка», произнесенные фонемы «бабочка» попадают в мои уши и вибрируют в барабанных перепонках, попадают во внутреннее ухо, «щекочут» нервы, что приводит к активации нейронов слуховой коры. В которой начинается обработка этих фонем — распознавание слов, реконструкция синтаксиса и прочие сложности.

Но в итоге, через несколько мгновений, у меня появится желание взглянуть туда, куда указывает мой друг, и я увижу там визуальный паттерн, который будет интерпретирован как бабочка. И я довольно сильно удивлюсь, если вместо бабочки я увижу волка.

Мой друг смотрит на бабочку, его горло вибрирует, а губы движутся, звуковые волны незримо передаются по воздуху, мои уши слышат, нервы передают и мой мозг распознает и, ну надо же, я понимаю, на что смотрит мой друг. Разве это не чудо? Если бы мы не знали про звуковые волны, то все газеты трубили бы о невероятном открытии — люди владеют телепатией! Человеческие мозги способны передавать мысли друг другу!

Да, мы действительно телепаты. Однако, если магия является обыденностью и все ваши друзья ею тоже владеют, она никому не интересна.

Думаете, телепатия — это просто? Попробуйте собрать компьютер, который будет телепатически общаться с вами. Телепатия или «язык», или как вам будет угодно назвать нашу способность к частичной передаче мыслей, сложнее чем кажется.

Однако, было бы довольно неудобно думать что-то вроде: «Сейчас я преобразую часть моих мыслей в линейную последовательность фонем, которые вызовут похожие мысли у моего партнёра по диалогу…»

Поэтому мозг прячет от нас сложность, точнее даже вовсе её не показывает. И это приводит к тому, что у людей появляется странное представление о словах.

Как я отметил ранее, когда большой желтый и полосатый объект кидается на меня, я думаю: «А-а-а! Тигр!», а не «Так… Объект с характеристиками огромности, желтости и полосатости был ранее отмечен как обладающий еще и характеристиками «голодный» и «опасный», следовательно, хотя логически это и не выводимо, а-а-а… ХРУМ-ХРУМ-ХРУМ».

Точно также естественный отбор не станет содействовать организму, который, услышав: «А-а-а! Тигр!», будет думать: «Так… Я только что услышал «Ти» и «гр», которые у моих соплеменников ассоциируются с их внутренними аналогами моего концепта «тигр», и они, скорее всего, склонны издавать эти звуки, заметив объект, который они классифицируют как а-а-а-и-и-и-и ХРУМ-ХРУМ помогите он откусил мне руку ХРУМ-ХРУМ».

Можно рассматривать это как проектное ограничение когнитивной архитектуры у людей — любому хотелось бы, чтобы у него не было лишних шагов между распознаванием слуховой корой звуков «тигр» и активацией концепта тигра.

Вернёмся к притче о сияйцах и крубах и к централизованной сети, которая быстро и легко распределяет объекты по категориям. Можно представить себе прямую связь между узлом, который распознаёт слово «сияйцо», и узлом в центре сети. Центральный узел — понятие сияйца — активируется почти сразу же, как Старшая Сортировщица Сьюзен говорит: «Сияйцо!»

Или в целях передачи информации — на что тоже не должна уходить вечность — как только вы видите синюю штуку в форме яйца, и центральный узел «сияйцо» возбуждается, вы кричите Сьюзен: «Сияйцо!»

И изнутри этот алгоритм ощущается так, как будто ярлык и понятие очень тесно связаны. Смысл кажется неким свойством, присущим самому слову.

Знатоки распознают в этом ещё один частный случай «ошибки проецирования ума» по Э. Т. Джейнсу. Нам кажется, будто у слова есть смысл, и этот смысл — свойство самого слова, точно так же, как краснота — свойство красного яблока, а таинственность — свойство таинственного явления.

Более того, в большинстве случаев мозг не проводит границу между словом и его значением — разве что при изучении нового языка он позаботится отделить одно от другого. И даже тогда, если вы увидите, как Сьюзен указывает на синий яйцевидный предмет и говорит «Сияйцо!», вы подумаете: «Интересно, что значит „сияйцо“?», а не «Интересно, какую мысленную категорию Сьюзен связывает со звуковым ярлыком „сияйцо“?».

Рассмотрим в свете этого ту часть стандартного спора об определениях, где две стороны спорят о том, что на самом деле означает слово «звук». Точно также они могли бы спорить о том, красного или зелёного цвета одно конкретное яблоко.

Альберт:
— Микрофон моего компьютера может записать звук, даже когда рядом нет никого, кто мог бы его услышать, сохранить его в файл, и этот файл будет называться «звуковым». И то, что сохранено в файле — это последовательность вибраций воздуха, а не последовательность возбуждения нейронов в чьём-то мозгу. «Звук» — это последовательность вибраций.

Барри:
— Что, серьёзно? А давай посмотрим, что словарь скажет по этому поводу?

Альберт интуитивно чувствует, что у слова «звук» есть смысл, и этот смысл — акустические вибрации. А ещё он чувствует, что дерево, падающее в лесу, производит звук (а не становится причиной явления, попадающего в категорию «звук»).

Барри, в свою очередь, ощущает, что

звук.смысл == слуховые переживания
лес.звук == неверно

А не:

мойМозг.НайтиПонятие("звук") == понятие_СлуховоеПереживание
понятие_СлуховоеПереживание.совпадение(лес) == неверно

Хотя последнее гораздо ближе к тому, что на самом деле происходит. Однако, эволюция не готовила людей к этому знанию, во всяком случае, не больше, чем к инстинктивному знанию о том, что мозг состоит из нейронов.

Противоречащие друг другу интуитивные представления Альберта и Барри подливают масла в огонь дискуссии, уже дошедшей до того, что они спорят о том, что значит слово «звук». И им кажется, что они спорят о факте, не отличающемся от любого другого факта, и этот спор ничем не отличается от, например, спора, является ли небо голубым или зелёным.

Вы можете даже не заметить, что забрели совсем не туда, пока не попытаетесь исполнить рационалистский ритуал: предложить проверяемый эксперимент, результат которого зависит от фактов, о которых вы так горячо спорите…

Перевод: 
El_Aurens, Muyyd1, Alaric, Quilfe
Номер в книге "Рациональность: от ИИ до зомби": 
164
Оцените качество перевода: 
Средняя оценка: 5 (4 votes)

Аргумент к традиционному пониманию

Элиезер Юдковский

«Стандартный спор об определениях» иногда содержит примерно такой фрагмент:

Альберт:
— Предположим, я оставил в лесу микрофон и записал последовательность акустических вибраций от падающего дерева. Если я проиграю кому-нибудь запись, они скажут, что на записи «звук». Традиционно это слово понимается именно так! И не надо тут выдумывать всякие ненормальные определения!

Барри:
— Во-первых, я могу определять значение слова так, как мне угодно, главное, что я использую его последовательно. Во-вторых, значение, которое я в него вкладываю, есть в словаре. В-третьих, кто дал вам право решать, какое понимание слова соответствует традиции, а какое — нет?

Само понятие традиционного понимания слова всплывает не во всех спорах об определениях. По-моему, чаще всего люди берут в руки словарь, потому что считают, что у слов есть смысл и что словарь прилежно фиксирует, какой именно. Некоторые люди, судя по всему, даже верят, что словарь определяет смысл слов и составители словаря для этих людей — это законодатели языка. Может быть, это потому, что в начальной школе учитель — авторитет для них в то время — сказал им, что они должны подчиняться словарю? И с тех пор они считают, что это обязательное к исполнению правило?

Составители словарей читают то, что пишут другие люди, и фиксируют, что эти слова, судя по всему, означают. Они — историки. Оксфордский словарь может исчерпывающе описывать лексику английского языка, но он не имеет силы закона.

Но разве не существует социального императива, предписывающего нам использовать слова в том смысле, в котором они обычно понимаются? Разве наша человеческая телепатия, наша драгоценная сила языка, не требует всеобщей слаженности усилий? Быть может, нам добровольно следует относиться к редакторам словарей, как к верховным судьям, — даже если они предпочитают считать себя историками, — просто чтобы поддерживать молчаливое соглашение, от которого зависит вся речь.

Словосочетание «авторитетный словарь» некорректно почти во всех случаях. Как пример исключения можно упомянуть «Официальный словарь терминов стандартов IEEE»1. Членам IEEE необходимо достигать чёткого соглашения о терминах и определениях, они решают вопросы голосованием, и потому «Официальный словарь терминов стандартов IEEE» — это настоящий закон, авторитет которого поддерживается авторитетом IEEE.

В отличии от IEEE, в обычной жизни язык возникает не в результате обдуманного соглашения. Скорее, он больше похож на инфекцию — кто-то придумывает слово, а потом оно растворяется в культуре. (Кто-нибудь мог бы вспомнить слово «мем», предложенное Ричардом Докинзом тридцать лет назад. Но вы и так уже поняли, о чём я тут пишу. Если же нет, можете воспользоваться Гуглом и тоже заразиться этим словом.)

И тем не менее, как показывает пример IEEE, соглашение относительно используемого языка тоже может быть совместно созданным общественным благом. Если мы желаем обменяться мыслями посредством языка, человеческой телепатии, то использование одного и того же слова для схожих концептов — в наших общих интересах. (Конечно, предпочтительней, если эти концепты будут схожи с точностью до предела разрешения нашего мысленного представления.) При этом у нас может не быть никаких общих интересов использовать какое-то конкретное слово.

С точки зрения общих интересов, не слишком важно, используем ли мы слово «ото» для обозначения звука или «звук» для обозначения ото. Однако, в наших общих интересах использовать одно и то же слово, каким бы оно ни было. (Предпочтительно, чтобы часто употребляемые слова были короткими, но не будем пока углубляться в теорию информации).

Использование одинаковых ярлыков для размышлений — тоже в общих интересах, но острой необходимости в этом нет. Так просто удобней. Если я знаю, что «ото» для вас означает «звук» (то есть, вы ассоциируете слово «ото» с концептом, который очень похож на тот, с которым я ассоциирую слово «звук»), то я могу сказать: «При сминании бумага издаёт хрустящий ото». Для этого мне придется приложить лишь чуть больше усилий.

Точно также, если вы скажете: «Какую трость создаёт упавший на пол шар для боулинга?» и я знаю, какой концепт у вас связан с фонемами «трость», то я смогу понять, что вы подразумевали. Возможно, мне придётся на некоторое время задуматься, потому что обычно слово «трость» у меня связано с другим концептом. Но я вполне неплохо всё пойму.

Желающих пообщаться людей трудно остановить! Даже оказавшись на необитаемом острове без общего языка, мы можем взять в руки палки и общаться с помощью изображений на песке.

Альберт, используя «аргумент к традиционному пониманию», подразумевает, что соглашение о языке является совместно установленным общественным благом. Тем не менее, единственная цель Альберта в этот момент — в полемических целях обвинить Барри в нарушении соглашения и угрозе общему благу. Спор о падающем дереве больше не сводится к ботанике или семантике. Теперь это политический спор. И Барри в ответ оспаривает право Альберта устанавливать определения.

Владеющий навыком «ухватить задачу» рационалист заметит, что спорщики сильно отклонились от темы разговора.

Уважаемый читатель, неужели это всё действительно необходимо? Ведь Альберт знает, что Барри подразумевает под «звуком». Барри знает, что Альберт подразумевает под «звуком». Оба они знают о словосочетаниях «акустические вибрации» и «слуховые переживания», и каждое из этих словосочетаний у обоих связано с одним и тем же концептом, и эти концепты, в свою очередь, описывают происходящие в лесу события без каких-либо двусмысленностей. Если бы Альберт и Барри попали на необитаемый остров и попытались бы обменяться информацией, у них не возникло бы проблем.

Метод ведения дискуссии, при котором обе стороны знают, что хочет сказать оппонент, и одновременно обвиняют друг друга в предательстве общего блага (которое состоит в отказе от «традиционного понимания»), очевидно, не слишком эффективен для коммуникации. А ведь весь смысл одинакового использования одинаковых слов состоит именно в том, чтобы успешно передавать информацию.

Так зачем же спорить о значении слов? Если проблема заключается лишь в конфликте имён, который разросся до невиданных масштабов, если речь только о том, что два разных понятия оказались названы одним словом, то обеим сторонам нужно лишь придумать два новых слова и последовательно их использовать.

Однако, процессу классификации часто сопутствуют скрытые умозаключения и замаскированные вопросы. Атеизм — это «религия»? Если кто-то доказывает, что в атеизме используются рассуждения, схожие с теми, что используются в иудаизме, или что атеизм провоцирует насилие в таких же количествах, что и ислам, то у этого человека есть очевидный мотив запихать всё, что ему кажется общим, в размытое понятие «веры».

Или рассмотрим спор о том, должны ли «чёрные» и «белые» принадлежать к одной категории «люди». Здесь нет смысла придумывать два новых слова, ведь обсуждается именно идея, что между ними с точки зрения морали не следует проводить границу.

Однако, когда решается эмпирический или моральный вопрос, апеллировать к традиционному пониманию слова уже нельзя.

Если мы решаем, как объединять схожие объекты, чтобы потом получить некий вывод, то наш итоговый эмпирический ответ будет зависеть от того, как и что мы объединили. А это означает, что определения могут быть неверными. На основании разных определений мы сделаем разные предсказания. И нельзя голосованием решить, какое из них правильное.

Если для какого-то эмпирического вывода вам нужно понять, стоит ли объединять в одну группу атеизм и религии с верой в сверхъестественное, то вы не найдете ответ в словаре.

И если вы хотите понять, являются ли чернокожие людьми, вы не найдете ответ в словаре.

Ведь если все будут верить, что красная точка на ночном небе — это Марс, Бог Войны, словарь будет определять «Марс», как «Бог Войны». Если все будут верить, что огонь — это высвобождение флогистона, то словарь и будет определять «огонь» как «высвобождение флогистона».

Использование слов — это своего рода искусство. Даже когда определения не являются в буквальном смысле истинными или ложными, они могут быть более умными или более дурацкими. Составители словарей всего лишь историки, описывающие, как слова употреблялись в прошлом. Если вы будете смотреть на них, как на верховных судей, определяющих смыслы слов, это привяжет вас к мудрости прошлого и лишит возможности стать лучше.

Однако, отступив от мудрости прошлого, постарайтесь убедиться, что люди смогут догадаться, о чём вы плывёте.

  • 1. «Официальный словарь» в этом названии в оригинале тоже пишется как «authoritative dictionary» — «авторитетный словарь». — Прим.перев.
Перевод: 
Muyyd1, Alaric, El_Aurens, Quilfe
Номер в книге "Рациональность: от ИИ до зомби": 
165
Оцените качество перевода: 
Средняя оценка: 4.9 (15 votes)

Пустые ярлыки

Элиезер Юдковский

Давайте рассмотрим (да, опять) аристотелевскую идею категорий. Предположим, у нас есть объект со свойствами A, B, C, D, и E (ну или по крайней мере он выглядит похожим на Е).

Фред: Ты имеешь ввиду вон ту штуку синего цвета, круглую, пушистую и…

Я: В рамках аристотелевской логики конкретные свойства или их названия не важны. Поэтому я просто использую буквы.

Далее, я выдумываю аристотелевскую категорию «зава», описывающую все те и только те объекты, у которых есть свойства A, C, и D.

Я: У объекта 1 есть свойства зава, В и Е.

Фред: А еще он синий, то есть А, так ведь?

Я: Когда я говорю, что у него есть свойство зава, это подразумевается.

Фред: Да, но я все же хочу, чтобы ты упомянул это в явной форме.

Я: Хорошо. У объекта 1 есть свойства А, В, зава и Е.

Теперь я ввожу новое слово «юки», которое описывает те и только те объекты, которые обладают свойствами В и Е. И слово «зиппо», описывающее те и только те объекты, которые обладают свойством Е, но не свойством D.

Я: Объект 1 — зава и юки, но не зиппо.

Фред: Подожди, он ведь светится? Я имею ввиду — он же Е?

Я: Да. С учетом имеющейся информации, иначе и быть не может.

Фред: Я бы предпочёл, чтобы ты проговаривал такие вещи.

Я: Ладно. Объект 1 — А, зава, В, юки, C, D, E, но не зиппо.

Фред: Потрясающе! И это все можно понять, просто посмотрев на объект?

Впечатляет, правда? Давайте введем больше слов. «Боло» — А, С и юки. «Мун» — А, С и зиппо. И «мерлакдониан» — боло и мун.

Кажется бессмысленно запутанным? Я тоже так думаю. Давайте заменим ярлыки на определения.

«Зава, В и Е» превращается в [A, C, D], B, E.

«Боло и А» превращается в [A, C, [B, E]], A.

«Мерлакдониан» превращается в [A, C, [B, E]], [A, C, [E, ~D]].

Важно помнить: аристотелевская идея категорий подразумевает, что [A, C, D] — это вся информация о «зава». Я могу не только использовать любой ярлык, но и прекрасно обойдусь совсем без ярлыков — правила, регулирующие аристотелевские классы, замечательно работают и для структур вроде [A, C, D]. Использование ярлыка «зава» или какого-либо другого нужно лишь для нашего удобства (или неудобства), а для правил никакой разницы нет.

Предположим, что «человек» определяется как «двуногое смертное существо без перьев». В таком случае классический силлогизм будет выглядеть так:

Все [смертные, ~оперенные, двуногие] смертны.

Сократ — [смертный, ~оперенный, двуногий].

Следовательно, Сократ смертен.

Теперь этот приём выглядит не так впечатляюще, не правда ли?

Ярлыки здесь скрывают посылки, и благодаря этому создаётся иллюзия, что мы получили какой-то нетривиальный вывод. Если мы заменяем ярлыки определениями, то мы видим эту иллюзию и понимаем эмпирическую бесполезность тавтологии. Нельзя утверждать, что Сократ [смертный, ~оперенный, двуногий], не пронаблюдав его смертность.

Существует идея (которую, как вы, наверное, заметили, я ненавижу): «вы можете определять слова как вам угодно». Эта идея происходит от аристотелевских категорий. Действительно, если вы будете строго и безошибочно следовать правилам Аристотеля - люди никогда так не делают, Аристотель прекрасно знал, что Сократ был человеком, хотя из его правил это никак не вытекало, - но если какая-то воображаемая нечеловеческая сущность будет строго следовать этим правилам, она никогда не придёт к противоречию. Она вообще ни к чему не придёт, она тоже не сможет сказать, что Сократ [смертный, ~оперенный, двуногий], не пронаблюдав его смертность.

В рамках аристотелевской системы ярлыки произвольны. Однако, я хочу сказать не столько об этом, сколько о том, что аристотелевская система замечательно работает и вовсе без ярлыков. Она выдаёт точно такой же поток тавтологий, просто эти тавтологии выглядят гораздо менее впечатляюще. Ярлыки нужны лишь для создания иллюзии нетривиального вывода.

Поэтому, если вы желаете ввести какую-то поговорку в аристотелевском духе, то она должна звучать не как «Я могу определять слова как захочу» или «Процесс определения слова не имеет последствий», а скорее как «Определения не нуждаются в словах».

Перевод: 
Muyyd1, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
166
Оцените качество перевода: 
Средняя оценка: 3.7 (9 votes)

Табуируй свои слова

Элиезер Юдковский

По правилам игры «Табу» от Hasbro необходимо помочь партнёру угадать слово, напечатанное на карточке, не произнеся при этом ни самого слова, ни ещё пяти дополнительных, напечатанных на карточке. Например, как бы вы объяснили слово «бейсбол», не используя слов «спорт», «бита», «удар», «подача», «база» (и, разумеется, «бейсбол»)?

Попав в такую ситуацию я бы, ни секунды не задумываясь, сказал «искусственный групповой конфликт, в котором нужно шарахнуть продолговатым деревянным цилиндром по брошенному сфероиду и затем пробежаться по четырём безопасным позициям». Можно, конечно, найти и более эффективный способ передать слово «бейсбол» без нарушения правил игры, например — «То, во что играют Янкис»1. Вообще, навык исключения отдельных слов из собственных мыслей я развивал много лет и не для игры.

В предыдущем эссе было видно, как раскрытие определений на месте соответствующих слов позволяет выявить эмпирическую непродуктивность классического аристотелевского силлогизма: «Все люди смертны (и, по-видимому, двуногие без перьев). Сократ — человек. Следовательно, Сократ смертен». Если заменить здесь слово «человек» его мнимым определением, то выявится подразумеваемая цепочка заключений:

Все [смертные, ~пернатые, двуногие] смертны.
Сократ — [смертный, ~пернатый, двуногий].
Следовательно, Сократ смертен.

Принцип замены слов их определениями можно применять гораздо более широко:

АЛЬБЕРТ: Дерево, падающее в пустом лесу, создаёт звук.
БАРРИ: Дерево, падающее в пустом лесу, не создаёт звука.2

Поскольку один говорит «звук», а другой «~звук», то мы явно нашли противоречие, верно? Но представим, что было бы, если бы собеседники сначала разыменовали указатели3:

АЛЬБЕРТ: Дерево, падающее в пустом лесу, удовлетворяет [проверка принадлежности: это событие порождает акустические вибрации].
БАРРИ: Дерево, падающее в пустом лесу, не удовлетворяет [проверка принадлежности: это событие порождает слуховые впечатления].

Теперь мнимое противоречие исчезло и для этого было достаточно всего лишь запретить использовать слово «звук». В случае, если разногласия возникнут вокруг термина «акустические вибрации», можно табуировать и его, заменив на «волны давления, распространяющиеся в физической среде». При необходимости можно наложить табу на слово «волна» и заменить его волновым уравнением. Если затабуировать «слуховые впечатления», то получим «форма обработки сенсорной информации человеческим мозгом, принимающая на вход временной ряд смешанных частот».

Спор вокруг силлогизма можно переформулировать следующим образом:

АЛЬБЕРТ: Сократ входит в категорию [проверка принадлежности: эта личность погибнет, выпив настойку болиголова].
БАРРИ: Сократ входит в категорию [проверка принадлежности: эта личность не погибнет, выпив настойку болиголова].

Видно, что ожидания Альберта и Барри существенно расходятся: спорщики ожидают наблюдать различные события после того, как Сократ выпьет настойку болиголова. Этого противоречия сложно было бы заметить, если бы оба они использовали общее слово «человек», подразумевая под ним каждый своё.

В зависимости от того, за чем следить в диалоге: за ярлыками (Альберт говорит «звук», Барри говорит «не звук»), либо за испытаниями (Альберт предложил проверку на акустические вибрации, Барри предложил проверку на слуховые впечатления), можно прийти к сильно различающимся выводам по поводу того, с чем спорщики согласны и не согласны между собой.

Если на конгрессе так называемых футурологов спросить, появится ли искусственный интеллект в ближайшие тридцать лет, то, я думаю, по крайней мере половина из них ответит утвердительно. Без дополнительного регулирования они разойдутся довольные собой и достигнутым консенсусом. Однако стоит лишь наложить табу на термин «искусственный интеллект» (а так же на слова «компьютеры», «мыслить» и прочее), а после поинтересоваться, что именно они ожидают увидеть — и, вполне возможно, обнаружится конфликт ожиданий, скрывавшийся под неприметным привычным словом. Шейн Легг4, например, собрал 71 определение слову «интеллект».

Иллюзию согласия между различными религиями можно рассеять, наложив табу на слово «Бог» и попросив верующих объяснить, в чём именно состоят их убеждения, либо наложив табу на слово «вера» и попросив верующих объяснить, почему они носят свои убеждения. Правда, большинство не сможет хоть чего-нибудь ответить вообще: большая часть их убеждений — всего лишь провозглашения, а аудиозапись можно разглядывать хоть под микроскопом, но не найти при этом разъяснения терминов.

Столкнувшись с философскими трудностями, старайтесь не бросаться выяснять определения спорных терминов, а пытайтесь мыслить не используя вообще ни этих терминов, ни их синонимов. Старайтесь так же не изобрести случайно какого-нибудь слова на замену табуированным. Описывайте внешние наблюдения и внутренние механизмы — недостаточно оперировать идентификатором, каким бы он ни был.

Альберт считает, что люди обладают «свободой воли». Барри считает, что люди не обладают «свободой воли». Ну что же, тут явно назревает мнимый спор. Большинство философов посоветовали бы Альберту и Барри постараться как можно точнее определить, что именно они называют «свободой воли», что привело бы разговор в плоскость, в которой они сами готовы рассуждать часами. Я бы посоветовал Альберту и Барри описать, каким именно качеством, по их мнению, обладают (либо не обладают) люди, вообще не используя при этом слов «свобода воли». Попробуйте проделать это в качестве домашнего задания, исключив так же слова «выбирать», «действовать», «решать», «предопределено», «ответственность», а так же их синонимов.

Табуирование — один из множества нестандартных приёмов в моём арсенале, и, по моему скромному мнению, этот приём работает намного лучше стандартного. Хоть он и более энергозатратен, зато полностью себя окупает.

  • 1. Известный американский бейсбольный клуб, см. https://ru.wikipedia.org/wiki/Нью-Йорк_Янкис — Здесь и далее примечания переводчика.
  • 2. Спорщики Альберт и Барри впервые появляются в эссе https://lesswrong.ru/w/Спорыобопределениях
  • 3. Юдковский ссылается на понятие из программирования, когда в некой переменной X(«указателе»), содержится адрес ячейки в памяти, в которой содержится значение некой переменной Y, и для того, чтобы оперировать значением переменной Y, необходимо сначала «разыменовать» указатель X — получить по адресу памяти значение переменной Y. См. https://ru.wikipedia.org/wiki/Указатель(типданных)
  • 4. Шейн Легг — исследователь искусственного интеллекта, В 2010 г. основал компанию DeepMind, см. https://ru.wikipedia.org/wiki/DeepMind
Перевод: 
BT, ildaar
Номер в книге "Рациональность: от ИИ до зомби": 
167
Оцените качество перевода: 
Средняя оценка: 3.9 (37 votes)

Замени символ на суть

Элиезер Юдковский

Что нужно, чтобы (как в предыдущем эссе) воспринимать «бейсбол» как «искусственный групповой конфликт, в котором вы длинным деревянным цилиндром наносите удары по брошенному сфероиду и затем перебегаете между четырьмя безопасными позициями»? Что нужно, чтобы играть в рационалистскую версию «Табу», цель которой не вспомнить синоним, которого нет на карточке, а придумать, как описать явление, не используя привычных концептов в качестве костылей?

Нужно визуализировать. Заставлять свой внутренний взор воспринимать детали так, будто вы их видите впервые. Необходимо смотреть cвежим взглядом.

Это «бита»? Нет, это длинный, округлый, конусообразный, деревянный стержень, сужающийся у одного конца так, чтобы человек мог ухватить его и махнуть им.

Это «мяч»? Нет, это покрытый кожей сфероид, покрытый симметричным узором стежков, твердый, но не как металл. Его можно взять в руку и бросить, или ударить деревянным стрежнем, или поймать.

Это «базы»? Нет, это фиксированные позиции на игровом поле, которые игроки стараются достигнуть как можно быстрей из-за их «безопасности» в рамках искусственных правил игры.

Больше всего свежему взгляду мешает то, что у вашего разума уже есть готовые короткие обобщения в виде удобных простых концептов. Вроде «бейсбола», «биты», «базы». Нужны сознательные усилия, чтобы не дать разуму соскользнуть на привычную дорожку, легкий путь наименьшего сопротивления, где мелкое невыразительное слово врывается и смывает все детали, которые вы стараетесь увидеть. Слово само по себе может нести в себе разрушительную силу ярлыков и яд кешированных мыслей.

Табуирование — способность описывать без использования привычных указателей/ярлыков/инструментов — одна из фундаментальных способностей рационалиста. Она находится на том же базовом уровне, что и привычка постоянно задавать вопросы: «Почему?» или «Какие ожидания порождает это убеждение?».

Это искусство тесно связано с:

  • Прагматизмом. Табуирование лучше помогает сосредоточить внимание на ожиданиях, чем обычное проговаривание убеждений.
  • Редукционизмом. Табуирование заставляет вас обращать внимание на то, как устроен рассматриваемый объект или явление на более низком уровне. Вы обращаете внимание на части, а не скользите взглядом по целому.
  • Умением «ухватить задачу». Слова часто отвлекают от вопроса, который вы хотите задать на самом деле.
  • Избеганием кешированных мыслей, которые заполняют разум при использовании привычных слов. Табуирование привычных слов позволяет с этим справиться.
  • С правилом писателей «показывай, а не рассказывай», уважаемому рационалистами.
  • И умением не терять из виду исходную цель.

Как табуирование помогает не терять из виду цель?

Из «Потерянных целей»:

Прямо сейчас, когда вы читаете эти строки, какой-нибудь студент сидит за партой в университете и старательно изучает материал, который ему сам по себе не интересен и который, по его мнению, ему никогда не пригодится. Студенту нужна высокооплачиваемая работа, а для неё требуется «корочка», а для получения «корочки» требуется степень магистра, а до степени магистра нужно получить степень бакалавра, а университет, который предлагает степень бакалавра, требует, чтобы для её получения вы посетили занятия по узорам вязания двенадцатого века. И студент прилежно изучает эти узоры. Он планирует забыть про них сразу же после сдачи экзамена, но тем не менее всерьёз возится с ними, потому что ему очень нужна «корочка».

Зачем вы ходите в «школу»? Чтобы получить «образование» и в конце концов «степень». Забудьте слова в кавычках и их синонимы, представьте все детали из реального мира, и, скорее всего, вы заметите, что «школа», судя по всему, — это совместное сидение в помещении вместе со скучающими подростками и выслушивание материала, который вы и так знаете. «Степень» окажется бумагой с какими-то написанными словами, а «образование» — забыванием материала сразу же после экзамена.

Классификация часто приводит к дырявым обобщениям. Например, те, кто действительно чему-то учатся в классе, попадают в категорию «получающие образование», поэтому «получение образования» считается чем-то хорошим. Однако, потом любой, кто оказывается в колледже, оказывается в категории «получающий образование», независимо от того, учится он чему-то или нет.

Ученики, которые понимают математику, прекрасно справятся с тестами. Однако, если поставить школе цель готовить людей, которые получают в тестах высокие баллы, ученики потратят всё своё время на подготовку к тестам. Если ваша цель попадёт в неправильную мысленную категорию, это может привести к появлению такого же неправильного стимула. Вы хотите учиться, поэтому вам нужно «образование», и пока вы занимаетесь чем-то, что попадает в категорию «образование», вы можете не замечать, учитесь вы или нет. Вы также можете заметить, что вы не узнаёте ничего нового, но не осознать, что вы уже забыли про изначальную цель, потому что вы «получаете образование», а ваша цель у вас в голове описана именно так.

Категоризировать — выбрасывать информацию. Если вам скажут, что упавшее дерево издало «звук», вы не узнаете, что это был за звук — вы не слышали, как это дерево падало. Если монета выпала «орлом», вы не знаете, как она оказалась ориентированной на плоскости. Синяя яйцеобразная штука может быть «сияйцом», но какого именно оттенка синего и какой именно формы она? Классификацию используют для отбрасывания не релевантной информации, для отделения золота от песка, но часто получается, что привычная классификация отбрасывает и релевантную информацию тоже. И если вы столкнулись с такой проблемой, первым и лучшим решением будет сыграть в рациональное «табу».

Например, «сыграть в ”табу”» — само по себе дырявое обобщение. Версия от Hasbro — это не то же самое, что и версия рационалистов: для того, чтобы исключить мышление привычными словами, недостаточно исключить лишь пять синонимов, написанных на карточке. «Табу» рационалистов оказывается внутри границ концепта «игра в ”табу”», но не все, что находится внутри этих границ, позволяет посмотреть на мир свежим взглядом. Если вы просто будете «играть в ”табу” ради свежего взгляда», то начнёте думать, что все, что считается игрой в «табу», может считаться свежим взглядом.

«Табу» по версии рационалистов — это не игра. Вы не сможете здесь схитрить или обойти правила. Вам придется добровольно ограничить себя: перестать использовать и те синонимы, которых нет на карточке. Вам так же придется останавливать себя, когда вы попытаетесь придумать новое простое слово или фразу, которые будут играть ту же роль умственных костылей, что и старые привычные слова. Вы стараетесь увидеть больше деталей на карте, а не переименовывать города, разыменовать указатель, а не ввести новый, увидеть события такими, какие они есть, а не переписать клише о них другими словами.

Рассмотрев задачу во всех деталях, вы сможете увидеть потерянную цель. Чем вы на самом деле занимаетесь, играя в «табу»? Для чего нужна каждая из частей процесса?

Если вы посмотрите на ваши действия, как будто вы смотрите на них первый раз, то сможете увидеть свежим взглядом и ваши цели. Если вы сможете посмотреть на себя по-новому, то увидите, что вы занимаетесь чем-то, что вас вряд ли привлекло бы, если бы не успело войти в привычку.

Цель теряется из виду, как только суть (обучение, знания, здоровье) заменяется на символ (степень, тестовые баллы, медобслуживание). Чтобы заново найти потерянную цель или избавиться от дырявого обобщения, вам нужно сделать наоборот.

Замените символ на суть. Замените знак на то, что он обозначает. Замените свойство проверкой принадлежности. Замените слово на его смысл. Замените ярлык на концепт. Замените конспект на детали. Замените вспомогательный вопрос на основной. Разыменуйте указатель. Перейдите на нижний уровень организации. Смоделируйте процесс в уме, а не просто произнесите его название. Увеличьте масштаб на вашей карте.

«Простая истина» получилась благодаря табуированию слова «истина». Я описал смысл этого слова на более низком уровне без привлечения слов вроде: «точный», «корректный», «представляет», «отражает», «семантика», «убеждение», «знание», «карта», «настоящий». (Помните, цель не в том, чтобы играть в «табу» — слово «истинный» появлялось в том тексте, но не для того, чтобы определить истину. В игре «Табу» от Hasbro это считалось бы ошибкой, но на самом деле мы не играем в эту игру. Спрашивайте себя, выполнил ли свое назначение документ, а не написали ли его в соответствии с правилами.)

Правило Байеса описывает «свидетельство» с помощью чистой математики, без использования слов вроде «подразумевает», «означает», «поддерживает», «доказывает», или «оправдывает». Если вы попробуете определить подобные философские термины, вы лишь начнёте ходить по кругу.

И есть слово, которое табуировать важнее всего. Я неоднократно предупреждал, что им не стоит злоупотреблять. В некоторых случаях даже следует избегать этого понятия. И теперь вы знаете, почему. Размышлять об этом предмете вполне можно. Но истинное его понимание определяется вашей способностью описать, что вы делаете и почему — без использования этого слова и его синонимов.

Перевод: 
Muyyd1, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
168
Оцените качество перевода: 
Средняя оценка: 3.9 (19 votes)

Ошибки сжатия

Элиезер Юдковский

Есть известное высказывание: «Карта — это не территория». Единственная точная на 100% карта Калифорнии в натуральную величину с сохранением всех деталей на уровне атомов — это сама Калифорния. Однако в Калифорнии есть некоторые важные повторяющиеся детали — например, шоссе, — которые можно описать, используя значительно меньше информации (не говоря уже о физической материи для хранения этой информации), чем потребовалось бы для описания каждого атома в пределах границ штата. Поэтому есть и другое высказывание: «Карта — это не территория, но территорию нельзя сложить и убрать в бардачок».

На бумажной карте Калифорнии в масштабе «в 1 сантиметре 10 километров» (1:1000000) недостаточно места для того, чтобы показать точное расположение двух опавших листьев, лежащих на тротуаре в сантиметре друг от друга. Даже если карта попытается показать листья, листья будут отображаться одной и той же точкой на карте. Точнее, карте потребуется разрешение в 10 нанометров, что гораздо меньше доступного для подавляющего большинства типографий, не говоря уже о человеческих глазах.

Реальность очень велика. Даже видимая для нас часть реальности — это миллиарды световых лет. Но ваша карта реальности записана на полутора килограммах нейронов, упакованных так, чтобы поместиться внутри черепной коробки. Не хочу никого обидеть, но по сравнению с реальностью ваш череп — очень крохотный.

И поэтому совершенно неизбежно некоторые объекты, которые в реальности различны, оказываются на вашей карте сжатыми в одну точку.

Но изнутри это ощущается не как: «Ого, посмотрите-ка, я сжимаю два объекта в одну точку на моей карте». Это ощущается, словно существует лишь один объект и вы непосредственно его и наблюдаете.

Достаточно маленький ребенок или достаточно древний греческий философ не знают про такие штуки, как «акустические вибрации» или «слуховые переживания». И, когда дерево упадет, будет лишь одно — единственное событие, называемое «звуком».

Осознание того, что точка на вашей карте скрывает два различных явления, по сути — научная задача. Огромная сложная научная задача.

Иногда ошибки сжатия случаются из-за путаницы между двумя одинаковыми явлениями, называющимися одним словом. Вы знаете про акустические вибрации и про работу слуховых отделов мозга, но называете их одним словом — «звук», и запутываете себя. Но более опасная ошибка сжатия возникает в тех случаях, когда вы даже не подозреваете, что в вопросе могут быть замешаны две разные сущности. В вашей голове есть только одна папка, обозначенная «звук», и каждая мысль про «звук» попадает в эту единственную папку. Это не то же самое, что иметь две папки с одним и тем же названием. По умолчанию карта сжата — зачем мозгу создавать две ментальные коробки, когда хватает и одной?

Или вообразите себе книгу детективного жанра, в которой главный герой должен догадаться, что у подозреваемой есть сестра-близнец. Обычная детективная работа героя сведётся лишь к тому, что он заметит, что Кэрол носит красное, что у неё чёрные волосы, что у неё кожаные сандалии. Однако, все эти факты будут о Кэрол. Достаточно легко усомниться в отдельных фактах, вроде НоситКрасное(Кэрол) или ТемныеВолосы(Кэрол). Может ТемныеВолосы(Кэрол) — ложно. Может Кэрол красит волосы. Может быть Шатенка(Кэрол). Но детективу потребуется немало смекалки, чтобы догадаться, что НоситКрасное(Кэрол) и ТемныеВолосы(Кэрол) — тот самый файл «Кэрол» в который попадают все наблюдения, связанные с Кэрол, — должен быть разбит на два отдельных файла. Может быть существуют две Кэрол, и та Кэрол, что носит красное, и та, что с темными волосами — две разные женщины.

Именно так выглядит создание двух различных коробок. И это зачастую требует гениального озарения. Легче ставить под сомнение имеющиеся у себя факты, чем определяющую их онтологию.

В отличие от бумажной карты Калифорнии карта реальности, которая содержится в человеческом мозге, способна динамически расширятся, когда мы вводим более детальные описания объектов. Но изнутри это ощущается не столько как увеличение масштаба, сколько как деление невидимого атома — мы берём один предмет (он ощущается как один) и делим его на два разных.

Часто в результате появляются новые слова, например, «акустические вибрации» и «слуховые переживания» вместо просто «звук». По-видимому, где-то при появлении нового названия и создаётся новая ментальная коробка. Детектив, скорее всего, будет называть одну из подозреваемых «Кэрол-2» или «другая Кэрол», когда догадается, что их двое.

Но расширить собственную карту сложней, чем выдумать названия для новых городов. Необходимо озарение научного уровня, чтобы понять, что такие штуки, как акустические вибрации или слуховые переживания, вообще существуют.

В качестве более современных примеров можно взять слова «интеллект» или «сознание». Нередко встречаются новостные заголовки, кричащие, что ученые «объяснили сознание», просто потому что команда неврологов исследовала электрический ритм в сорок герц, который может быть связан с кросс-модальным переносом сенсорной информации, или ретикулярную активирующую систему, ответственную за бодрствование. Это, конечно, крайности — обычно ошибки менее очевидны, но они одного поля ягоды. Наиболее интересные части «сознания» это рефлективность, самосознание, понимание того, что человек, которого я вижу в отражении зеркала это «я». Это и трудная проблема субъективного опыта, выделенная Чалмерсом. Мы так же обозначаем словом «сознание» и разницу между сном и бодрствованием. Но это разные концепты с одинаковым именем, и соответствующие им явления являются отдельными научными загадками. Можно объяснить бодрствование, не объясняя при этом рефлективность или субъективность.

Ошибки сжатия так же лежат в основе философской техники «заманить и подменить» — вы рассуждаете о сознании, определяя его через способность думать о мышлении, а затем применяете выводы для другого свойства сознания, вроде субъективности. Разумеется, эти явления могут быть одним и тем же, но, чтобы это понять по-настоящему, нужно сначала эти понятия разделить и только потом, благодаря какому-то гениальному озарению, объединить снова.

Расширение карты, как уже говорил — научный вызов. Это часть научного искусства, умения расследовать, как устроен мир. И, разумеется, вам не удастся решить научную задачу, обратившись к словарю, и вы не научитесь исследовать мир с помощью техники «я могу определять слова как мне захочется». Если некий единый объект вызывает у вас замешательство своими многообразными и внутренне противоречивыми свойствами, вполне возможно, что проблема в карте, которая сжимает слишком много в одну точку. В таком случае полезно попробовать разделить их и создать новые ментальные коробки. Это не то же самое, что дать определение единому объекту. Скорее этот процесс запускается, когда вы разбираетесь, как говорить об объекте, не используя привычные ментальные костыли-понятия.

Вот и получается, что увеличение детализации собственной карты связано с рационалистской версией игры Табу и с мудрым использованием слов. Ведь слова часто соответствуют точкам на нашей карте: ярлыкам, которыми мы помечаем наши суждения, и ментальным коробкам, куда мы складываем информацию. Отказ от использования некоего слова — или наоборот создание новых слов — зачастую необходим для расширения карты.

Перевод: 
Muyyd1, Alaric, Pavel6991
Номер в книге "Рациональность: от ИИ до зомби": 
169
Оцените качество перевода: 
Средняя оценка: 4.6 (10 votes)

У классификации есть последствия

Элиезер Юдковский

Ваш геном содержит множество генетических вариаций и мутаций. Скорее всего, вы знаете лишь о некоторых из них. Возможно, вы знаете про аллели, которые определяют вашу группу крови: присутствие или отсутствие антигенов А, В и резус-фактора. Если вам будут переливать кровь, содержащую антиген, которого у вас нет, это приведет к аллергической реакции. Этот факт открыл Карл Ландштейнер (вместе со способом определять совместимость групп крови), и в результате стало возможным перелить кровь пациенту, не убив его (Нобелевская премия по медицине 1930 года). Кроме того, если женщина с группой крови А будет беременна ребенком с группой А+, то у нее может развиться аллергия на антиген +. И если у нее будет еще один ребенок с А+, то ей придётся принимать противоаллергенные препараты в ходе беременности или этот ребёнок окажется в опасности. Поэтому люди и узнают про группы друг у друга, прежде чем жениться.

О, и чуть не забыл: люди с группой А — серьезные и изобретательные, а с группой В — сумасбродные и веселые. Люди с группой О — кооперативные и дружелюбные, а с группой АВ — спокойные и владеющие собой. (Можно было бы подумать, что О будет обратным А и В, а АВ будет просто А плюс В, но нет…) Вся эта информация взята из японской теории личности, основанной на группе крови.

Судя по всему, группа крови играет в Японии ту же роль, что и астрологические знаки на Западе. Вплоть до «гороскопов по группе крови» в ежедневных газетах.

Всё это особенно странно, поскольку группы крови никогда не считались чем-то загадочным. Ни в Японии, ни где-то в другом месте. Мы и знаем про них только благодаря Карлу Ландштейнеру. Ни таинственный знахарь, ни почтенный чародей не говорили ни слова про группы крови. Никакие древние пыльные свитки не укутывают упомянутую ошибку аурой старины. Если специалисты-медики завтра признаются, что эти группы были лишь грандиозной мистификацией, то у нас, мирян, не будет ни малейшего свидетельства, доступного невооруженному глазу, чтобы опровергнуть их слова.

Между группами крови не было войн. Не было даже политических конфликтов. Должно быть, стереотипы возникли исключительно из-за существования ярлыков.

Разумеется, кто-то неминуемо скажет, что это история о классификации людей. Случается ли что-нибудь подобное при классификации растений, камней или офисной мебели? Я такого эксперимента не припоминаю, что, конечно, не означает, что его не проводили. (Я ожидаю, что самое сложное при проведении такого эксперимента — создать такой протокол опроса, который минимизировал бы шанс наталкивания испытуемого на мысль, что ярлык очень важен просто потому, что об этом ярлыке его и спрашивают.) И хотя я не собираюсь основываться на воображаемом свидетельстве, я бы предсказал, что такой эксперимент показал бы положительный результат: я бы ожидал, что само по себе введение ярлыков влияет на всё — по крайней мере в умах людей.

Здесь можно вспомнить про кластеры подобия: если вы нарисовали границу вокруг некоторой группы объектов, ваш разум пытается найти сходство между объектами группы. И, к сожалению, человеческий детектор закономерностей иногда находит закономерности даже там, где их нет. Немного избирательной памяти, и слабая отрицательная корреляция может быть принята за сильную положительную.

Можно вспомнить про нейронные алгоритмы: создать имя для набора предметов — все равно что выделить некоторую подсеть для поиска закономерностей между ними.

Можно вспомнить про ошибки сжатия: вещи с одинаковым названием вполне могут очутиться в одной ментальной папке и слиться в одну точку на карте.

А можно вспомнить про безграничную человеческую способность высасывать из пальца любую чепуху и в неё верить. Просто потому что никто не может доказать, что это на самом деле чепуха. Как только вы ввели имя для категории — можно начинать выдумывать. Штука с выбранным именем не обязана быть наблюдаемой. Она не обязана существовать. Она даже не обязана быть логичной.

И нет, такое происходит не только в Японии. Здесь, на Западе, книга под названием «Правильная еда для твоей группы крови» [В оригинале «Eat Right 4 Your Type» - Прим.перев.] стала бестселлером.

Проведение границы в пространстве вещей — совсем небезобидное действие. Возможно, какой-нибудь более правильно спроектированный байесовский ИИ будет в состоянии рассматривать произвольный класс и это не будет влиять на его поведение. Но у нас, людей, такого варианта нет. Для человеческого мозга категории не статичны — если вы о них думаете, они влияют на ваш разум. И это еще одна причина, почему не стоит считать, что вы можете определять слова как вам захочется.

Перевод: 
Muyyd, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
170
Оцените качество перевода: 
Средняя оценка: 3.6 (16 votes)

Контрабанда характеристик

Элиезер Юдковский

Вчера я рассказал, что в Японии типы крови заняли место астрологии - если твоя кровь 4 группы, например, ты должен быть «спокойным и сдержанным».

Предположим, мы решили ввести новое слово «виггин» для обозначения людей с зелеными глазами и темными волосами…

Зеленоглазый и темноволосый мужчина вошел в ресторан.

«Ха» сказал Дэнни, сидя за столиком неподалеку «Ты это видела? Виггин только что зашел в зал. Чертовы виггины. Все они преступники, если хочешь знать”.

Его сестра Эрда вздохнула «Ты ведь не видел его совершающим преступления, так ведь, Дэнни?»

«Мне и не нужно» ответил Дэнни, достав словарь — «Смотри, в Оксфордском Словаре Английского Языка так и написано «Виггин (1) Человек с зеленым глазами и черными волосами» У него черные волосы и зеленые глаза — он виггин. Ты ведь не станешь спорить в Оксфордским словарем? По определению, черноволосый и зеленоглазый человек — виггин».

«Но ты в открытую назвал его виггином» сказала Эрда. «Нехорошо так говорить о тех, кого ты совсем не знаешь. У тебя недостаточно свидетельств, чтобы утверждать, что он много кетчупа положит в свой бургер или что он в детстве запускал бельчат с помощью резинки».

«Но он же виггин». Терпеливо ответил Дэнни. «У него зеленые глаза и черные волосы, так? Вот увидишь, как только ему принесут заказанный бургер, он потянется за кетчупом”.

Человеческий разум переходит от наблюдаемых характеристик к выводимым посредством слов. В высказывании «Все люди смертны, Сократ человек, следовательно, Сократ смертен» наблюдаемыми характеристиками являются одежда Сократа, речь, используемые им инструменты, человеческая форма тела; классифицируется он как человек; выводимая характеристика — отравляемость болиголовом.

Разумеется, граница между «выводимыми» и «наблюдаемыми» характеристиками размыта. Если вы слышите, как кто-то говорит, то у этого существа, скорее всего, человеческая форма тела, при всех прочих равных. И, если вы видите человеческую фигуру в темноте, ceteris paribus — она может говорить.

И все же, некоторые характеристики в большей мере выводимые, чем наблюдаемые. Вы, скорее всего, сделаете вывод, что наблюдаемый вами объект — человек и поэтому сгорит, если его подвергнуть прямому взаимодействию с огнем, чем станете поджигать разные объекты для того, чтобы понять — горят люди или нет.

Если вы посмотрите определение слова «человек» в словаре, то, возможно, увидите там характеристики вроде «интеллект» или «двуногое без перьев», которые полезны для быстрого отделения того что является человеком от всего остального. При этом, в словаре не будет десятков тысяч других возможных человеческих характеристик вроде уязвимости перед болиголовом или сверхуверенности, которые можно вывести из того, что данный объект — человек. Почему так? Может быть, словари предназначены для указывания соответствия между ярлыком и кластером в пространстве вещей. Или вполне может быть, что крупные, видимые характеристики быстрей приходят на ум составителю словаря в силу своей заметности. Не уверен, насколько составители словарей осознают, что именно они делают.

Но кульминация наступает, когда Дэнни достает словарь и видит лишь бросающиеся в глаза признаки: зеленые глаза и черные волосы. Словарь не содержит список множества характеристик, которые ассоциируются с термином «виггин», вроде криминальных наклонностей, кулинарных пристрастий или досадных активностей в детстве.

Как же эти характеристики стали ассоциироваться с термином? Может был знаменитый виггин, продемонстрировавший их. Или может кто-то просто их выдумал и написал ставшие популярными книги («Виггин», «Беседы с виггином», «Воспитание маленьких виггинов», «Виггины в постели»). Может даже виггины в это верят теперь, и ведут себя соответствующим образом. Стоит лишь назвать группу людей «виггинами» и это слово начнет обрастать ассоциациями.

Однако, давайте вспомним «Притчу о болиголове»: если мы будем использовать определения логических классов, как метод определения слов, то мы не сможем установить, что Сократ — «человек», пока не пронаблюдаем его смерть. Когда кто-то апеллирует к словарю, он это делает, обычно, чтобы тайком привнести какие-то ассоциации, а не реально записанное определение.

В конце концов, если полный смысл слова «виггин» это «зеленоглазый и черноволосый человек», почему бы и не называть этих людей «зеленоглазым и черноволосыми»? И если вы интересуетесь, является ли данный человек любителем кетчупа, то почему бы не спросить об этом прямо «он любитель кетчупа?», вместо того, чтобы спрашивать «он виггин?» (прошу отметить замену символа на суть).

Но ведь для понимания настоящего вопроса придется поработать. Надо будет пронаблюдать, действительно ли виггин потянется за кетчупом. Или найти статистику о том, сколько зеленоглазых и черноволосых людей любят кетчуп. В любом случае, вам придется сделать что-то большее, чем сидение в вашем кресле с закрытыми глазами. Люди ленивы. Он предпочтут использовать аргумент «по определению», особенно если им кажется, что «слова можно определять, как захочется».

Но, разумеется, настоящая причина утверждать, что кто-то это «виггин» — в скрытой ассоциации, не записанной в словаре, и порождаемым ей чувстве.

Только представьте — Денни говорит: «Посмотри, у него черные волосы и зеленые глаза, он — виггин! В словаре так и сказано, следовательно, у него черные волосы. Попробуй поспорь с этим!»

Звучит не слишком впечатляюще, так ведь? Если бы суть аргумента действительно была отражена в словаре, если бы аргумент был логически валидным, то он ощущался бы пустым; не привносил ничего нового и не ставил бы вопросов.

Лишь контрабанда характеристики, которая прямо не записана в словаре, дает чувство победы при использовании аргумента «по определению».

Перевод: 
Muyyd1, 19_19_19
Номер в книге "Рациональность: от ИИ до зомби": 
171
Оцените качество перевода: 
Средняя оценка: 3.7 (11 votes)

Аргумент «по определению»

Элиезер Юдковский

«У этой ощипанной курицы две ноги и нет перьев, следовательно, по определению, она человек!»

Обычно, когда люди спорят про определения, они начинают с бросающихся в глаза или широко принятых характеристик, затем достают словарь и показывают, что эти характеристики соответствуют написанному в словаре определению; потом они делают вывод: «Следовательно, по определению, атеизм — это религия!»

Но бросающиеся в глаза или широко принятые характеристики редко являются настоящим предметом спора. Один лишь факт того, что кто-то видит наличие двух ног достаточно очевидной основой для вывода «Следовательно, по определению, Сократ — человек», свидетельствует о том, что двуногость не выступает конечной целью спора, ведь в противном случае оппонент бы заявил что-то вроде: «Да че ты говоришь, мы ведь об этом и спорим!»

Разумеется, есть правильный способ перехода от очевидных характеристик к не совсем очевидным. Вы вполне оправданно можете, увидев гуманоидную форму тела Сократа, предположить, что он уязвим для болиголова. Но этот вероятностный вывод не основывается на определении в словаре или традиционном понимании; он основывается на существовании во вселенной эмпирических кластеров подобных друг другу вещей.

Такая кластерная структура не изменится просто потому, что вы дадите слову другое определение. Даже если в словаре понятие «человек» будет определено как «все двуногие без перьев, кроме Сократа», то это не изменит степень подобия между Сократом и остальными двуногими без перьев существами.

Когда вы будете выстраивать аргументацию на основе кластерной структуры, вы скажете что-то вроде: «у Сократа две руки, две ноги, нос и язык, он говорит бегло на греческом, использует инструменты, проявляет все крупные и мелкие характеристики Homo sapiens (в то время, когда я наблюдал за ним); так что я предположу, что у него человеческая ДНК, человеческая биохимия, и что он так же уязвим для болиголова, как и другие Homo sapiens, для которых летальность болиголова была подтверждена клинически».

На что я мог бы ответить: «Но я видел, как Сократ разговаривал со знахарем, и думаю, что они собираются приготовить антидот. Так что я ожидаю, что Сократ, приняв болиголов, копыта не откинет. Он будет исключением для общего правила поведения объектов этого кластера. Они не принимали антидот, а он примет».

Как видите, тут уже нет смысла спорить о том, человек Сократ или нет. Разговор должен перейти на более детальный уровень, следует рассмотреть детали категории «человек», а именно — биохимию, и в данном случае, нейротоксичные эффекты кониина.

Вы, разумеется, можете продолжать настаивать на том, что «Сократ — человек и по определению смертен», но вы, на самом деле, лишь будете смазывать в одну точку все, что вы знаете о Сократе, кроме его человечности, как будто единственное верное предсказание может быть построено только на том, что мы ничего о Сократе не знаем, кроме того, что он человек.

Это все равно что настаивать на том, что вероятность выпадения орла или решки составляет 50%, потому что это «симметричная монета», после того, как вы ее подкинули и выпал орел. Это все равно что настаивать на том, что у Фродо десять пальцев, после того, как вы видели, что у него девять пальцев на руках. И это, естественно, некорректно с точки зрения байесовской эпистемологии — вы не можете отказаться от учета наблюдаемых свидетельств.

И вы не можете останавливаться на первой итерации классифицирования и продолжать делать выводы на ее основе, игнорируя остальную информацию.

Не каждое свидетельство, разумеется, окажет сильное влияние на вывод. Если я увижу, что у Сократа лишь девять пальцев, это не повлияет на мое ожидание наблюдать его смерть после приема болиголова, ведь я ожидаю, что потеря пальца не оказала сильного влияния на его биохимию. И это будет правдой независимо от того, что в словаре написано про количество пальцев. Правильный вывод основан на кластерной структуре окружающей среды и причинной структуре биологических процессов, а не на том, что решит написать составитель словаря. И уж тем более не на «традиционном понимании».

Как правило, если вы делаете вывод правильным, логически допустимым путем, вы просто можете сказать: «Содержащийся в болиголове алкалоид кониин вызывает мышечный паралич у людей, что приводит к смерти от удушья». Или еще проще: «Болиголов опасен для людей». Так выстраивается правильный аргумент.

Так в какой же ситуации может возникнуть желание усилить аргумент фразой «по определению»? (Например — «Люди, по определению, уязвимы для болиголова»). Ну разумеется, в случае высказанных оппонентом сомнений по поводу предполагаемой характеристики (есть свидетели разговора между Сократом и знахарем) — поэтому может возникнуть желание затянуть оковы логики.

И когда вы видите такое использование «по определению», знайте, что на самом деле вам говорят что-то вроде «Забудьте лучше этот момент со знахарем, люди по определению смертны».

Люди чувствуют необходимость укрепить курс развития спора словами «Любое Р, по определению, обладает свойством Х!», именно в том случае, когда они видят и без промедления отбрасывают информацию, которая бросает тень сомнений на оригинальный вывод, основанный на кластерах.

Это же касается и аргументов вроде «Х, по определению, — У». Например, «Атеисты верят, что Бога нет; следовательно, они имеют убеждение о Боге, потому что неверие это тоже убеждение; следовательно, атеизм дает ответы на теологические вопросы; следовательно, атеизм, по определению, — религия».

Вам не нужно было бы убеждать нас, что индуизм — это религия, потому что индуизм это, вроде как, и есть религия. И не просто «религия по определению», а настоящая религия.

Атеизм не похож на центральных представителей кластера «религия», поэтому, если бы он не был религией «по определению», вы могли бы воображать себе, что он религией не является. Поэтому вам и приходится давить оппозицию, указывая на то, что «атеизм — это религия» верно по определению, потому что это неверно в любом другом контексте.

То есть люди настаивают на том, что «Х по определению У!» именно в тех случаях, когда они пытаются протащить не указанную прямо в определении характеристику У, а Х не слишком похож на представителей кластера У.

В течение последних тринадцати лет я старался отмечать случаи корректного использования фразы «по определению», не утруждаясь ведением статистики, разумеется. На основе такого поверхностного взгляда я могу сделать вывод, что использование этой фразы где-либо за пределами математики является одним из ярчайших сигналов дефектного аргумента из тех что я видел. Он стоит рядом с «Гитлер», «Бог», «абсолютно уверен» и «ты не можешь доказать это».

Эта эвристика определения такого режима провала не идеальна — впервые я видел корректное употребление этой фразы за пределами математики — у Ричарда Фейнмана; и с тех пор видел еще. Но вам, скорее всего, стоит просто стереть из своего словарного запаса эту фразу и сохранять бдительность, особенно если вам захочется употребить ее с восклицательным знаком или выделить курсивом. Ведь это, по определению, плохая идея!

Перевод: 
Muyyd
Номер в книге "Рациональность: от ИИ до зомби": 
172
Оцените качество перевода: 
Средняя оценка: 3.8 (12 votes)

Где проводить границу?

Элиезер Юдковский

Представьте, что вам кто-то сказал:

Долго я размышлял о том, что же значит слово «искусство», и, наконец нашёл вроде бы устраивающее меня определение: «Искусство - это то, что предназначено для создания реакции аудитории».

Из существования слова «искусство» не следует существование его смысла, витающего где-то там в пустоте, которое вы можете открыть, подобрав правильное определение.

Хоть так и кажется, но это не так.

Гадая о том, какое определение дать слову, вы подходите к решению задачи не с той стороны — ищите таинственную эссенцию того, что на самом деле является коммуникационным сигналом.

Разумеется, тут есть место и для задачи, которую рационалист может обоснованно атаковать, но эта задача не в том, чтобы найти слову устраивающее определение. Настоящую задачу можно решать в одиночку, не проронив ни слова вслух. Задача в том, чтобы найти, какие вещи подобны друг другу, какие вещи принадлежат к одному кластеру, и иногда — какие вещи имеют одну и ту же причину.

Если вы определите «электромагнетизм», включив молнию, компас, исключив свет, но включив «животный магнетизм» Месмера (что мы теперь зовем гипнозом), то столкнетесь с проблемой, отвечая на вопрос «как электромагнетизм работает?». Вы скучили вместе вещи, которые располагаются на удалении, и исключили те, которые действительно принадлежат к набору. (Этот пример вполне вероятен - Месмер был до Фарадея).

Можно сказать, что электромагнетизм — неподходящее слово, граница в пространстве вещей, обтекающая и проникающая в кластеры, разрез реальности не по месту естественного соединения частей.

Придумать, где именно разрезать реальность, так чтобы разрез был по месту соединения частей — достойная рационалиста задача. Это то, что людям бы следовало делать, когда они начинают искать плавающую в пустоте эссенцию слова.

Но не стоит себя обманывать. Эта задача может быть и на уровне научной проблемы, если надо догадаться, что дыхание и огонь описываются одним словом. Так что не стоит обращаться за решением к редакторам словарей — у них есть своя работа.

Что такое «искусство», если не эссенция слова, витающая в пустоте?

Предположим, что вы составили длинный список того, что вы готовы и не готовы назвать «искусством».

Маленькая фуга до минор — искусство.
Удар в нос — не искусство.
«Относительность» Эшера — искусство.
Цветок — не искусство.
Язык программирования Python — искусство.
Распятье, плавающее в моче — не искусство.
Новеллы Джека Вэнса «Тщай» — искусство.
Современное Искусство — не искусство.

И вот вы мне говорите: «Мне эта граница кажется интуитивно понятной, но не знаю почему — помоги мне найти интенсионал для этого экстенсионала? Дай мне простое описание этой границы».

Я отвечаю: «Думаю, это связано с восхищением искусной работой. Работа на входе, на выходе — диво. Вещи из списка связаны через похожие эстетические переживания, которые они вдохновляют, и направленный на вызов этих переживаний человеческий труд».

Полезно ли это или это лишь нарушение принципов «табу»? Я бы сказал, что список переживаемых эмоций сильней концентрирует массу вероятности, чем список всего что является/не является искусством. Вы можете наблюдать «вспышки» эмоций на ФМРТ — т.е. эмоции далеко не эфемерны.

Но дело, разумеется, не в определении искусства. Дело в том, что вы можете оспорить экстенсионалы или интенсионалы моего определения.

Вы можете сказать мне: «Эстетические переживания — не то, что объединяет эти вещи. Их объединяет намерение вдохновить любую сложную эмоцию просто ради ее вдохновения». И это будет попыткой оспорить мой интенсионал, мою попытку очертить границу через опорные координаты.

Вы можете сказать: «Твое уравнение примерно эти точки описывает, но не подходит под настоящее общее распределение».

Или вы можете оспорить мой экстенсионал, сказав: «Некоторые их этих вещей действительно близко связаны, я вижу к чему ты ведешь, однако язык Python тогда не должен быть в списке, а Современное Искусство должно». (Это позволит предположить, что вы — лишь легко внушаемый простак, что тоже можно оспорить.) Важный момент: презумпция кривой, генерирующей этот список подобных и не подобных вещей, — схема и основания, пусть вы и не сказали каковы они, но вы видите, как я потерял нить и включил координаты, сгенерированные другим способом.
Задолго до того, как вы поймете, что объединяет электричество и магнетизм, вы начнете сомневаться, основываясь лишь на поверхностных наблюдениях, в том, что «животный магнетизм» действительно входит в список.

Давным-давно люди думали, что слово «рыба» включает в себя дельфинов. Вы, конечно, можете включить искусного спорщика и сказать: «Мой список: {лосось, гуппи, акула, дельфин, форель} — всего лишь список. Ты не можешь сказать, что список неверен. Я, с помощью теории множеств, могу доказать, что такой список существует. Так что мое определение «рыб», являющееся лишь экстенсиональным списком не может быть «неверным», что бы ты мне ни говорил».

Или же вы можете прекратить дурацкие игры и признать, что дельфинам не место в этом списке.

Итак, вы составили список вещей, которые, как вам кажется, подобны друг другу. И попробовали догадаться почему они подобны. Но когда вы обнаружите, что же они действительно имеют общего, может оказаться, что ваши догадки были неверными, как и ваш список.

Вам не спрятаться под щитом «верно-по-определению». И экстенсиональное, и интенсиональное определения могут быть неверными, могут разрезать реальность не по месту соединения частей.

Классификация — занятие без гарантий, в котором вы вполне можете понаделать ошибок. Так что, с чисто теоретической точки зрения, полезно будет признать, что ваши догадки-определения могут быть «ошибочными».

Перевод: 
Muyyd1, Rina_B .
Номер в книге "Рациональность: от ИИ до зомби": 
173
Оцените качество перевода: 
Средняя оценка: 4 (6 votes)

Энтропия и короткие сообщения

Элиезер Юдковский

Предположим, у нас есть система Х, которая с одинаковой вероятностью может находиться в любом из 8 возможных состояний:

$$ {X_1, X_2, X_3, X_4, X_5, X_6, X_7, X_8} $$

Есть такая экстраординарно распространенная мера, — в физике, математике и даже биологии — называется она «энтропия». И энтропия Х составляет 3 бита. Это значит, что для выяснения состояния Х нам в среднем понадобится 3 да/нет вопроса. Например, кто-то может нам рассказать о значении Х с помощью такого кода:

$$ (X_1:001) (X_2:010) (X_3:011) (X_4:100) $$

$$ (X_5:101) (X_6:110) (X_7:111) (X_8:000) $$

Так что если я спросил бы «Первый символ — 1?» и получил бы ответ «Да»; «Второй символ — 1?» и услышал бы «Нет»; «Третий символ — 1?» — «Нет»; то я бы знал, что Х находится в состоянии 4.

Теперь предположим, что у системы Y есть четыре возможных состояния с таким распределением вероятностей:

$$ Y_1: 1/2 \;(0,5) $$
$$ Y_2: 1/4 \;(0,25) $$
$$ Y_3: 1/8 \;(0,125) $$
$$ Y_4: 1/8 \;(0,125) $$

Тогда энтропия Y будет равна 1,75 бит, что значит нам понадобится 1,75 вопросов в среднем, чтобы узнать значение Y.

В каком смысле можно задать один и три-четвертых вопроса? Представьте, что мы используем следующий код для описания состояния Y:

$$ (Y_1:1) (Y_2:01) (Y_3:001) (Y_4:000) $$

Сначала вы спросите «Первый символ — 1?», и если ответ «Да», то задача решена: Y находится в состоянии 1. И такое происходит в половине случаев — состояние Y можно вычислить с помощью одного вопроса.

Предположим, что вы получили ответ «Нет». Тогда вы спрашиваете: «Второй символ — 1?». Если ответ «Да», то вы закончили: Y находится в состоянии 2. И это происходит с вероятностью в 1/4, и каждый раз, когда Y в состоянии 2, мы можем узнать это с помощью двух да/нет вопросов — в 25% случаев понадобится два вопроса для определения состояния Y.

Если же вы получили ответ «нет» два раза подряд, и, спросив «Третий символ — 1?», получили ответ «Да», то задача решена и Y в состоянии 3; если нет, то Y в состоянии 4. В 1/8 случаев Y в состоянии 3 и понадобится три вопроса. И в 1/8 случаев Y в состоянии 4 и понадобится три вопроса.

$$ (1/2 \cdot 1) + (1/4 \cdot 2) + (1/8 \cdot 3) + (1/8 \cdot 3) = 0,5 + 0,5 + 0,375 + 0,375 = 1,75. $$

Общая формула определения энтропии системы S это сумма по всем $ S_i $: $ - p(S_i) \cdot log_2 p(S_i) $.

Например, $ log_2 $ числа 1/8 — это −3. Получается $ -(1/8 \cdot -3) = 0,375 $ — часть энтропии состояния 4 от всей энтропии системы Y — три вопроса.

Закодировать любую систему идеальным кодом получится не всегда, но если вам потребуется передать кому-то сообщение о состоянии случайного количества копий S за один раз, вы можете приблизиться к идеальному коду на случайную величину. (Гуглите «арифметическое кодирование»).

Конечно, вы можете спросить: «Почему бы не закодировать Y4 с помощью 10 вместо 000? Так ведь будет быстрей?»

Но если вы используете 10 для Y4 и получите ответ «да» на вопрос «первый символ 1?», то у вас все еще останется неопределенность: Y1 (1) или Y4 (10). Даже больше, если вы измените код таким образом, вся система полетит к чертям — услышав «1001» вам останется только гадать — «Y4 и Y2» или «Y1 и Y3».

Мораль в том, что короткие слова — ограниченный ресурс.

Ключевой момент в создании хорошего кода, который позволит передавать сообщения максимально компактно, в использовании коротких слов для того, о чем вы будете говорить часто, а длинных — для того, о чем реже.

На своем пике это искусство позволяет добиться почти идеального соответствия между длиной сообщения и вероятностью. Это так называемое «Сообщение минимальной длины» или «Минимальная длина описания», формализация бритвы Оккама.

Так что даже используемые нами ярлыки для слов не совсем случайны. Звуки, которые мы привлекаем для ссылок на идеи могут быть лучше или хуже, мудрей или глупей. И это независимо от традиционного понимания!

Я говорю это все потому, что идея «Вы можете Х так как вам заблагорассудится» сильно мешает понять, как делать Х с умом. «Это свободная страна, и я имею право на свое мнение» стоит на пути у искусства поиска истины. «Я могу определить слово так, как захочу» — стоит на пути разделения реальности на естественные составные части. И даже кажущееся разумным «Прикрепленные к словам ярлыки случайны» стоит на пути осведомленности о компактности. Стихосложения тоже, если уж говорить об этом, — Толкиен однажды заметил, как красиво звучит фраза «cellar door»; таков уровень осведомленности нужен, чтобы использовать язык как Толкиен.

Длина слов так же играет нетривиальную роль к когнитивной науке языка:

Давайте рассмотрим слова «сиденье», «стул» и «обстановка»1. «Сиденье» — более специфическая категория, чем «стул»; «обстановка»— более общая. Но большая часть стульев объединена сходными способами их использования — похожие движения, чтобы сесть или встать, похожие причины для сидения — отдых, принятие пищи, чтение. «Сиденья» в этом отношении тоже не слишком отличаются. «Обстановка» же включает в себя вещи вроде кроватей, столов, по-разному использующихся и требующих разных телодвижений.

В терминологии когнитивной психологии «стул» относится к базовым категориям.

У людей есть привычка говорить и, предположительно, думать на базовом уровне категоризации. Проводить границы вокруг «стульев», чем вокруг более конкретной категории «сидений», или же вокруг более общей категории «обстановки». Человек скорее предложит присесть на стул, чем сесть на сидение или посидеть на обстановке.

Так что тут нет совпадения относительно длины этих слов. Базовые категории обычно имеют более короткие названия, и существительные с короткими названиями обычно относятся к базовым категориям. Это не универсальный лингвистический закон, но такая тенденция определенно присутствует. Частое употребление сопутствует коротким словам, а короткие слова — частому употреблению.

Или же как выразил это Дуглас Хофштадтер, есть причины на то, чтобы в английском языке «the» означало «the», а «antidisestablishmentarianism» использовалось для «antidisestablishmentarianism», а не наоборот.

  • 1. В оригинале «”recliner”, ”chair”, and ”furniture”». — Прим.перев.
Перевод: 
Muyyd
Номер в книге "Рациональность: от ИИ до зомби": 
174
Оцените качество перевода: 
Средняя оценка: 3.8 (8 votes)

Общая информация и плотность в пространстве вещей

Элиезер Юдковский

Предположим, у вас есть система $Х$, которая может находиться в одном из 8 состояний и все они равновероятны (относительно того, что вы о них знаете на данный момент), и система $Y$ с 4 равновероятными состояниями.

Энтропия $Х$, как следует из рассказанного вчера — 3 бита; нам потребуется задать 3 да/нет вопроса, чтобы точно узнать состояние $Х$. Энтропия $Y$, как следует из рассказанного вчера — 2 бита; нам потребуется задать 2 да/нет вопроса. Это может показаться очевидным (с учетом того, что $2^3=8$ и $2^2=4$ — три вопроса помогут выявить правду между 8 возможными вариантами, а 2 между 4), но хочу напомнить, что если бы вероятности не были бы равными, мы смогли бы использовать более хитрый код для обнаружения, например, состояния $Y$ (1,75 вопросов в среднем). Но раз уж для Х и Y вероятности распределены равномерно, схитрить у нас не получится.

Какова общая энтропия объединенной системы $(X,Y)$?

Возможно вам придет в голову ответ: «Для $X$ потребует 3 вопроса, для $Y$ — 2, так что нам потребуется задать всего 5 вопросов, чтобы узнать $(X,Y)$».

Но что если эти две переменные связаны и, узнав что-то о $Y$, мы узнаем кое-то и о $X$?

В данном случае предположим, что обе переменные либо четные либо нечетные.

И если мы получим сообщение в 3 бита (получим 3 ответа), узнаем, что $Х$ находится в состоянии 5, то будем знать, что $Y$ либо в состоянии 1 либо в 3, но не в 2 или 4. Так что лишь один вопрос «$Y$ в состоянии 3?» и ответ «нет» понадобится нам, что бы знать состояние объединенной системы $$(X,Y): X=X5, Y=Y1$$ И обнаружили мы это с помощью 4 вопросов.

Точно так же, если мы узнаем, что $Y$ в 4 состоянии, с помощью 2 вопросов, то нам понадобится лишь два вопроса, чтобы узнать, в каком из состояний $(2,4,6,8)$ находится $Х$. Опять же, лишь 4 вопроса, чтобы узнать состояние связанной системы.

Общая энтропия двух переменных определяется как разность между энтропией независимых систем и энтропией связанной системы :$$ I(X;Y) = H(X) + H(Y) - H(X,Y)$$

В данном случае между системами есть 1 бит общей информации. Узнав $Х$, мы получаем 1 бит информации о $Y$ (что сокращает пространство возможностей с 4 до 2, снижает размер в два раза). А информация о состоянии $Y$ сокращает пространство возможностей с 8 до 4.

Но как насчет случаев, где масса вероятности распределена не равномерно? Вчера, например, мы обсуждали случай $Y$, где вероятности были распределены как $1/2$, $1/4$, $1/8$, $1/8$ для 4 возможных состояний. Давайте условимся, что так будет выглядеть распределение вероятностей для $Y$, если мы будем рассматривать $Y$ независимо. Как если бы мы знали $Y$ и больше ничего. И введем еще переменную $Z$ с 2 возможными состояниями, с вероятностями $3/8$ и $5/8$.

В таком случае, только в том случае, когда объединенное распределение между этими переменными выглядим как описано ниже, — между ними нет общей информации:

$$(Z1Y1: 3/16) (Z1Y2: 3/32) (Z1Y3: 3/64) (Z1Y3: 3/64)$$

$$(Z2Y1: 5/16) (Z2Y2: 5/32) (Z2Y3: 5/64) (Z2Y3: 5/64)$$

Это распределение подчиняется закону:

$$P(Y,Z) = P(Y)P(Z)$$

Например,$$ P(Z1Y2) = P(Z1)P(Y2) = 3/8 * 1/4 = 3/32$$

Заметьте, что мы можем узнать маргинальные (независимые) вероятности $Y$ и $Z$ просто посмотрев на объединенное распределение:

$P(Y1)$ — полная вероятность всех возможных состояний $Y1$ в общем распределении:

$$P(Y1) = P(Z1Y1) + P(Z2Y1) = 3/16 + 5/16 = 1/2$$

Так что просто проанализировав общее распределение, мы можем определить являются ли маргинальные переменные $Y$ и $Z$ независимыми; т.е. когда объединенное распределение разлагается на маргинальные распределение — когда для всех $Y$ и $Z$ $P(Y,Z) = P(Y)P(Z)$.

И это важно, ведь в соответствии с теоремой Байеса:

$$P(Yi,Zj) = P(Yi)P(Zj)$$

$$P(Yi,Zj)/P(Zj) = P(Yi)$$

$$P(Yi|Zj) = P(Yi)$$

Что можно выразить словами: после того, как мы узнали состояние $Zj$, наше знание о $Yi$ никак не изменилось.

Так что когда распределение разлагается, когда $P(Y,Z) = P(Y)P(Z)$, то это равноценно тому, что мы, узнав о $Y$, не получим никакой информации о $Z$, и наоборот.

И зная это, вы можете, совершенно справедливо, начать подозревать, что между $Y$ и $Z$ нет общей информации. А там где нет общей информации, нет и байесианских свидетельств и наоборот.

Предположим, что в вышепоказанном распределении $YZ$ мы будем рассматривать каждое возможное сочетание $Y$ и $Z$, как отдельное событие — так что это распределение будет иметь всего 8 возможных вариантов с уже известными вероятностями, тогда мы сможем вычислить энтропию $YZ$ точно так же, как и в прошлый раз:

$$3/16∗ log2(3/16) + 3/32∗ log2(3/32) + 3/64∗ log2(3/64) + … + 5/64∗ log2(5/64))$$

У вас получится тот же ответ, как если бы вы отдельно посчитали энтропии систем, а затем сложили бы их. Поскольку между системами нет общей информации, наша неопределенность относительно состояния совмещенных систем точно такая же, как и относительно суммы взятых отдельно. (Вычисления я тут показывать не стану — вы и сами можете это сделать, что касается доказательства — ищите «энтропию Шеннона» («Shannon entropy») или «общую информацию» («mutual information»).)

Но что если объединенное распределение не разлагается? Например:

$$(Z1Y1: 12/64) (Z1Y2: 8/64) (Z1Y3: 1/64) (Z1Y4: 3/64)$$

$$(Z2Y1: 20/64) (Z2Y2: 8/64) (Z2Y3: 7/64) (Z2Y4: 5/64)$$

Если вы сложите объединенные вероятности, чтобы получить маргинальные, вы обнаружите, что $P(Y1) = 1/2, P(Z1) = 3/8$, и так далее — маргинальные вероятности такие же, как и раньше.

Но объединенные вероятности не всегда равны сумме маргинальных. Например, вероятность $P(Z1Y2) = 8/64$, где $P(Z1)P(Y2)$ будут $3/8 * 1/4 = 6/64$. Т.е. вероятность встретить $Z1Y2$ выше, чем мы бы ожидали, просто учитывая вероятности $Z1$ и $Y2$ отдельно.

Что в свою очередь подразумевает:

$$P(Z1Y2) > P(Z1)P(Y2)$$

$$P(Z1Y2)/P(Y2) > P(Z1)$$

$$P(Z1|Y2) > P(Z1)$$

И раз тут «необычайно высокая» вероятность $P(Z1Y2)$ определена как более высокая, чем можно предположить, отдельно рассмотрев маргинальные, можно сделать вывод, что наблюдение $Y2$ увеличит вероятность наблюдать $Z1$ и наоборот.

Поскольку есть какие-то состояния $Y$, дающие нам информацию и о $Z$ (и наоборот), между ними должна быть общая информация, что вы и обнаружите — я уверен, хоть и не проверял — в результате вычисления энтропии $YZ$ вы получите меньше неопределенности, чем в результате вычисления отдельно $Y$ и $Z$. $H(Y,Z) = H(Y) + H(Z) - I(Y;Z)$ будут все больше нуля с логической необходимостью.

(Отступлю немного от темы для небольшого замечания. Симметрия общей информации показывает, что $Y$ сообщает нам столько же о $Z$, в среднем, сколько $Z$ об $Y$. В качестве упражнения для читателей я оставлю сопоставление этого и того, что рассказывают на курсах по логике. Что из того, что все вороны черные, следует что все вороны черные, но не следует, что все черные штуки — вороны. Насколько отличается симметричное движение вероятностей байесианства от угловатой логики, даже несмотря на то, что последняя — лишь вырожденная версия первого?)

И тут вы спросите: «Какое все это имеет отношение к правильному использованию слов?»

В «Пустых ярлыках» и «Замени символ на суть», вы видели пример замены слова его определением с примером:

Все [смертные, ~без перьев, двуногие] смертны

Сократ [смертен, ~без перьев, двуногий]

Следовательно, Сократ смертен

Так зачем же нам нужно слово «человек»? Почему бы просто не сказать «Сократ смертный, без перьев и двуногий»?

Потому что полезно иметь короткие слова для часто встречающихся штук. Если ваш код для отдельных характеристик уже эффективен, то вы не получите никакого преимущества от введения специального слова для конъюнкции: например, «человек» для «смертный, без перьев, двуногий», разве что смертные штуки, штуки без перьев и двуногие штуки встречаются в реальности чаще, чем стоило бы ожидать лишь на основе маргинальных вероятностей.

В эффективных кодах длина сообщения соответствует вероятности, т.е. код для $Z1Y2$ будет такой же длины, как и сумма кодов $Z1$ и $Y2$, разве что $P(Z1Y2) > P(Z1)P(Y2)$, тогда код для $Z1Y2$ будет короче, чем сумма отдельно взятых кодов.

Это как раз соответствует ситуации, где мы можем сделать вывод об одних характеристиках вещи, пронаблюдав наличие у нее других. Для этого вероятность, что двуногие без перьев окажутся смертными, должна быть более дефолтной.

Разумеется, слово «человек» описывает очень много свойств. Когда вы видите сущность человеческой формы, которая говорит и носит одежду, то можете предположить множество биохимических, анатомических и когнитивных фактов о ней. Чтобы заменить «человек» на описание всего, что мы можем сказать о людях, нам потребуется запредельно много времени. Но это так лишь потому, что говорящие штуки с двумя ногами и без перьев более вероятны, чем маргинальные вероятности позволят предположить, уязвимы для болиголова, или имеют плоские ногти, или сверхуверенны.

Наличие одного слова для вещи вместо перечисления ее свойств позволяет сделать код компактней именно в тех случаях, когда можно предположить наличие одних свойств, основываясь на наблюдении других. (За исключением таких базовых слов как «красный», которое может быть использовано для передачи несжатого описания нашего сенсорного переживания. Но уже в случае с жуком или камнем, мы будем иметь дело со сложными совокупностями свойств, намного превышающими базовый уровень.)

Поэтому наличие слова «виггин» для зеленоглазых черноволосых людей полезней, чем просто «зеленоглазые черноволосые люди», именно тогда:

  1. Когда зеленоглазые люди, в среднем, более вероятно являются еще и черноволосыми (и наоборот), т.е. мы можем сделать вероятностный вывод о «зеленоглазости», после наблюдения «черноволосости» и наоборот.

  2. Или же когда виггины имеют другие свойства, о которых можно сделать вероятностное предположение с большей, чем сумма маргинальных, вероятностью. В данном случае нам потребуется независимо проследить за наличием черных волос и зеленых глаз, а затем можно сделать вероятностный вывод о других свойствах (вроде пристрастия к кетчупу).

Можно даже рассматривать наличие слова как своего рода обещание. Сказать кому-то «Я определяю слово «виггин» как человека с черными волосами и зеленым глазами», в соответствии с импликатурой Грайса, значит пообещать, что слово «виггин» каким-то образом поможет предположить зависимость между черными волосами и зелеными глазами и укоротить код.

Если зеленые глаза и черные волосы не встречаются с большей, чем сумма маргинальных, вероятностью, или же никакое другое свойство не встречается чаще в сочетании с этим цветом волос и цветом глаз, то слово «виггин» является ложью. Оно утверждает, что определенных людей стоит выделять в группу, а они группой не являются.

В данном случае слово «виггин» не помогает более компактно описывать реальность, ведь оно не предназначалось как помогающее сократить длину сообщения. Тогда ему не место в массиве простых объяснений. Точно так же «виггин» не поможет сделать байесианский вывод. Даже если вам неудобно называть слово «ложью», оно, как минимум, — ошибка.

Разрезать реальность по месту естественного соединения частей — проводить границы вокруг необычно плотно сконцентрированных вероятностей в пространстве вещей.

Перевод: 
Muyyd
Номер в книге "Рациональность: от ИИ до зомби": 
175
Оцените качество перевода: 
Средняя оценка: 3.9 (7 votes)

Суперэкспоненциальное пространство концептов и простые слова

Элиезер Юдковский

Вы, наверное, уже задумывались о том, что пространство вещей довольно велико. Оно гораздо больше, чем реальность, которая содержит только то, что на самом деле существует. Пространство вещей содержит всё, что могло бы существовать.

В действительности, поскольку я «определил» пространство вещей так, что в нём есть размерности для всех возможных свойств — включая связанные друг с другом свойства, например, плотность, объём и массу — для пространства вещей крайне сложно определить что-то, что можно назвать «размером». Однако, важно уметь представлять пространство вещей хоть как-нибудь. Уверен, совершенно никто не в состоянии понять стаю воробьёв, если он видит лишь облако машущих крыльями чирикающих существ вместо кластера точек в пространстве вещей.

Но пространство вещей всё равно не сравнится с пространством концептов.

В машинном обучении концепт — это правило, согласно которому включаются или исключаются примеры. Если вы видите данные {2:+, 3:-, 14:+, 23:-, 8:+, 9:-}, возможно, вы предположите, что концепт — это «чётные числа». Существует довольно много литературы (что неудивительно) о том, как по данным получать концепты. Учитывая случайные примеры, учитывая выбранные примеры. Учитывая возможные ошибки классификации. И что самое важное, учитывая различные пространства возможных правил.

Например, предположим, что мы хотим получить концепт «хороший день для игры в теннис». Возможные свойства сущности День:

Облачность: {Ясно, Пасмурно, Дождевые облака}
Температура воздуха: {Тепло, Холодно}
Влажность: {Нормальная, Высокая}
Ветер: {Сильный, Слабый}

Теперь предположим, что у нас есть следующие данные, где «+» означает, что набор удовлетворяет правилу, а «-» — что не удовлетворяет.

+ Облачность: Ясно; Температура воздуха: Тепло; Влажность: Высокая; Ветер: Сильный.
- Облачность: Дождевые облака; Температура воздуха: Холодно; Влажность: Высокая; Ветер: Сильный.
+ Облачность: Ясно; Температура воздуха: Тепло; Влажность: Высокая; Ветер: Слабый.

Какой вывод должен сделать алгоритм из этих данных?

Обучающаяся машина может сформировать свой соответствующий данным концепт следующим образом:

{Облачность: ?; Температура воздуха: Тепло; Влажность: Высокая; Ветер: ?}.

Чтобы определить подходит ли какой-то пример данных или нет, мы сравниваем последовательно все элементы. ? означает, что подходит любое значение, но если какое-то конкретное значение задано, то подходит только оно.

То есть концепт выше примет только тот День, в котором Температура воздуха = Тепло и Влажность = Высокая. Переменные Облачность и Ветер могут принимать любые значения. Пока это согласуется со всеми данными, которые у нас есть. Хотя это далеко не единственный концепт, который подошёл бы нам .

Мы можем упростить запись концепта выше следующим образом:

{?, Тепло, Высокая, ?}

Если не вдаваться в детали, классический алгоритм можно записать так:

  • Поддерживать набор наиболее общих гипотез, соответствующих данным. Эти гипотезы должны положительно классифицировать как можно больше исходов, при этом не противореча фактам.
  • Поддерживать другой набор как можно более конкретных гипотез, соответствующих данным. Гипотезы в этом наборе должны отрицательно классифицировать как можно больше исходов, при этом не противореча фактам.
  • Каждый раз, когда мы наблюдаем отрицательный исход, мы усиливаем наиболее общие гипотезы как можно меньше, чтобы новый набор оставался как можно более общим и при этом не противоречил фактам.
  • Каждый раз, когда мы наблюдаем положительный исход, мы ослабляем наиболее конкретные гипотезы как можно меньше, чтобы новый набор оставался как можно более конкретным и при этом не противоречил фактам.
  • Продолжаем до тех пор, пока не останется одна гипотеза. Это и будет правильным решением — при условии, что правильное решение вообще попало в наше пространство гипотез.

В нашем примере набор наиболее общих гипотез выглядит так:

{{?, Тепло, ?, ?}, {Ясно, ?, ?, ?}},

при этом множество наиболее конкретных гипотез содержит единственный вариант {Ясно, Тепло, Высокая, ?}.

Любой другой концепт, который описывает данные, будет строго более конкретным, чем самая общая гипотеза, и строго более общим, чем самая конкретная гипотеза.

(Больше на эту тему можно прочитать в книге «Машинное обучение» Тома Митчелла1, из которой был взят и адаптирован пример выше.)

Возможно, вы уже заметили, что все возможные концепты в таком формате описать нельзя. Например, в нём нельзя описать концепт «играть в теннис, когда ясно или когда тепло». Этот концепт соответствует данным, но если мы пользуемся представлением, описанным выше, не найдётся набора из четырёх значений, который опишет такое правило.

Очевидно, наша обучающаяся машина не охватывает всю полноту концептов. Почему бы не позволить ей представлять вообще все возможные концепты, чтобы она могла обучаться максимально гибко?

Каждый день описывается четырьмя переменными. У одной из них три возможных значения, у трёх — два возможных значения. Итого у нас 3 × 2 × 2 × 2 = 24 возможных варианта дня.

Формат для представления концептов выше требует, чтобы мы указывали одно из значений переменной или оставляли его неизвестным. Таким образом мы можем описать 4 × 3 × 3 × 3 = 108 концептов. Чтобы работал алгоритм «наиболее-общий/наиболее-конкретный», необходимо начать с максимально конкретной гипотезы «ни один исход никогда не окажется положительным». Итого мы получаем 109 концептов.

Подозрительно ли, что возможных концептов больше, чем возможных дней? Абсолютно нет. Ведь концепт можно рассматривать как совокупность дней. Можно представлять концепт как набор дней, классифицированных положительно, или, что то же самое, как набор дней, классифицированных отрицательно.

Таким образом, пространство всех возможных концептов классификации дней содержит в себе множество всех возможных множеств дней и его размер $2^{24} = 16 777 216$.

Указанное пространство включает в себя все концепты, которые мы обсуждали до сих пор. Однако оно содержит и такие концепты как «положительно классифицировать только случаи {Ясно, Тепло, Высокая, Сильный} {Ясно, Тепло, Высокая, Слабый} и отвергать все остальные» или «отрицательно классифицировать только случаи {Дождевые облака, Холодно, Высокая, Сильный} и принимать все остальные». Также в это пространство входят концепты без компактного описания, то есть списки допустимых и недопустимых случаев.

В этом проблема создания сильной обучающейся машины: она не может изучить концепт, пока не рассмотрит каждый доступный случай пространства случаев.

Если мы добавим больше свойств для сущности День, например, «Температура воды» или «Прогноз погоды на завтра», то с увеличением числа свойств число возможных вариантов вырастет экспоненциально. В нашем случае с ограниченным пространством концептов это не проблема: большой набор вариантов можно сузить логарифмическим числом примеров.

Допустим, мы добавляем свойство Вода: {Тёплая, Холодная}. Число возможных вариантов дня увеличивается на 48, число возможных концептов — на 325. Допустим, примерно половина подходящих нам концептов классифицирует каждый наблюдаемый день положительно, а другая половина — отрицательно. В таком случае, классифицируя конкретный пример, мы сокращаем пространство подходящих концептов в два раза. То есть, чтобы сузить 325 концептов до одного, нам может хватить всего 9 примеров ($2^9 = 512$).

Даже если у дня будет сорок бинарных свойств, мы всё равно сможем сузить пространство концептов до одного с помощью относительно небольшого набора данных. Если каждый пример сокращает количество возможных вариантов вдвое, нам потребуется шестьдесят четыре примера. Конечно, при условии, что реальное правило представимо в нашем формате!

Однако, если вы захотите рассмотреть все возможные варианты правил, мне останется лишь пожелать вам удачи. Пространство допустимых концептов с ростом числа свойств растёт суперэкспоненциально.

В системе с сорока бинарными свойствами количество всех возможных состояний превышает триллион, а количество возможных концептов — два в триллионной степени. Чтобы сузить такое суперэкспоненциальное пространство концептов и понять, что было на входе и что на выходе, потребовалось бы рассмотреть триллион случаев. По сути, каждый возможный случай.

И это, напоминаю, сорок двоичных свойств. Сорок бит или пять байт с вариантами «Да» или «Нет». Сорок бит это $2^{40}$ возможных случаев и $2^{2^{40}}$ возможных концептов, согласно которым можно классифицировать каждый случай как положительный или отрицательный.

В повседневной жизни, чтобы описать объект, зачастую требуется больше 5 байт. Кроме того, у нас нет триллиона примеров для обучения, а в данных присутствует шум. О довольно привычных понятиях в таких условиях сложно даже подумать. Человеческий разум — и даже вся наблюдаемая Вселенная — недостаточно велики, чтобы рассмотреть все гипотезы.

С этих позиций, обучение не просто опирается на индуктивные эвристики отбора2, оно по сути целиком и полностью из них состоит. Сравните количество концептов, отброшенных априори и количество концептов, отброшенных на основании наличия свидетельств.

«Но какое это имеет отношение к использованию слов?», — спросите вы.

Смысл в том, что у слов есть как интенсионалы, так и экстенсионалы.

В прошлом эссе я подвел следующий итог:

Разрезать реальность по месту естественного соединения частей — проводить границы вокруг необычно плотно сконцентрированных вероятностей.

В это (немного отредактированное) утверждение я специально не вставил важное уточнение, потому что до настоящего момента я не мог его объяснить. Правильнее было бы сформулировать так:

Разрезать реальность по месту естественного соединения частей — проводить простые границы вокруг необычайно плотно сконцентрированных вероятностей в пространстве вещей.

Иначе можно нарезать пространство вещей произвольно. Создавать очень причудливые границы, в которые попадают не связанные друг с другом примеры, и получать множества, которые невозможно описать короче, чем перечислением их элементов. И после этого говорить: «Вот это я видел раньше и это ожидаю увидеть в будущем».

В реальном мире ничего выше уровня молекул не повторяется в точности. Сократ очень похож на всех уязвимых к болиголову людей, но не идентичен им. Поэтому предположение, что Сократ — «человек» основано на простых границах вокруг кластера людей в пространстве вещей. Мы не используем утверждения вида: «Вещи полностью соответствующие [спецификация 1 на пять мегабайт] с [описание множества характеристик] или полностью соответствующие [спецификация 2 на пять мегабайт] с [описание множества других характеристик] … — являются людьми».

Чтобы делать выводы из опыта, нужно внутри него проводить простые границы. Именно поэтому «искусство» описывают содержательными определениями вроде «нечто, созданное с намерением вызывать какие-то сложные эмоции ради самого вызывания эмоций» вместо указания на длинный перечень штук, являющихся или не являющихся искусством.

По сути, утверждение о разрезании реальности по месту естественного соединения частей немного походит на проблему курицы и яйца. Невозможно определить плотность наших наблюдений, пока не проведены хоть какие-то границы. Распределение вероятностей опирается на проведённые границы, а не наоборот. Ведь если бы у вас было распределение вероятностей, вы уже могли бы сделать необходимые выводы. Зачем тогда проводить границы?

А отсюда вытекает ещё одна — да, ещё одна — причина сомневаться в утверждении «можно определить слово как угодно». Учитывая суперэкспоненциальные размеры пространства концептов, очевидно, что выделение любого отдельного концепта и отбрасывание всех остальных — это акт немалой наглости. И не только для нас, но и для любого разума с ограниченными вычислительными способностями.

Определение слова «виггин» как «черноволосого зеленоглазого человека» без каких-либо оснований для выделения этого концепта в зону нашего внимание подобно поведению детектива, который сказал бы: «Итак, у меня нет никаких оснований делать какие-либо выводы о личности убийцы сирот… ни одной догадки… Давайте возьмём в качестве подозреваемого Джона К. Уиффлхайма, живущего по адресу Норкл роуд, 1234?»

  • 1. Tom M. Mitchell, Machine Learning (McGraw-Hill Science/Engineering/Math, 1997).
  • 2. В оригинале используется термин inductive bias. — Прим.перев.
Перевод: 
sepremento, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
176
Оцените качество перевода: 
Средняя оценка: 4.8 (5 votes)

Условная независимость и наивный Байес

Элиезер Юдковский

Ранее я называл общей информацией $I(X;Y)$ двух переменных $X$ и $Y$ разницу между энтропией составного распределения $H(X,Y)$ и суммарной энтропией частных распределений $H(X) + H(Y)$.

Я приводил пример с переменной $Х$, которая может принимать восемь состояний $X_{1}, …, X_{8}$ (эти состояния при отсутствии каких-либо свидетельств равновероятны) и переменной $Y$, принимающих четыре состояния $Y_{1}, …, Y_{4}$ (также равновероятных при отсутствии каких-либо свидетельств). Можно показать, что предельные энтропии $H(X)$ и $H(Y)$ равны 3 и 2 бита соответственно.

Однако нам известно, что $X$ и $Y$ либо одновременно чётные, либо одновременно нечётные. Таким образом, совместное распределение $(X,Y)$ содержит 16 равновероятных состояний, и энтропия этого распределения равна 4 битам. Это приводит к недостатку энтропии в 1 бит по сравнению с 5 битами $X$ и $Y$, будь они независимыми. Этот недостаток энтропии — общая информация: информация, которую $X$ сообщает нам об $Y$, и наоборот. Это уменьшает нашу неопределенность в знании одной переменной при получении знания о другой.

Но предположим, что существует переменная $Z$ с состояниями «чётно» и «нечётно», с идеальной корреляцией с четностью распределения $(X,Y)$. Иными словами, $Z$ — это просто вопрос: «являются ли $X$ и $Y$ чётными или нечётными?»

Если у нас нет свидетельств об $X$ и $Y$, то, с учётом известной информации, у $Z$ определённо 1 бит энтропии. Есть один бит общей информации между $Z$ и $X$, а также один бит общей информации между $Z$ и $Y$. Сколько получится энтропии у всей системы $(X, Y, Z)$? Можно наивно полагать, что
$$H(X,Y,Z) = H(X) + H(Y) + H(Z) − I(X;Z) − I(Z;Y) − I(X;Y),$$
но, оказывается, это не так.

Составная система $(X, Y, Z)$ обладает 16 возможными состояниями, поскольку $Z$ это лишь вопрос «Являются $X$ и $Y$ четными или нечетными?», поэтому $H(X,Y,Z) = 4$ бита.Но если посчитать согласно вышеприведённой формуле, получится
$$(3 + 2 + 1 − 1 − 1 − 1) бит = 3 бита = Неверно!$$
Почему? Потому что если есть общая информация между $X$ и $Z$, а также общая информация между $Z$ и $Y$, они могут содержать ту же общую информацию, которая появилась бы при подсчёте общей информации между $X$ и $Y$. Например, в нашем случае знание, что $X$ — чётно, приводит к знанию, что $Z$ — чётно, а это в свою очередь говорит нам, что $Y$ — чётно, но это та же самая информация, которую нам даёт $X$ о $Y$. Мы считаем одно и то же два раза, а потому энтропии оказывается слишком мало.

Правильная формула такова:
$$H(X,Y,Z) = H(X) + H(Y) + H(Z) − I(X;Z) − I(Z;Y) − I(X;Y|Z).$$

Последнее слагаемое $I(X;Y|Z)$ означает «информацию, которую $X$ несёт об $Y$, при условии, что $Z$ известно». В нашем случае $X$ не несёт какой-либо информации об $Y$, при условии, что $Z$ известно, поэтому слагаемое равно нулю, а уравнение даёт правильный результат. Ну вот, разве не прекрасно?

«Нет», — правильно ответите вы, — «ведь ты не сказал, как вычислить слагаемое $I(X;Y|Z)$, а лишь словесно описал, что оно должно быть равно нулю».

Мы вычисляем $I(X;Y|Z)$ уже привычным способом. Мы знаем, что $I(X;Y) = H(X) + H(Y) − H(X,Y)$, а поэтому
$$I(X;Y|Z) = H(X|Z) + H(Y|Z) − H(X,Y|Z).$$

А теперь вам должно быть интересно, как вычислить условную энтропию? Исходная формула для энтропии выглядит так:
$$H(S) = -\sum\limits_{i}p(S_{i})\log_{2}{p(S_{i})}$$

Если нам становится известен факт Z0, оставшаяся неопределенность относительно S окажется равна
$$H(S|Z_{0}) = -\sum\limits_{i}p(S_{i}|Z_{0})\log_{2}{p(S_{i}|Z_{0})}.$$

А значит, если нам становится известно что-либо о Z, то в среднем мы ожидаем вот такой неопределенности после этого знания:
$$H(S|Z) = -\sum\limits_{j}\left( p(Z_{j})\sum\limits_{i}p(S_{i}|Z_{j})\log_{2}{p(S_{i}|Z_{j})}\right).$$

Вот так считаются условные энтропии, из которых впоследствии можно извлечь условную общую информацию.

Существует огромное количество вспомогательных теорем вроде
$$H(X|Y) = H(X,Y) − H(Y)$$

и если $I(X;Z) = 0$ и $I(Y;X|Z) = 0$, то $I(X;Y) = 0$,

но я не стану вдаваться в подробности.

«Но», — спросите вы, — «какое отношение это имеет к природе слов и их скрытой байесианской структуре?»

Я несказанно рад вашему вопросу, ведь я собирался рассказать об этом независимо от вашего желания. Но вначале нужно проговорить ещё кое-что.

Следует запомнить — и как следует, — что между общей информацией и байесовским свидетельством есть связь. Общая информация положительна тогда и только тогда, когда вероятность хотя бы одного составного события $P(x,y)$ не равна произведению вероятностей событий по отдельности $P(x)P(y)$. Это, в свою очередь, эквивалентно наличию байесовского свидетельства между $x$ и $y$.

$$I(X;Y) > 0 =>$$
$$P(x,y) \neq P(x) \cdot P(y) $$
$$\frac{P(x,y)}{P(y)} \neq P(x)$$
$$P(x|y) \neq P(x)$$

При условии известного $Z$, уравнения можно переписать как:

$$I(X;Y | Z) > 0 =>$$
$$P(x,y|z) \neq P(x|z) \cdot P(y|z)$$
$$\frac{P(x,y|z)}{P(y|z)} \neq P(x|z)$$
$$\frac{(P(x,y,z) / P(z))}{(P(y, z) / P(z))} \neq P(x|z)$$
$$\frac{P(x,y,z)}{P(y,z)} \neq P(x|z)$$
$$P(x|y,z) \neq P(x|z)$$

Последняя строчка обозначает: «Даже при известном $Z$, знание $Y$ меняет наши представления об $X$»

И, наоборот, в нашем примере знание, что $Z$ чётно или нечётно экранирует $X$ от $Y$. Если мы знаем, что $Z$ — чётно, то информация $Y = Y_{4}$ не помогает нам узнать, в каком именно состоянии находится $X$: $X_{2}$, $X_{4}$, $X_{6}$, или $X_{8}$. Также, если мы знаем, что $Z$ — нечётно, то информация $X = X_{5}$ не несёт информации, находится ли $Y$ в состоянии $Y_{1}$ или $Y_{3}$. Знание $Z$ сделало $X$ и $Y$ условно независимыми.

Условная независимость — очень важное понятие в теории вероятностей. Кто-то даже утверждает, что без условной независимости у вселенной не было бы структуры.

В этом эссе, впрочем, я хочу поговорить лишь об одном виде условной независимости: случае, когда некая центральная переменная экранируется другими окружающими её переменными (получается что-то вроде тела с тентаклями).

Предположим, у нас есть пять переменных $U$, $V$, $W$, $X$ и $Y$, причём для каждой пары этих переменных, одна является свидетельством о другой. То есть, например, если взять пару $U$ и $W$, то знание $U = U_{1}$ изменит ваши убеждения о вероятности $W = W_{1}$.

Что это? Нераспутываемый клубок причин и следствий? Сумасшествие свидетельств? Не обязательно.

Представим, что $U$ — «умеет разговаривать», $V$ — «две руки и десять пальцев», $W$ — «носит одежду», $X$ — «умирает от болиголова», а $Y$ — «красная кровь». Теперь, если вы встретите в повседневной жизни нечто, что может быть яблоком, а может быть и камнем и узнаете, что оно говорит по китайски, вы обязаны присвоить большую вероятность гипотезе, что оно носит одежду. А если вы узнаете, что это нельзя отравить болиголовом, вы присвоите меньшую вероятность гипотезе красной крови.

Некоторые правила строже других. Пауль потерял палец во время извержения вулкана. Младенец Майкл пока не умеет говорить. IRC-бот Ирвин разговаривает, но у него нет крови. Знание о цвете крови, полученное из факта обладания разговорной речью, не экранируется от нас, если мы узнаем, что нечто не носит одежду. Тот, кто не носит одежду и при этом разговаривает, может оказаться нудисткой Нелли.

Этот пример гораздо интереснее, чем, например, случай с пятью целочисленными переменными, которые одновременно чётные или нечётные, но в остальном не связаны друг с другом. В случае с целочисленными переменными знание одной из них экранирует всё, что вторая переменная могла сказать о третьей.

Но в этом новом примере, как показывает случай с нудисткой Нелли, зависимости не исчезают, когда мы узнаём значение одной из переменных. То есть, это всё-таки нераспутываемый клубок причин и следствий?

Не бойтесь! Ведь может существовать шестая переменная $Z$, которая, если бы мы знали её значение, действительно экранировала бы любую пару переменных друг о друга. Может существовать — даже если нам придётся её создать самим, а не наблюдать напрямую — такая переменная, что:

$P(U|V,W,X,Y,Z) = P(U|Z)$
$P(V|U,W,X,Y,Z) = P(V|Z)$
$P(W|U,V,X,Y,Z) = P(W|Z)$

Возможно, при условии, что нечто является «человеком», вероятности, что оно говорит, носит одежду и обладает стандартным количеством пальцев являются независимыми. У Пауля нет пальца, но у него столько же шансов оказаться нудистом, как и у любого другого человека. Нелли никогда не носит одежду, но это знание не уменьшает вероятности владения ею разговорной речью. А малыш Майкл ещё не говорит, но все конечности у него на месте.

Это называется методом «наивного Байеса». Обычно он не совсем верен, но можно упростить вычисления, если вообразить его истинность. Мы не следим за влиянием ношения одежды на речевые способности, учитывая количество пальцев. Мы просто используем всю наблюдаемую информацию, чтобы оценить вероятность, что перед нами человек (или, наоборот, кто-то ещё — например, шимпанзе или робот). А затем мы применяем наши убеждения о центральном классе, чтобы предсказать то, что мы не наблюдаем: например, уязвимость к болиголову.

Любое наблюдение $U$, $V$, $W$, $X$ или $Y$ лишь является свидетельством переменной центрального класса $Z$, а затем мы используем апостериорное распределение $Z$ для необходимых нам предсказаний ненаблюдаемых переменных $U$, $V$, $W$, $X$ или $Y$.

Знакомо звучит? А должно бы:

Сеть 2

В сущности, если использовать правильные элементы сети, то такая «нейронная сеть» окажется математически эквивалентной наивному Байесу. Нужно лишь, чтобы у центрального элемента была логистическая функция активации, а веса у элементов на входе должны равняться логарифмам соотношений правдоподобия, ну и так далее. Можно даже предположить, что логистическая функция отклика в нейронных сетях так часто подходит в том числе именно потому, что она позволяет алгоритму немножко заниматься байесианскими рассуждениями, пока создатели не смотрят.

Если кто-то показывает вам алгоритм, называя его «нейронной сетью», и прибавляя загадочные слова вроде «неряшливый»1 и «эмерджентный», и при этом гордо заявляет, что невозможно понять, как обученная сеть работает, то не думайте, что этот малыш-ИИ действительно выходит за пределы царства логики. Потому что, в конце концов, если он работает, он окажется байесовой структурой, может даже точь-в-точь алгоритмом, называемым байесовским.

Даже если на первый взгляд он не похож на байесовский.

А потом, как известно, байесианцы начнут объяснять, как этот алгоритм работает, на каких предположениях он основывается, какие зависимости окружающей среды использует, где сработает, а где нет, и даже станут присваивать понятные значения весам натренированной сети.

Досадно, да?

  • 1. В оригинале scruffy. — Прим.перев.
Перевод: 
sepremento, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
177
Оцените качество перевода: 
Средняя оценка: 4.5 (2 votes)

Слова как мысленные кисти

Элиезер Юдковский

Представьте, что я скажу вам: «Удивительно — у светильников в этом отеле треугольные лампочки».

Может быть, вы это уже представили, может быть, нет. Если нет, сделайте это сейчас. Какими именно представляет ваш внутренний взор треугольные лампочки?

В частности, у них острые края или закруглённые?

Насколько мне позволяет судить интроспекция, когда у меня в голове впервые появилось словосочетание «треугольные лампочки» (нет, в отеле их не было), я сразу же увидел лампочку в виде пирамидки с острыми краями. Затем (практически мгновенно) грани сгладились, после чего мой мозг, в качестве альтернативы, выдал замкнутую трубку люминесцентной лампы в форме треугольника со скруглёнными краями.

Кажется, ни одной сформулированной/словесной мысли при этом задействовано не было. Лишь быстрая безмолвная реакция в ответ на воображаемый образ острого стекла, изъяны в форме которого были исправлены до того, как на ум пришло первое слово.

Можете не верить, но люди несколько десятилетий всерьёз спорили о том, можем ли мы создавать визуальные образы в своей голове на самом деле — например, можем ли мы по-настоящему мысленно увидеть изображение стула в каком-нибудь окружении, — или мы лишь наивно думаем, что можем (будучи обмануты этим «самонаблюдением», ужасной и запрещенной деятельностью), а на самом деле в нашем мозге просто активируется маленький ярлычок «стул», что-то вроде LISP токена.

Сейчас мне очень сложно удержаться от восклицаний вроде «Какая потрясающая нелепость». Такие восклицания — следствия ошибки знания задним числом. Но всё же: какая потрясающая нелепость.

Я думаю, подобная точка зрения в академической среде в значительной степени была безумным наследием бихевиоризма. Бихевиоризм отрицал существование мышления у людей и пытался объяснить все аспекты человеческого поведения (включая речь) «рефлексами». Скорее всего, о бихевиоризме стоит написать отдельно, как о своеобразном извращении рационализма. Но сейчас я пишу о другом.

«Ты называешь это предположение нелепым, — скажете вы, — но откуда ты можешь узнать, что твой мозг производит эти визуальные образы? Тебе достаточно того, что ты просто закрываешь глаза и видишь их?»

Сейчас ответить на этот вопрос проще, чем в те времена. Если вас не устраивает простое самонаблюдение и вы намерены проверить реальность мысленных образов «научно», вам понадобится вывести это из эксперимента. Например, покажите людям два предмета и спросите, можно ли один из них повернуть так, чтобы получить второй. Время ответа линейно зависит от необходимого угла поворота. Такой результат сложно объяснить, если вы только сверяете какие-то особенности изображений. Но если вы действительно представляете предмет в уме и непрерывно вращаете его с постоянной скоростью, то все сходится.

Сегодня мы можем увидеть настоящие нейрообразы небольших картинок из зрительной коры. Так что, да, ваш мозг реально воспроизводит детализированные визуальные образы того, что он видит или представляет. Советую книгу Стивена Косслина «Мозг и Образы: итоги споров о воображении»1.

Людям сложно использовать слова в том числе и потому, что они не понимают всю сложность, что таится за ними.

Вы можете представить «зелёную собаку»? Вы можете представить «сырное яблоко»?

«Яблоко» — это не просто последовательность из трёх слогов или шести букв. Последовательность из шести букв всего лишь тень. Лишь кончик от тигриного хвоста.

Слова, точнее понятия, скрывающиеся за ними, подобны кистям художника. Вы можете писать ими картины в вашем собственном воображении. Писать в буквальном смысле, если вы используете кисти идей, чтобы создать картину на холсте своей зрительной коры. Используя общие ярлыки, вы также можете схватить кисти в головах других людей и написать картины там. Например, набросать маленькую зелёную собачку на чьей-то зрительной коре.

Но, распространяя звуки через воздух или буквы через Интернет, не заблуждайтесь, будто именно звуки и буквы пишут картины в зрительной коре. Эта задача требует более сложных инструкций, чем могла бы вместить последовательность букв. «Яблоко» — это шесть байт, но написание натюрморта с яблоком с нуля потребовало бы гораздо больше данных.

«Яблоко» — это всего навсего ярлык, скреплённый с настоящей и невыразимой словами идеей яблока. Идеей, что может написать картину в вашей зрительной коре, или столкнуться с «сырностью», или распознать яблоко, когда оно будет перед вашими глазами, или почувствовать его образец в яблочном пироге, или даже запустить движение челюсти, привычное при поедании яблока…

И это не просто воспроизведение картинок из памяти. Иначе как вы могли бы визуализировать нечто вроде «треугольной лампочки», наложить треугольность на лампочку и совместить обе сущности, если никогда в своей жизни не видели ничего похожего?

Не совершайте той же ошибки, что и бихевиористы. Речь гораздо сложнее, чем просто звуки в воздухе. Ярлыки служат лишь указателями: «Ищите в сегменте памяти №1387540». Если у вас есть указатель, рано или поздно настанет время перейти по нему и действительно заглянуть в сегмент памяти №1387540.

На что слово указывает?

  • 1. Stephen M. Kosslyn, Image and Brain: The Resolution of the Imagery Debate (Cambridge, MA: MIT Press, 1994).
Перевод: 
Kath May
Номер в книге "Рациональность: от ИИ до зомби": 
178
Оцените качество перевода: 
Средняя оценка: 4.5 (6 votes)

Ошибка изменяемого вопроса

Элиезер Юдковский

Альберт: «Каждый раз, когда я слышал падение дерева, оно создавало звук, поэтому я считаю, что остальные деревья тоже создают звуки в процессе падения. Я не думаю, что мир ведёт себя по-разному в зависимости от того, смотрю я на него или нет».

Барри: «Секундочку! Если никто не может этого услышать, то как это может быть звуком?»

Иногда, когда я описываю диалог между Альбертом и Барри о том, создаёт ли звук падающее дерево в лесу, я замечаю, что уже не могу сопереживать моим героям. Я просто перестаю на интуитивном уровне понимать, откуда берутся такие споры, пусть я и наблюдал их многократно.

В такие минуты, чтобы заново вернуть себе это чувство возмущения, я повторяю себе: «Падающее дерево либо производит звук, либо нет!»

Для произвольного высказывания P на привычном нам языке, выражение (P или ¬P) не всегда оказывается надежной эвристикой. Высказывание «Это высказывание ложно» невозможно считать ни истинным, ни ложным. А ведь ещё можно вспомнить старое доброе: «Вы перестали бить свою жену, да или нет?»

У математика, который верит в классическую (а не интуитивную) логику, есть способы всё равно настаивать на том, что (P или ¬P) — это теорема. Например, можно заявить, что «это высказывание ложно» — не высказывание.

Однако все такие способы достаточно нетривиальны, и этого достаточно, чтобы показать, что не всё так просто. Нельзя просто сломя голову нестись с фразой «либо это есть, либо этого нет!»

Так производит падающее дерево звук или нет, или…?

Конечно, 2 + 2 либо равняется Х, либо нет? Возможно и так, если не меняется Х, не меняется 2, и не меняются + и =. Если же Х иногда оказывается равным 5, а иногда — 4, ваше возмущение может оказаться неуместным.

Чтобы утверждать, что (P или ¬P) обязано быть правдой, символ P должен обозначать одно и то же в обеих частях дилеммы. «Либо падение производит звук, либо нет!» — но если Альберт::звук не то же самое, что и Барри::звук, нет ничего парадоксального в том, чтобы дерево производило Альберт::звук, но не Барри::звук.

(Использование :: во избежание путаницы в пространстве имен вошло у меня в привычку со времен использования C++. Если есть две разных библиотеки, определяющие класс Звук, можно писать Библиотека1::Звук, уточняя, какой именно Звук имеется в виду. К сожалению, такая практика, кажется, не слишком распространена. Мне часто хочется использовать её при письме.)

Различие может быть очень тонким: Альберт и Барри могут тщательно проговорить, что речь идёт об одном и том же дереве, в том же самом лесу, падение то же самое и убедиться, что их разногласия касаются одного и того же события. И при этом не проверить, обсуждают ли они одно и то же понятие.

Вспомните продуктовый магазин, в который вы чаще всего заходите. Он на левой стороне улицы или на правой? Но, разумеется, никакой «левой стороны» улицы нет, есть только левая сторона для вас по мере движения в каком-нибудь направлении. Многие слова, которые мы используем, по сути являются функциями неявно заданных переменных, полученных из контекста.

Это явление называется «дейксис говорящего». И решить эту задачу для создания искусственного интеллекта, который должен обрабатывать естественный язык, ужасно сложно.

«Мартин сказал Бобу, что здание слева от него». Но «слева» — это слово-функция. И эта функция вычисляется, исходя из значения обусловленной говорящим человеком переменной, которая незаметно извлекается из контекста. Чьё «слева» имеется в виду, Боба или Мартина?

Переменные в ошибке изменяемого вопроса часто сложно заметить. Ситуации из жизни обычно сложнее, чем: «То есть, ты думаешь, что Z + 2 равно 6?»

Если путаница в пространстве имён приводит к тому, что два разных понятия выглядят единым, потому что они называются одинаково, или сжатая карта показывает два разных события как одно, потому что для них есть только один файл в голове, или одна и та же функция возвращает разный результат в разном контексте, то сама реальность становится изменчивой. По крайней мере, так алгоритм ощущается изнутри. Сознание видит только карту, но не саму территорию.

Если вы столкнулись с вопросом, в котором есть скрытая переменная, и в разных контекстах у вас получаются разные выражения, кажется, что реальность нестабильна сама по себе. Картина, которую вы видите своим разумом, меняется в зависимости от направления взгляда.

Студенты (и профессоры-постмодернисты) часто теряются, когда обнаруживают предложение с более чем одним способом интерпретации. Им кажется, что они открыли нестабильную часть бытия.

«О, чудо! „Солнце вращается вокруг Земли“ истинно для охотника Унги, но для астронома Амары „Солнце вращается вокруг Земли“ ложно! Не бывает однозначной истины!» Разбор этого умствования первокурсника я оставлю читателю в качестве упражнения.

Но всё же, даже я сам поймал себя на том, что пишу: «Если X равно 5 в некоторых случаях и 4 в других, то высказывание „2+2 = X“ может не иметь постоянного значения истинности». Не бывает высказываний с переменной истинностью. У «2+2 = X» нет значения истинности. Это не высказывание в математическом смысле. Это сочетание символов можно считать высказыванием в той же мере, в какой высказыванием является выражение «2 + 2 =», а «Фред перепрыгнул через» — грамматически верное предложение.

Но эта ошибка прокрадывается в наши рассуждения, даже когда вы о ней прекрасно знаете. Потому что именно так алгоритм ощущается изнутри.

Перевод: 
sepremento, Alaric
Номер в книге "Рациональность: от ИИ до зомби": 
179
Оцените качество перевода: 
Средняя оценка: 5 (4 votes)

Когда слова ошибочны

Элиезер Юдковский

Некоторые читатели утверждают, что было бы лучше назвать это эссе1 «37 случаев, в которых слова можно использовать неразумно» или «37 случаев, когда недостаточно оптимальное использование категорий может вызвать негативные эффекты в вашем восприятии». Но одна из основных идей, которым учит этот немаленький список, заключается в том, что утверждение «Не может быть, чтобы мой выбор Х был неверным» практически всегда ошибочно, независимо от теории. Люди могут заблуждаться в любом конкретном случае. Даже если теоретически возможно быть всегда правым, на деле вы будете ошибаться. Не бывает универсального счастливого билета на любой случай, такова жизнь.

Кроме того, я могу определить слово «ошибочен» любым способом, каким захочу — но это не значит, что само слово становится ошибочным. Впрочем, лично я считаю, что в следующих случаях использование понятия «ошибочный» вполне оправдано:

  1. Слово потеряло всякую связь с реальностью.
    Является ли Сократ фрамстером? Да или нет? (Притча о кинжале.)

  2. Ваши слова, если бы такое было возможно, принудили бы реальность измениться при изменении словесного определения.
    Сократ — человек, а люди по определению смертны. Если вы определите людей как бессмертных существ, будет ли Сократ жить вечно? (Притча о болиголове.)

  3. Вы пытаетесь установить эмпирические взаимоотношения, как будто бы они верны «по определению».
    Сократ — человек, а все люди по определению смертны. В таком случае будет ли логически верным, если мы предскажем результат опыта, в котором Сократ пьёт настойку болиголова и теряет сознание? Ведь является логически возможным и непротиворечивым существование миров, в которых Сократ не потеряет сознание. В которых он будет иметь иммунитет к болиголову, в результате, например, странного сбоя в его биохимических процессах. Логические истины истинны во всех возможных мирах, но эти истины не сообщают, в каком из возможных миров вы находитесь. Поэтому всё, что вы задаёте «по определению» является логически верным. (Притча о болиголове.)

  4. Вы неосознанно навешиваете условные ярлыки на что-либо, в реальности не используя словесные определения, которые вы только что дали.
    Вы точно знаете, что Боб — человек. Хотя, в вашем определении вы не будете называть Боба человеком, не удостоверившись сначала в том, что он смертен. (Притча о болиголове.)

  5. Факт навешивания словесного ярлыка скрывает спорный индуктивный вывод, который вы делаете.
    Если последние 11 извлечённых вами яйцевидных объектов были синими, а последние 8 кубических объектов были красные, то применив индукцию вы можете предположить, что это соотношение сохранится и будущем. Но если вы назовёте синие яйца «сияйцами», а красные кубы «крубами», то вы можете засунуть руку в бочку, нащупать что-то круглое и подумать «Ага, сияйцо». (Слова как скрытые умозаключения.)

  6. Вы пытаетесь определить одни слова с использованием других, более сложных и формальных понятий, без возможности указать на конкретный образец.
    — Что такое «красный»?
    — «Красный» это цвет.
    — Что такое «цвет»?
    — Цвет это свойство вещей.
    — Что такое «свойство»? Что такое «вещь»?
    Такого не случится, если вы укажете на красный сигнал светофора и на красное яблоко. (Экстенсионалы и интенсионалы.)

  7. Фактическое определение не совпадает со словесным определением.
    Мы не осознаём, что определяем красную точку на небе как «Марс», и это может происходить независимо от того, что мы определим «Марс» как бога войны. (Экстенсионалы и интенсионалы.)

  8. Ваше словесное определение охватывает всего лишь небольшую часть общих характеристик категории, но вы пытаетесь рассуждать, будто определение полное.
    Когда философы в платоновской академии решили, что лучшим определением человека является «двуногое без перьев», киник Диоген предъявил им ощипанного петуха и провозгласил, что это и есть «человек Платона». Тогда ученики Платона просто исправили определение на «двуногое без перьев и с плоскими когтями». (Кластеры подобия.)

  9. Вы пытаетесь рассматривать членство в определённой категории по принципу всё или ничего, не обращая внимания на то, что могут существовать подгруппы более или менее типичных членов.
    Утки и пингвины являются менее типичными птицами по сравнению с малиновками и голубями. Интересно, что межгрупповые эксперименты показали, что люди думают, будто болезни легче передаются от малиновок к уткам на островах, чем от уток к малиновкам. (Типичность и асимметричное подобие.)

  10. Словесное определение хорошо работает, чтобы на практике указывать на группы сходных объектов, но вы придираетесь к исключениям.
    Не каждый человек имеет десять пальцев, или носит одежду, или использует язык. Однако, если посмотреть на реальные группы объектов, которые разделяют эти характеристики, вы получите достаточно информации, чтобы попадающиеся время от времени люди с девятью пальцами не ввели вас в заблуждение. (Кластерная структура пространства вещей.)

  11. Вы спрашиваете, принадлежит ли объект некоторой категории, но не называете вопрос, ответ на который вы на самом деле хотите получить.
    Что есть «человек»? Является ли младенец Барни человеком? Правильный ответ на этот вопрос может сильно зависеть от того, что вы действительно хотите выяснить: «Хорошо ли кормить Барни болиголовом?» или «Будет ли Барни хорошим мужем?». (Замаскированые вопросы.)

  12. Вы рассматриваете интуитивно воспринимаемые иерархические категории, как единственно верный способ анализа мира, не осознавая, что возможны и другие способы делать статистически выводы, даже если вы их не используете.
    Для человека значительно проще определить, является ли предмет сияйцом или крубом, чем обратить внимание на то, что красные предметы никогда не светятся в темноте, но красные мохнатые предметы обладают всеми прочими характеристиками сияиц. Прочие статические алгоритмы работают иначе. (Нейронные категории.)

  13. Вы рассуждаете о категориях, будто они как манна упали из мира идей Платона, хотя это всего лишь ярлыки в вашем сознании, связанные с определённой концепцией.
    Древние философы говорили «Сократ человек», а не «Мой мозг посредством ощущений определяет Сократа, как попадающего в концепцию «человек». (Как алгоритм ощущается изнутри.)

  14. Вы продолжаете спорить о принадлежности к категории после отсеивания всех вопросов, которые могут зависеть от выводов, основанных на категориях.
    После того, как вы определили, что предмет синий, яйцеобразный, мохнатый, гибкий, непрозрачный, светящийся в темноте и содержащий палладий, что является всеми признаками сияиц, какой смысл спрашивать «Сияйцо ли это?» Однако, если распределяющая нейронная сеть вашего мозга содержит условный центр, связанный с выведением понятия сияйцности, то может показаться, что такой вопрос всё-таки существует. (Как алгоритм ощущается изнутри.)

  15. Вы позволяете дискуссии сместиться в область обсуждения определений, несмотря на то, что вы изначально не планировали об этом спорить.
    Если перед началом спора о том, производит ли «шум» падающее дерево в лесу, когда звук падения никто не слышит, вы спросите двух будущих спорщиков о том, что они будут подразумевать под «шумом», звуковые волны или слуховые переживания, они, возможно, предложат вам бросить монетку. Но после начала дискуссии определение всё равно станет обсуждаться. (Споры об определениях.)

  16. Вы считаете, что слово имеет смысл само по себе, а не потому, что оно является меткой, связанной с некоторыми понятиями в вашем мозгу.
    Когда кто-то кричит «А-а-а! Тигр!”, эволюция не предпочтёт организмы, которые подумают: «Ммм… Я только что услышал слоги ”ти” и ”игр”, которые члены моего племени связывают со своей внутренней моделью, соответствующей моему личному понятию ”тигр”, и которое А-А-А! ХРУМ ХРУМ ХРУМ». Поэтому мозг сокращает цепочку рассуждений, и кажется, что смысл тигриности несёт само слово. Люди спорят о правильном значении слов, например слова «шум». (Ощути смысл.)

  17. Вы спорите о значении слов даже в том случае, когда все стороны прекрасно понимают, что остальные имеют в виду под этим словом.
    Свойство человека связывать ярлыки с определёнными понятиями является средством общения. Когда люди хотят общаться, их тяжело остановить. Если у людей нет общего языка, они общаются рисуя картинки на песке. Когда каждый поймёт, что находится в разуме у остальных, дело будет сделано. (Аргумент к традиционному пониманию.)

  18. Вы обращаетесь к словарю в разгаре спора о практических вещах или о морали.
    Редакторы словарей скорее историки языка, нежели его законодатели. Если обычное определение содержит сложность, например, «Марс» определён как бог войны, «дельфин» как вид рыб или «негры» как нелюди, то словарь отражает распространённое заблуждение. (Аргумент к традиционному пониманию.)

  19. Вы обращаетесь к словарю в разгаре любого спора.
    Вы и вправду считаете, что редакторы словарей являются авторитетными специалистами в области определения атеизма как религии, или в любой другой? Даже если ставки в вашем споре крайне высоки, неужели вы считаете, что редакторы словарей достигли просветления, которое поможет им разрешить любой ваш диспут? (Аргумент к традиционному пониманию.)

  20. Вы игнорируете распространённое определение без повода, лишая окружающих всякой возможности вас понять.
    Быстро встаёт плутоний с бочками без ручек. (Аргумент к традиционному пониманию.)

  21. Вы используете сложные термины взамен простых чтобы создать иллюзию получения выводов.
    Если «человек» определить как «смертное двуногое без перьев», то можно написать: Все смертные двуногие без перьев смертны. Сократ — смертное двуногое без перьев, поэтому Сократ смертен. Выглядит не так впечатляюще в данном случае, не так ли? (Пустые ярлыки.)

  22. Вы вступаете в спор, которого могли бы избежать, если бы не использовали конкретное слово.
    Если Альберт и Барри не смогут использовать слово «шум», то Альберту придётся сказать: «Дерево, падающее в лесу, в котором никого нет, производит звуковые волны. А Барри скажет: «Дерево, падающее в лесу, в котором никого нет, не вызывает слуховых переживаний». Если слово создаёт проблему, то простейшим решением будет исключение этого слова из употребления, как и его синонимов. (Табуируй свои слова.)

  23. Ваше внимание отвлекается на короткое изящное слово, и вы не можете обдумать данное понятие во всех подробностях.
    Что происходит в школах, если перестать это называть образованием? Что такое степень, если не называть это «степенью»? Если монета упала «орлом», то какова её радиальная ориентация? Как может быть нечто «истинно», если нельзя употребить «точный», «правильный», «представлять», «отражать», «семантический», «убеждение», «знание», «карта», «реальный» или любые другие простые термины? (Замени символ на суть.)

  24. У вас есть только одно слово, которому соответствуют два или более реальных объектов. И из-за этого все связанные с этими объектами факты собираются в одну кучу у вас в голове.
    Частью обычной работы детектива является наблюдение за тем, носила ли Кэрол красное платье прошлым вечером, или что у неё чёрные волосы. Также детектив может поинтересоваться, красит ли Кэрол волосы. Но более сообразительный детектив может также задуматься, а может Кэрол было двое, одна носила красное платье, вторая была с чёрными волосами. (Ошибки сжатия.)

  25. Вы устанавливаете зависимости там, где их не существует, извлекая некие свойства из ваших определений, даже в случаях, когда нет сходства между данными областями.
    В Японии считается, что люди с первой группой крови серьёзные и творческие, со второй — импульсивные и жизнерадостные, с третьей — хорошо социализированные и приятные, с четвёртой — сдержанные и с хорошим самообладанием. (У классификации есть последствия.)

  26. Вы добавляете побочные смысл к слову, основываясь на определении, которое не включает в себя побочные смыслы.
    «Виггин» определён в словаре как человек с чёрными волосами и зелёными глазами. Но это слово также имеет побочный смысл, обозначая людей, совершающих преступления и издевающихся над животными, но этого нет в словаре. И вы показывается на кого-то пальцем и сообщаете: «Чёрные волосы и зелёные глаза? Ага, он виггин! Смотрите, сейчас он будет красть столовое серебро». (Контрабанда характеристик.)

  27. Вы утверждаете, что X есть Y по определению. В таких случаях вы почти наверняка добавите дополнительные смыслы к Y, чего не было в исходном определении.
    Вы определяете человека как двуногое без перьев, и, показывая на Сократа, сообщаете: «Нет перьев, две ноги, должно быть, это человек!» Но на самом деле вы думаете о чём-то ином, например о смертности человека. Если подобное случится во время дискуссии о количестве ног у Сократа, ваш оппонент может возразить: «Как же так, у Сократа две ноги? Это же как раз то, с чего мы начали спорить!» (Аргумент «по определению».)

  28. Вы утверждаете, что объекты P по определению являются объектами типа Q.
    Если вы видите, как Сократ в компании биологов собирает травы, которые могут вызвать сопротивляемость к болиголову, то нет смысла оспаривать утверждение «Люди по определению смертны». В большей части случаев, когда вам кажется, что надо сильнее надавить и настоять на некоем утверждении «по определению», в реальности существуют иные факты, ставящие ваш вывод под сомнение. (Аргумент «по определению».)

  29. Вы пытаетесь установить принадлежность к реально существующей группе «по определению».
    Не требуется утверждать, что «Индуизм, по определению, является религией», потому что индуизм действительно является религией. Это не религия «по определению», а, можно сказать, реальная религия. Атеизм же не похож на основных членов группы «религии», так что, если бы внезапно не оказалось, что атеизм является религией по определению, то вы бы пришли к выводу, что это всё-таки не религия. По этой причине вы можете подавить любых противников, сообщая, что утверждение «Атеизм является религией» верно по определению, хотя во всех остальных случаях это всё же не верно. (Аргумент «по определению».)

  30. Ваше определение ограничивает группу неких объектов, которые не связаны друг с другом.
    Вы можете, если захотите, утверждать, что слово «рыба» относится к лососям, гуппи, акулам, дельфинам и форели, но не к медузам или водорослям. Вы можете утверждать, что это всего лишь список, и не может быть, чтобы список был ошибочным. Или вы можете перестать валять дурака и признать, что вы допустили ошибку и дельфины не принадлежат к списку, в который входят рыбы. (Где проводить границу?)

  31. Вы используете короткое слово для того, что не нужно часто упоминать, или длинное слово для того, что упоминается часто. Это может приводить к неэффективном рассуждениям, или даже к некорректному применению Бритвы Оккама — если ваш разум будет считать, что короткие предложение звучат «проще».
    Что звучит правдоподобнее: «Бог сотворил чудо» или «Сверхъестественная сущность, создавшая вселенную, временно изменила законы физики»? (Энтропия и короткие сообщения.)

  32. Вы ограничиваете определённое пространство идей, которое не содержит какое-то отличное от окружающего пространства количество понятий. В результате слово, обозначающее группу объединённых понятий не связано с хоть сколь-нибудь производительным Байесовским выводом.
    Раз уж зеленоглазые люди не имеют чёрные волосы чаще, чем волосы другого цвета, и чёрные волосы также не связаны с зеленоглазостью, и кроме того людей с зелёными глазами и чёрными волосами не объединяют какие-либо иные значимые черты, то зачем вообще нужно слово «виггин»? (Общая информация и плотность в пространстве вещей.)

  33. Вы ограничиваете множество вещей без значимой причины для такого действия.
    Придумывание слова для всех людей, кроме чернокожих, выглядит несколько подозрительным. Если вы не сообщаете причины такого разграничения, создавая произвольные термины, это может выглядеть примерно следующим образом, как если бы детектив сказал: «Знаете, у меня нет не единого повода предпочесть одного или другого человека, кто бы мог убить тех сирот. Однако, может рассмотрим Джона Уифлхайма в качестве подозреваемого?» (Суперэкспоненциальное пространство концептов и простые слова.)

  34. Вы используете классификации, чтобы делать выводы о свойствах, не имеющих реальных структур, а именно, условная независимость данных групп в случае хорошего приближения при использовании простой интерпретации теоремы Байеса.
    Я ни за что не буду пытаться это резюмировать, просто прочитайте соответствующее эссе. (Условная независимость и наивный Байес.)

  35. Вы полагаете, что слова это малюсенькие символы языка ЛИСП, хотя это скорее ярлыки, которые скрывают за собой и управляют сложными мысленными кистями, что рисуют подробные картины на холсте вашего восприятия.
    Представьте «треугольную лампочку». Что вы увидели? (Слова как мысленные кисти.)

  36. Вы используете слово, имеющее разные значения в различных ситуациях, будто оно имеет всегда один и тот же смысл, создавая иллюзию чего-то непостоянного и изменчивого.
    «Мартин сказал Бобу свернуть налево». Но «налево» является функциональным словом, принимающим во внимание расположение говорящего относительно его окружения. Какое же «налево» имеется в виду, Боба или Мартина? (Ошибка изменяемого вопроса.)

  37. Вы считаете, что определения не могут быть ошибочны, или что «Я могу определить любое слово так, как пожелаю!»
    Такое отношение заставляет вас яростно отстаивать ваши прошлые поступки, вместо того, чтобы учесть их последствия или признать свои ошибки. (Когда слова могут быть ошибочны.)

Всё, что происходит в вашем разуме, имеет какой-либо результат, и ваш мозг движется вперёд без вашего руководства, не осознавая происходящее.

Утверждать «Слова можно использовать как угодно, я могу определить любое слово, как пожелаю» столь же осмысленно, как и вести автомобиль по тонком льду с выжатой до отказа педалью газа, рассуждая: «Посмотрите на руль, я не считаю, что любой его угол поворота чем-то выделяется на фоне других, поэтому я могу рулить так, как захочу».

Если вы хотите куда-то добраться или просто попробовать выжить, вам стоит начать уделять внимание трём или шести десяткам оптимальных критериев, контролирующих ваше использование слов, определений, категорий, классов, разграничений, ярлыков и концепций.

  • 1. Оригинальное название «37 Ways That Words Can Be Wrong» – Прим.перев.
Перевод: 
Ю
Номер в книге "Рациональность: от ИИ до зомби": 
180
Оцените качество перевода: 
Средняя оценка: 3.3 (26 votes)