Вы здесь

Когда слова ошибочны

Элиезер Юдковский

Некоторые читатели утверждают, что было бы лучше назвать это эссе1 «37 случаев, в которых слова можно использовать неразумно» или «37 случаев, когда недостаточно оптимальное использование категорий может вызвать негативные эффекты в вашем восприятии». Но одна из основных идей, которым учит этот немаленький список, заключается в том, что утверждение «Не может быть, чтобы мой выбор Х был неверным» практически всегда ошибочно, независимо от теории. Люди могут заблуждаться в любом конкретном случае. Даже если теоретически возможно быть всегда правым, на деле вы будете ошибаться. Не бывает универсального счастливого билета на любой случай, такова жизнь.

Кроме того, я могу определить слово «ошибочен» любым способом, каким захочу — но это не значит, что само слово становится ошибочным. Впрочем, лично я считаю, что в следующих случаях использование понятия «ошибочный» вполне оправдано:

  1. Слово потеряло всякую связь с реальностью.
    Является ли Сократ фрамстером? Да или нет? (Притча о кинжале.)

  2. Ваши слова, если бы такое было возможно, принудили бы реальность измениться при изменении словесного определения.
    Сократ — человек, а люди по определению смертны. Если вы определите людей как бессмертных существ, будет ли Сократ жить вечно? (Притча о болиголове.)

  3. Вы пытаетесь установить эмпирические взаимоотношения, как будто бы они верны «по определению».
    Сократ — человек, а все люди по определению смертны. В таком случае будет ли логически верным, если мы предскажем результат опыта, в котором Сократ пьёт настойку болиголова и теряет сознание? Ведь является логически возможным и непротиворечивым существование миров, в которых Сократ не потеряет сознание. В которых он будет иметь иммунитет к болиголову, в результате, например, странного сбоя в его биохимических процессах. Логические истины истинны во всех возможных мирах, но эти истины не сообщают, в каком из возможных миров вы находитесь. Поэтому всё, что вы задаёте «по определению» является логически верным. (Притча о болиголове.)

  4. Вы неосознанно навешиваете условные ярлыки на что-либо, в реальности не используя словесные определения, которые вы только что дали.
    Вы точно знаете, что Боб — человек. Хотя, в вашем определении вы не будете называть Боба человеком, не удостоверившись сначала в том, что он смертен. (Притча о болиголове.)

  5. Факт навешивания словесного ярлыка скрывает спорный индуктивный вывод, который вы делаете.
    Если последние 11 извлечённых вами яйцевидных объектов были синими, а последние 8 кубических объектов были красные, то применив индукцию вы можете предположить, что это соотношение сохранится и будущем. Но если вы назовёте синие яйца «сияйцами», а красные кубы «крубами», то вы можете засунуть руку в бочку, нащупать что-то круглое и подумать «Ага, сияйцо». (Слова как скрытые умозаключения.)

  6. Вы пытаетесь определить одни слова с использованием других, более сложных и формальных понятий, без возможности указать на конкретный образец.
    — Что такое «красный»?
    — «Красный» это цвет.
    — Что такое «цвет»?
    — Цвет это свойство вещей.
    — Что такое «свойство»? Что такое «вещь»?
    Такого не случится, если вы укажете на красный сигнал светофора и на красное яблоко. (Экстенсионалы и интенсионалы.)

  7. Фактическое определение не совпадает со словесным определением.
    Мы не осознаём, что определяем красную точку на небе как «Марс», и это может происходить независимо от того, что мы определим «Марс» как бога войны. (Экстенсионалы и интенсионалы.)

  8. Ваше словесное определение охватывает всего лишь небольшую часть общих характеристик категории, но вы пытаетесь рассуждать, будто определение полное.
    Когда философы в платоновской академии решили, что лучшим определением человека является «двуногое без перьев», киник Диоген предъявил им ощипанного петуха и провозгласил, что это и есть «человек Платона». Тогда ученики Платона просто исправили определение на «двуногое без перьев и с плоскими когтями». (Кластеры подобия.)

  9. Вы пытаетесь рассматривать членство в определённой категории по принципу всё или ничего, не обращая внимания на то, что могут существовать подгруппы более или менее типичных членов.
    Утки и пингвины являются менее типичными птицами по сравнению с малиновками и голубями. Интересно, что межгрупповые эксперименты показали, что люди думают, будто болезни легче передаются от малиновок к уткам на островах, чем от уток к малиновкам. (Типичность и асимметричное подобие.)

  10. Словесное определение хорошо работает, чтобы на практике указывать на группы сходных объектов, но вы придираетесь к исключениям.
    Не каждый человек имеет десять пальцев, или носит одежду, или использует язык. Однако, если посмотреть на реальные группы объектов, которые разделяют эти характеристики, вы получите достаточно информации, чтобы попадающиеся время от времени люди с девятью пальцами не ввели вас в заблуждение. (Кластерная структура пространства вещей.)

  11. Вы спрашиваете, принадлежит ли объект некоторой категории, но не называете вопрос, ответ на который вы на самом деле хотите получить.
    Что есть «человек»? Является ли младенец Барни человеком? Правильный ответ на этот вопрос может сильно зависеть от того, что вы действительно хотите выяснить: «Хорошо ли кормить Барни болиголовом?» или «Будет ли Барни хорошим мужем?». (Замаскированые вопросы.)

  12. Вы рассматриваете интуитивно воспринимаемые иерархические категории, как единственно верный способ анализа мира, не осознавая, что возможны и другие способы делать статистически выводы, даже если вы их не используете.
    Для человека значительно проще определить, является ли предмет сияйцом или крубом, чем обратить внимание на то, что красные предметы никогда не светятся в темноте, но красные мохнатые предметы обладают всеми прочими характеристиками сияиц. Прочие статические алгоритмы работают иначе. (Нейронные категории.)

  13. Вы рассуждаете о категориях, будто они как манна упали из мира идей Платона, хотя это всего лишь ярлыки в вашем сознании, связанные с определённой концепцией.
    Древние философы говорили «Сократ человек», а не «Мой мозг посредством ощущений определяет Сократа, как попадающего в концепцию «человек». (Как алгоритм ощущается изнутри.)

  14. Вы продолжаете спорить о принадлежности к категории после отсеивания всех вопросов, которые могут зависеть от выводов, основанных на категориях.
    После того, как вы определили, что предмет синий, яйцеобразный, мохнатый, гибкий, непрозрачный, светящийся в темноте и содержащий палладий, что является всеми признаками сияиц, какой смысл спрашивать «Сияйцо ли это?» Однако, если распределяющая нейронная сеть вашего мозга содержит условный центр, связанный с выведением понятия сияйцности, то может показаться, что такой вопрос всё-таки существует. (Как алгоритм ощущается изнутри.)

  15. Вы позволяете дискуссии сместиться в область обсуждения определений, несмотря на то, что вы изначально не планировали об этом спорить.
    Если перед началом спора о том, производит ли «шум» падающее дерево в лесу, когда звук падения никто не слышит, вы спросите двух будущих спорщиков о том, что они будут подразумевать под «шумом», звуковые волны или слуховые переживания, они, возможно, предложат вам бросить монетку. Но после начала дискуссии определение всё равно станет обсуждаться. (Споры об определениях.)

  16. Вы считаете, что слово имеет смысл само по себе, а не потому, что оно является меткой, связанной с некоторыми понятиями в вашем мозгу.
    Когда кто-то кричит «А-а-а! Тигр!”, эволюция не предпочтёт организмы, которые подумают: «Ммм… Я только что услышал слоги ”ти” и ”игр”, которые члены моего племени связывают со своей внутренней моделью, соответствующей моему личному понятию ”тигр”, и которое А-А-А! ХРУМ ХРУМ ХРУМ». Поэтому мозг сокращает цепочку рассуждений, и кажется, что смысл тигриности несёт само слово. Люди спорят о правильном значении слов, например слова «шум». (Ощути смысл.)

  17. Вы спорите о значении слов даже в том случае, когда все стороны прекрасно понимают, что остальные имеют в виду под этим словом.
    Свойство человека связывать ярлыки с определёнными понятиями является средством общения. Когда люди хотят общаться, их тяжело остановить. Если у людей нет общего языка, они общаются рисуя картинки на песке. Когда каждый поймёт, что находится в разуме у остальных, дело будет сделано. (Аргумент к традиционному пониманию.)

  18. Вы обращаетесь к словарю в разгаре спора о практических вещах или о морали.
    Редакторы словарей скорее историки языка, нежели его законодатели. Если обычное определение содержит сложность, например, «Марс» определён как бог войны, «дельфин» как вид рыб или «негры» как нелюди, то словарь отражает распространённое заблуждение. (Аргумент к традиционному пониманию.)

  19. Вы обращаетесь к словарю в разгаре любого спора.
    Вы и вправду считаете, что редакторы словарей являются авторитетными специалистами в области определения атеизма как религии, или в любой другой? Даже если ставки в вашем споре крайне высоки, неужели вы считаете, что редакторы словарей достигли просветления, которое поможет им разрешить любой ваш диспут? (Аргумент к традиционному пониманию.)

  20. Вы игнорируете распространённое определение без повода, лишая окружающих всякой возможности вас понять.
    Быстро встаёт плутоний с бочками без ручек. (Аргумент к традиционному пониманию.)

  21. Вы используете сложные термины взамен простых чтобы создать иллюзию получения выводов.
    Если «человек» определить как «смертное двуногое без перьев», то можно написать: Все смертные двуногие без перьев смертны. Сократ — смертное двуногое без перьев, поэтому Сократ смертен. Выглядит не так впечатляюще в данном случае, не так ли? (Пустые ярлыки.)

  22. Вы вступаете в спор, которого могли бы избежать, если бы не использовали конкретное слово.
    Если Альберт и Барри не смогут использовать слово «шум», то Альберту придётся сказать: «Дерево, падающее в лесу, в котором никого нет, производит звуковые волны. А Барри скажет: «Дерево, падающее в лесу, в котором никого нет, не вызывает слуховых переживаний». Если слово создаёт проблему, то простейшим решением будет исключение этого слова из употребления, как и его синонимов. (Табуируй свои слова.)

  23. Ваше внимание отвлекается на короткое изящное слово, и вы не можете обдумать данное понятие во всех подробностях.
    Что происходит в школах, если перестать это называть образованием? Что такое степень, если не называть это «степенью»? Если монета упала «орлом», то какова её радиальная ориентация? Как может быть нечто «истинно», если нельзя употребить «точный», «правильный», «представлять», «отражать», «семантический», «убеждение», «знание», «карта», «реальный» или любые другие простые термины? (Замени символ на суть.)

  24. У вас есть только одно слово, которому соответствуют два или более реальных объектов. И из-за этого все связанные с этими объектами факты собираются в одну кучу у вас в голове.
    Частью обычной работы детектива является наблюдение за тем, носила ли Кэрол красное платье прошлым вечером, или что у неё чёрные волосы. Также детектив может поинтересоваться, красит ли Кэрол волосы. Но более сообразительный детектив может также задуматься, а может Кэрол было двое, одна носила красное платье, вторая была с чёрными волосами. (Ошибки сжатия.)

  25. Вы устанавливаете зависимости там, где их не существует, извлекая некие свойства из ваших определений, даже в случаях, когда нет сходства между данными областями.
    В Японии считается, что люди с первой группой крови серьёзные и творческие, со второй — импульсивные и жизнерадостные, с третьей — хорошо социализированные и приятные, с четвёртой — сдержанные и с хорошим самообладанием. (У классификации есть последствия.)

  26. Вы добавляете побочные смысл к слову, основываясь на определении, которое не включает в себя побочные смыслы.
    «Виггин» определён в словаре как человек с чёрными волосами и зелёными глазами. Но это слово также имеет побочный смысл, обозначая людей, совершающих преступления и издевающихся над животными, но этого нет в словаре. И вы показывается на кого-то пальцем и сообщаете: «Чёрные волосы и зелёные глаза? Ага, он виггин! Смотрите, сейчас он будет красть столовое серебро». (Контрабанда характеристик.)

  27. Вы утверждаете, что X есть Y по определению. В таких случаях вы почти наверняка добавите дополнительные смыслы к Y, чего не было в исходном определении.
    Вы определяете человека как двуногое без перьев, и, показывая на Сократа, сообщаете: «Нет перьев, две ноги, должно быть, это человек!» Но на самом деле вы думаете о чём-то ином, например о смертности человека. Если подобное случится во время дискуссии о количестве ног у Сократа, ваш оппонент может возразить: «Как же так, у Сократа две ноги? Это же как раз то, с чего мы начали спорить!» (Аргумент «по определению».)

  28. Вы утверждаете, что объекты P по определению являются объектами типа Q.
    Если вы видите, как Сократ в компании биологов собирает травы, которые могут вызвать сопротивляемость к болиголову, то нет смысла оспаривать утверждение «Люди по определению смертны». В большей части случаев, когда вам кажется, что надо сильнее надавить и настоять на некоем утверждении «по определению», в реальности существуют иные факты, ставящие ваш вывод под сомнение. (Аргумент «по определению».)

  29. Вы пытаетесь установить принадлежность к реально существующей группе «по определению».
    Не требуется утверждать, что «Индуизм, по определению, является религией», потому что индуизм действительно является религией. Это не религия «по определению», а, можно сказать, реальная религия. Атеизм же не похож на основных членов группы «религии», так что, если бы внезапно не оказалось, что атеизм является религией по определению, то вы бы пришли к выводу, что это всё-таки не религия. По этой причине вы можете подавить любых противников, сообщая, что утверждение «Атеизм является религией» верно по определению, хотя во всех остальных случаях это всё же не верно. (Аргумент «по определению».)

  30. Ваше определение ограничивает группу неких объектов, которые не связаны друг с другом.
    Вы можете, если захотите, утверждать, что слово «рыба» относится к лососям, гуппи, акулам, дельфинам и форели, но не к медузам или водорослям. Вы можете утверждать, что это всего лишь список, и не может быть, чтобы список был ошибочным. Или вы можете перестать валять дурака и признать, что вы допустили ошибку и дельфины не принадлежат к списку, в который входят рыбы. (Где проводить границу?)

  31. Вы используете короткое слово для того, что не нужно часто упоминать, или длинное слово для того, что упоминается часто. Это может приводить к неэффективном рассуждениям, или даже к некорректному применению Бритвы Оккама — если ваш разум будет считать, что короткие предложение звучат «проще».
    Что звучит правдоподобнее: «Бог сотворил чудо» или «Сверхъестественная сущность, создавшая вселенную, временно изменила законы физики»? (Энтропия и короткие сообщения.)

  32. Вы ограничиваете определённое пространство идей, которое не содержит какое-то отличное от окружающего пространства количество понятий. В результате слово, обозначающее группу объединённых понятий не связано с хоть сколь-нибудь производительным Байесовским выводом.
    Раз уж зеленоглазые люди не имеют чёрные волосы чаще, чем волосы другого цвета, и чёрные волосы также не связаны с зеленоглазостью, и кроме того людей с зелёными глазами и чёрными волосами не объединяют какие-либо иные значимые черты, то зачем вообще нужно слово «виггин»? (Общая информация и плотность в пространстве вещей.)

  33. Вы ограничиваете множество вещей без значимой причины для такого действия.
    Придумывание слова для всех людей, кроме чернокожих, выглядит несколько подозрительным. Если вы не сообщаете причины такого разграничения, создавая произвольные термины, это может выглядеть примерно следующим образом, как если бы детектив сказал: «Знаете, у меня нет не единого повода предпочесть одного или другого человека, кто бы мог убить тех сирот. Однако, может рассмотрим Джона Уифлхайма в качестве подозреваемого?» (Суперэкспоненциальное пространство концептов и простые слова.)

  34. Вы используете классификации, чтобы делать выводы о свойствах, не имеющих реальных структур, а именно, условная независимость данных групп в случае хорошего приближения при использовании простой интерпретации теоремы Байеса.
    Я ни за что не буду пытаться это резюмировать, просто прочитайте соответствующее эссе. (Условная независимость и наивный Байес.)

  35. Вы полагаете, что слова это малюсенькие символы языка ЛИСП, хотя это скорее ярлыки, которые скрывают за собой и управляют сложными мысленными кистями, что рисуют подробные картины на холсте вашего восприятия.
    Представьте «треугольную лампочку». Что вы увидели? (Слова как мысленные кисти.)

  36. Вы используете слово, имеющее разные значения в различных ситуациях, будто оно имеет всегда один и тот же смысл, создавая иллюзию чего-то непостоянного и изменчивого.
    «Мартин сказал Бобу свернуть налево». Но «налево» является функциональным словом, принимающим во внимание расположение говорящего относительно его окружения. Какое же «налево» имеется в виду, Боба или Мартина? (Ошибка изменяемого вопроса.)

  37. Вы считаете, что определения не могут быть ошибочны, или что «Я могу определить любое слово так, как пожелаю!»
    Такое отношение заставляет вас яростно отстаивать ваши прошлые поступки, вместо того, чтобы учесть их последствия или признать свои ошибки. (Когда слова могут быть ошибочны.)

Всё, что происходит в вашем разуме, имеет какой-либо результат, и ваш мозг движется вперёд без вашего руководства, не осознавая происходящее.

Утверждать «Слова можно использовать как угодно, я могу определить любое слово, как пожелаю» столь же осмысленно, как и вести автомобиль по тонком льду с выжатой до отказа педалью газа, рассуждая: «Посмотрите на руль, я не считаю, что любой его угол поворота чем-то выделяется на фоне других, поэтому я могу рулить так, как захочу».

Если вы хотите куда-то добраться или просто попробовать выжить, вам стоит начать уделять внимание трём или шести десяткам оптимальных критериев, контролирующих ваше использование слов, определений, категорий, классов, разграничений, ярлыков и концепций.

  • 1. Оригинальное название «37 Ways That Words Can Be Wrong» – Прим.перев.

Перевод: 
Ю
Номер в книге "Рациональность: от ИИ до зомби": 
180
Оцените качество перевода: 
Средняя оценка: 3.3 (26 votes)
  • Короткая ссылка сюда: lesswrong.ru/59