Консеквенциализм

[Alaric]

Ved

Люди, с подобным нарушением, дают положительный ответ на классический тест на психопатию: столкнете ли вы на рельсы стоящего рядом с вами случайного прохожего, если таким образом можно будет остановить едущий поезд и спасти несколько человек стоящих/привязанных на путях, если вам за это ничего не будет. И так далее.

Вы уверены, что "проблема вагонетки" - это действительно "классический тест на психопатию"? Есть ли у вас какое-то подтверждение этому?
Вообще-то, это явный случай консеквенциалистской этики. Если рассматривать проблему вагонетки в самом классическом варианте (когда нужно выбрать, перевести ли стрелку, чтобы вагонетка задавила одного, а не пять), то ответ "перевести" даст достаточно значимая часть Lesswrong'а. Именно в силу консеквенциалистской этики - предсказуемые последствия в случае перевода стрелки менее ужасны, чем в случае не перевода.
Вопрос о том, является ли задача с толстяком прямым эквивалентом классической "проблемы вагонетки", является дискуссионным, потому что многие усматривают в сталкивании толстяка больше отрицательных последствий, чем в переводе стрелок.
Но мне не очевидно, что консеквенциалистская этика - признак психопата. И что это признак зла. Гарри у Юдковского её тоже разделяет, и сам Юдковский активно пишет о ней и в других местах.

[Ved]

Вы уверены, что "проблема вагонетки" - это действительно "классический тест на психопатию"? Есть ли у вас какое-то подтверждение этому?
Вообще-то, это явный случай консеквенциалистской этики. Если рассматривать проблему вагонетки в самом классическом варианте (когда нужно выбрать, перевести ли стрелку, чтобы вагонетка задавила одного, а не пять), то ответ "перевести" даст достаточно значимая часть Lesswrong'а. Именно в силу консеквенциалистской этики - предсказуемые последствия в случае перевода стрелки менее ужасны, чем в случае не перевода.
Вопрос о том, является ли задача с толстяком прямым эквивалентом классической "проблемы вагонетки", является дискуссионным, потому что многие усматривают в сталкивании толстяка больше отрицательных последствий, чем в переводе стрелок.
Но мне не очевидно, что консеквенциалистская этика - признак психопата. И что это признак зла. Гарри у Юдковского её тоже разделяет, и сам Юдковский активно пишет о ней и в других местах.

Нет, конечно. Но я считаю, что этот пример хорошо поясняет мою мысль, вне зависимости от того, насколько он фактологически верен. Можно поискать более изощренный пример, но мне кажется это излишним, т.к. понимание достигнуто.
Разумеется, все люди со склонностью к рационализаторству часто руководствуются гриндевальдовским общим благом, достаточно вспомнить хотя бы великолепные описания "идеального города-государства" Платона или почитать Доктрину фашизма Беннито Мусолини, но вот воплощать эти вещи в реальность собственными руками могут только психопаты. И тут с моей точки зрения есть две проблемы: негативная коннотация термина "психопат" и его роль в масс культуре и само рационализаторство, основанное на "общем благе", т.к. в большинстве вариантов оно является следствием непонимания целого ряда законов природы вообще, и Теории Игр в частности.
Прошу прощения за легкий оффтопик.

[valergrad]

Про вагонетку - я согласен с Alaric. Не считаю ее тестом на психопата.
Правда конкретно с вагонеткой я бы не столкнул, вероятно. Но это лишь из-за того, что я довольно криворукий. У меня нет даже 80% уверенности что я так удачно кину толстяка, что он при этом остановит вагонетку. Есть вероятность и толстяка убить, и других не спасти. И может есть что-то другое что можно кинуть под вагонетку - вместо толстяка? Например ком из наших одежд и обуви? И почему бы не упасть тогда самому? Вероятно, пока я над этим размышлял бы - я бы прозевал вагонетку.
Но если смоделировать действительно абстрактную ситуацию с нажатием двух кнопок и кучей времени на размышление - то опять же возникают вопросы - какой изверг сделал такую ситуацию? Что он заставит меня решать после того как я нажму кнопку так, как он хочет? И т.п.

И немного оффтоп. Тут активно обсуждался Фламель и как он настолько крут что обучал Дамблдора противостоять Гриндевальду и Волдеморту. Можно поинтересоваться - каким образом тогда Риддл убил Фламеля? Да еще и походу не сам, а кого-то отправил?

[Ved]

если смоделировать действительно абстрактную ситуацию

Ситуации на вскидку:

1. Выстрелить из снайперской винтовки навылет в заложника, чтобы убить террориста с бомбой. (в случае выстрела заложник умрет, бомба не взорвется).

2. Убить лучшего друга, потому что только его смерть завершит ритуал, не позволяющий пробудиться Древним Богам, которые уничтожат на планете все живое, если проснутся. (фильм Хижина в Лесу ).

3. Тоже самое что в 1, только заложник твой личный знакомый.

4. Убить собственных детей, чтобы они не жили в мире, где все, во что ты верил проиграло. (привет Магде Геббельс).

5. Пристрелить ребенка, пересекающего карантин со смертельно опасным биологическим оружием.
и т.д.

[Alaric]

В реальном мире людям надо принимать решения. Причём, чем больше человек может, тем более серьёзные решения ему приходится принимать. И в случае принятия серьёзных решений очень часто бывает так, что кто-то от этих серьёзных решений страдает. Поэтому неизбежен вопрос, насколько это серьёзное решение оправдано.

Решения, принимаемые на эмоциях, - это результат работы эвристик. Либо генетически заложенных в генах, либо впитанных из социальной среды. Очень часто эти эвристики работают удачно (в конце концов, они совершенно не случайно выработались именно такими). Но иногда они сбоят и приводят к неправильным решениям.

Примечание: тут вообще очень тяжело определить критерии "правильности", потому что они очень сильно зависят от того,что мы вообще оптимизируем. Но дело в том, что любую этику, основанную на эмоциях, как мне представляется, очень легко запутать: в смысле, поставить перед ней неразрешимую задачу, в которой оба решения будут казаться плохими. И если человек всё-таки начинает определять, какое из двух решений более плохое, то он уже всё равно начинает формулировать свою функцию полезности, т.е. определять, какой гипотетический исход для него лучше, а какой хуже. Многие, конечно, заявляют, что они отказываются выбирать (это вполне понятная защитная реакция - и да, я сам при столкновении с такими абстрактными вопросами часто так делаю), но тут см. первый абзац.

Примечание 2: массовое распространение информации о том, что в такой-то ситуации человек отказался от общеиспользуемой эвристики и получил "положительный результат", тоже может быть вредно и должно учитываться в отрицательных последствиях.

Но в целом я не вижу никакой проблемы в "рационализаторстве, основанном на "общем благе"". Проблема именно в грамотном понимании, а что есть общее благо, в смысле, определении функции полезности.

[Ved]

Согласен почти со всем.

Не согласен с тем, что консеквенциализм может быть априорно хорошей стратегией. Хотя бы потому, что просчет общего блага для мало мальски большого социума не-клонов невозможен математически.

Хотя отказ от просчета общего блага тоже можно считать действием ради общего блага, конечно.

[Alaric]

Не согласен с тем, что консеквенциализм может быть априорно хорошей стратегией. Хотя бы потому, что просчет общего блага для мало мальски большого социума не-клонов невозможен математически.

Не бывает абстрактно "хороших" и "плохих" стратегий. Просто одни стратегии лучше других.
Поэтому вопрос упирается, а с чем мы сравниваем?
В большом социуме и этика, основанная на эмоциях не работает. Убивать нехорошо, но многие скажут, что при самообороне можно, на войне можно. Кто-то даже добавит, что преступников можно. И дальше запросто можно конструировать этические дилеммы. По вопросу "можно ли воровать у богатых" человечество всю историю копья ломает. И так далее.

И могу подкинуть положительный пример (с моей точки зрения) явно консеквенциалистской этики: движение Эффективного альтруизма. Подробности лучше читать по ссылке.

[Ved]

В большом социуме и этика, основанная на эмоциях не работает. Убивать нехорошо, но многие скажут, что при самообороне можно, на войне можно. Кто-то даже добавит, что преступников можно. И дальше запросто можно конструировать этические дилеммы. По вопросу "можно ли воровать у богатых" человечество всю историю копья ломает. И так далее.

Дело не в том, "можно ли". Можно кому? Никто не может запретить сделать что-то человеку, если он хочет и может это сделать. Дело в том, что люди имеют абсолютно разные ценности и вопрос об общем благе всегда подразумевает чье-то конкретное благо. Самоубийца никогда не признает общим благом запрет на совершение самоубийства. И это хорошо, потому что увеличивает разнообразие способов мышления, что приводит к увеличению конкуренции и в итоге к более быстрому развитию общества. А вот подгонять всех под одну гребенку, даже утопичными научными методами, это идея продуманная недостаточно.
Но в целом, да, можно рационализировать и увеличения разнообразия и скорость развития общества, но "ради общего блага"? Это мышление религиозного человека (для него это оправдано мистическими ощущениями его мозга, что тоже является скрытой эгоистической потребностью). Любой человек с нерелигиозным мышлением будет действовать в своих личных целях, как бы они внешне не назывались. Эту проблему успешно решает теория игр и дилемма заключенного. Но это для общества. Т.е. если твои цели завязаны на благополучие общества (причем в длительной перспективе), тебе придется действовать исходя из этих теорий. Но как насчет того случая, как с самоубийцей, если общество для достижения твоих целей не нужно? Вот именно, как мне кажется, та темная сторона рациональности и проблема существования объективного зла, которая постоянно упускается из виду.

[Alaric]

А вот подгонять всех под одну гребенку, даже утопичными научными методами, это идея продуманная недостаточно.

А кто говорит, что всех подгоняют под одну гребёнку? Если у нас есть развитые научные методы (а они у нас всё развиваются и развиваются), то мы можем оценить, мол, если мы направим такие-то и такие-то средства на такие-то действия по уменьшению количества самоубийств, то у нас станет больше счастливых людей за счёт того-то и того-то и больше несчастных за счёт того-то и того-то. А если не направим, то ... Ну и так далее. И дальше мы сравниваем, какой исход нас больше устраивает. В зависимости от каких-то уже наших личных критериев (которые могут базироваться на критериях избирателей или на чём-нибудь ещё), а вовсе не критериев самоубийц.

А если мы так не делаем, то, получается, мы автоматически выбираем вариант 2. И всё. Отказ от выбора - тоже выбор. Но вообще весь LW, по-моему, про то, что выбор надо делать осознанно, а не потому, что так по умолчанию положено. Выбор "по умолчанию" тоже может быть правильным, но это надо проверять.

Да, я понимаю, что это вообще очень сложные задачи и для их решения нужно приложить много усилий. И многие люди решали их неправильно. Но я не понимаю, какой вывод из этого "всё сложно" предлагаете сделать вы. Следует ли из ваших слов, что любое насаждение любой этики вы считаете плохим деянием? Готовы ли вы предпринимать действия, чтобы пресекать любое насаждение консеквенциализма, скажем?

Вот Юдковский считает, что консеквенциализм - это хорошо, и в своих цепочках описывает подробно, почему он так считает. И для многих это оказывается убедительно. Если бы у вас была сила взять и стереть эти цепочки со всех серверов и сделать так, чтобы они не появились заново, воспользовались ли бы вы ею?

[Skywrath]

Юдковский считает, что консеквенциализм - это хорошо.

Консеквенциализм обладает серьёзными недостатками. На них очень легко указать на следующем примере. Этика говорит нам о том, как следует поступать, правильно? Каждый поступок раскладывается на три элемента. Что было совершено, кто это совершил и по каким причинам. Запомним данный расклад. Проведём следующую простую аналогию. Каждое решение состоит из предпосылок, рассуждений и выводов. Логика говорит нам о том, как следует принимать решения. Теперь, легко представить консеквенциалисткую логику: рассуждение считается правильным, если был сделан желаемый вывод. Вы даже можете построить "функцию полезности", которая задаёт какие выводы окажутся желательны и какие - нет. Ясно, что такая парадигма содержит множество проблем. Не важно, от чего мы отталкивались и как рассуждали. Пока у нас есть устравающий нас ответ, то кого это волнует. Верно? Нет, конечно! Если подобный подход не работает для логики, то он не сработает и для этики. Обе дисциплины пытаются объективизировать достаточно субъективные оценки. Оценку истины в одном случае, и оценку морали в другом. Почему именно это не работает? Можно долго об этом думать и это отдельный, достаточно длинный разговор о целом спектре проблем.

[Alaric]

Skywrath
Я не уверен, что правильно понял.

Для консеквенциализма нам нужна функция полезности - т.е. способ отличить более желаемый мир от менее желаемого. Если мы начали последовательно применять консеквенциализм на основании выбранной функции полезности и получили какой-то нежелательный для нас расклад, значит, мы неправильно описали, какая у нас на самом деле функция полезности.

Если человек как-то подгоняет задачу под ответ, то это, конечно, нехорошо.

[desmod]

Вы уверены, что "проблема вагонетки" - это действительно "классический тест на психопатию"?

Рекомендую книгу Кевина Даттона "Мудрость психопатов", где подробно разбирается этот тест. Суть в том, что нормальных людей такая ситуация напрягает, а психопатов - нет. При помощи МРТ можно убедиться, что у нормальных людей в этот момент активируется зона миндалины и связанные с ней зоны, тогда как у психопатов они остаются неактивными.

Но мне не очевидно, что консеквенциалистская этика - признак психопата.

Разумеется, нет. Безусловным признаком психопата является определенная нейропатология, сопровождающаяся конкретными наблюдаемыми проявлениями (например, эмоции не имеют для психопата такого значения, как для нормальных людей). Этика - всего лишь инструмент, которым может воспользоваться любой человек, в том числе и без всякой патологии.

Гарри у Юдковского её тоже разделяет

А Гермиона - нет. Причем сам Гарри не отрицает эффективность ее этики. (Гермиона практически сразу же идентифицировала Квиррелла как "злого", тогда как Гарри тупил до самого финала.)

P.S.
Кстати, тема с таким названием уже существует.

[Skywrath]

Последовательно применять консеквенциализм на основании выбранной функции полезности.

Не получится. Вспомните, в каком положении вы находитесь. С одной стороны, у вас есть этическая ситуация, а с другой, у вас есть некоторая "функция полезности", позволяющая сравнить результаты между собой. Ничего не напоминает? Может быть, так будет прозрачнее: у нас есть сложная задача и быстрый способ проверить ответ. Существует огромная пропасть на пути от "функции полезности" до решения задачи. В обществе чистых консеквенциалистов каждый вносит свои правки, так как считает, что от этого общее положение дел станет лучше. Данная система может работать, но она - нестабильна. Если я проеду на красный свет, что бы быстрее добраться до работы - мир станет лучше. Если человек на пересекающейся трассе примет это же решение - мир станет лучше. Если мы оба последовательно его примем, мир становится хуже для нас двоих. Изменить это можно лишь нормативной этикой, установив некоторые правила о том, как вы должны принимать свои решения. Даже общая "функция полезности" не поможет. Это всё же не рекомендация к действию. Фактически, у вас есть просто какие-то догадки на счёт того, что делать и как выбрать лучшую из них. Другой человек имеет другие догадки, они могут быть лучше или хуже ваших. Как минимум один из вас не сможет предугадать решение другого и возможно даже оба с этим не справятся. Таким образом, реализация данной этики приводит к бесконечным конфликтам. Я бы не сказал, что мы имеем дело со злым вариантом этики, но это выглядит, как хаотично-добрый вариант. Каждый пытается сделать, что бы было лучше, но пропасть между решением и оценкой создаёт множество дилемм заключённого в которые проигрывают все участники подобного общества. Возможно, не сразу, но рано или поздно.

[Alaric]

Skywrath

Если я проеду на красный свет, что бы быстрее добраться до работы - мир станет лучше. Если человек на пересекающейся трассе примет это же решение - мир станет лучше. Если мы оба последовательно его примем, мир становится хуже для нас двоих.

С моей точки зрения, естественно, консеквенциалист должен быть в курсе дилеммы заключённого и всего остального. Т.е. да, консеквенциализм без эпистемологической рациональности бессмысленен.

Последствие от того, что все узнают, каким способом ты решил задачу, и захотят её решить таким же способом, естественно, остаётся последствием. Которое тоже надо принимать во внимание.

А кроме того, я же не предлагаю отменить законы (частным случаем которых являются ПДД). Просто они приниматься должны тоже из консеквенциалистских побуждений. Более того, я считаю призыв к иной мотивации принятия законов общественно вредным деянием.

[Skywrath]

Консеквенциалист должен быть в курсе дилеммы заключённого и всего остального.

Такими фразами довольно легко разбрасываться, но на практике решение дилеммы заключённого в понятиях деонтологии будет тривиальным. Достаточно просто осуждать предательство. Консеквенциалисты сталкиваются с множеством проблем субъективной оценки общей утилитарной ценности каждым участником и парадоксами коллективного принятия решений. При этом, все эти сложности возникают на ровном месте из-за неудачного выбора этической системы. Это нерационально в той же степени, в которой нерационально каждый логический вывод проверять экспериментально. В обоих сценариях и в случае чистого консвеквенциализма, и для чистого эмпирицизма - результат единственный критерий, но сверяться с тем, что будет в реальности по каждой мелочи - слишком дорогая цена за идеалогическую последовательность. Я имею в виду достаточно простую мысль. Этическая оценка ситуации не состоит только из результатов. Естественно, что имеются иные факторы, важность которых не следует отбрасывать. Поэтому рациональная этика - носит комплексный характер и имеет множество критериев, используя те из них, которые наиболее адекватны ситуации. Ориентироваться только на результат или последствия - несколько нереалистичная позиция. Особенно, если учесть, что сама идея основана на довольно слабой гипотезе о том, что некоторый момент времени в будущем обладает каким-либо значимым приоритетом в реальности. Это очевидно не так, время - инвариантно, и "наивный" консеквенциализм, например, падает уже на этом этапе. Разумеется, имеются более развитые варианты рассуждений, где функция полезности оценивает весь событийный ряд в целом вместо того, что бы просто сравнивать последствия в произвольный момент будущего, но такой вариант этики - уже оказывается в той же степени ориантированым на последствия, в какой он является ориентированым на некие универсальные правила и даже личные добродетели. Таким образом, если рациональная этика не носит некого стандартного характера, который может быть легко описан, парадигмальный этический спор в этом отношении - довольно мнимый выбор для рационалиста.