<a href="https://lesswrong.ru/forum/index.php?PHPSESSID=5sao1mifmogmnqj753ljjqmbtu&amp;">Форум LessWrong.ru

- тут я вижу много проблем.
Во-первых, начальные условия ещё попробуй найди.
[...]
Ну и в-четвёртых, КМ не является полной моделью мира, как ни прискорбно. Она плохо работает с гравитацией.

Значит оптимизационных параметров больше двух.

- тут не совсем так. Не, я понимаю, вы указываете на то, что я довольно предвзят к каким-то видам моделей, и это что-то похожее на ту самую опорную машину.

Да, все предвзяты, все ограничены теми методами выстраивания моделей, которые доступны человеческому интеллекту.

Но я не особенно пытаюсь моделировать человеческий интеллект.
Я отталкиваюсь вот от чего: есть концепция рационального агента.

Где проходит грань между интеллектом и рациональным агентом? В чём, собственно, разница? Если мы вернёмся к истокам, то рациональность как таковая зародилась в экономике. Макс Вебер, по-моему, первым начал говорить об обществе рациональных агентов. Он был социологом, но экономисты с радостью ухватились за эту модель, и начали поверх неё строить экономические модели. В процессе понятие "рационального агента" уточнялось, и в конечном итоге выяснилось, что "рациональный агент" -- это идеальная конструкция, которая в реальности не встречается. Но я к тому, что всё это происходило применительно к экономике, для моделирования экономических отношений, спрос/предложение, расчёт маргинальной стоимости, стоимость акций и тд, и тп.

А рациональность по Юдковскому -- это что-то типа интеллекта. Его байесианский суперинтеллект в первую очередь интеллект, во вторую построенный на байесианстве.

Поэтому я полагаю, что выводы, применимые к AIXI, хорошо переносятся на других рациональных агентов. Не на любые другие интеллекты, а на других РА

РА не может существовать вне интеллекта. Так же как душа не может существовать без тела, РА не может без интеллекта.

- я задумывался об этом. Я наблюдаю, что все эти задачи так или иначе завязаны на навигацию тела в пространстве и восприятию через глаза и уши (в меньшей степени через другие органы чувств). Все остальные задачи накручены поверх как многоуровневые абстракции. То есть в принципе можно было бы вывести единую предсказательную модель именно потому, что мы всегда смотрим через одни и те же сенсоры, в каком-то смысле. На практике эта модель была бы слишком огромная и не влезала бы в сознательную память, и работала бы как что-то типа машинлёрнинга, то есть чистый блэкбокс. Возможно, у нас даже есть такая модель, и именно она подсказывает, что мы увидим в следующую секунду.

Ы. https://www.frontiersin.org/articles/10.3389/fpsyg.2017.01924/full

Там излагается теория сознания, и как раз об этом и говорится. Все психические процессы, включая мышление и память -- это чёрный ящик. Вообще психика -- это чёрный ящик, а сознание это внешний интерфейс, дающий возможность коммуникации с другими психиками. Мне очень нравится эта теория, потому как человек систематически недооценивает сложность тех или иных психических процессов, а это именно то, что прямо вытекает из теории: сознание не имеет доступа к реальному процессу мышления, оно имеет дело с результатом, и оно выстраивает какие-то рационализации, объясняющие этот результат.

_{Тут немного контекста: "рационализация" -- это термин придуманный Фрейдом, это одна из его "психологических защит", которые использует человек, для минимизации негативных переживаний. Юдковский использует это слово в ином смысле -- это когда вывод известен заранее, а человек затем подгоняет рассуждение под вывод и не важно с какой целью он это делает. Здесь я использую "рационализацию" в смысле ближе к Юдковскому, и говорю, что любое рассуждение -- это результат рационализации. Рациональные рассуждения и нерациональные -- это результаты одного и того же процесса, разница лишь в используемых "логиках", то есть наборах правил, которые позволяют отличить верное рассуждение от неверного.}

Юдковский приводил пример со зрением, когда профессор дал какому-то студенту тему для курсовой "система машинного зрения", и ждал что тот создаст такую. С мышлением было то же самое: чем дольше его ковыряют, тем сложнее оно оказывается. Мы думаем, что мы знаем, как мы думаем, но стоит нам попытаться эти "знания" применить в инженерном деле, как тут же выясняется, что эти знания яйца выеденного не стоят.

В таком случае её базовыми блоками являются, видимо, нейроны, а не что-то более абстрактное.

С такими утверждениями надо обходиться аккуратнее. Есть общее правило, которое помечает такие утверждения как сомнительные. Есть уровни организации материи, если ты смешиваешь разные уровни организации материи в одном утверждении, то скорее всего, ты делаешь что-то не так. Если ты говоришь о свободе воли, и обосновываешь её существование/несуществование квантовой механикой: свобода воли существует где-то на уровне психологии или выше, в квантовой механике её нет. Если ты говоришь о жизни, и пытаешься найти её среди атомов, то ты гарантированно не найдёшь её так. Если ты говоришь об интеллекте, и говоришь о базовых блоках-нейронах, то что-то тут не то: интеллект это уже психология, а нейроны -- физиология.

Ты, я подозреваю, хотел сказать, что психика -- слишком сложная вещь, настолько сложная, что любая её модель будет слишком сложной для человека. Но я бы не был столь категоричен, совместные усилия психологов и разработчиков AI могут как-нибудь разрулить ситуацию со временем.

Цитата: Gradient от 25 Августа 2020, 15:30

Тогда... Окей, мои рассуждения о рациональных агентах не вполне переносятся на людей, которые РА не являются и не очень пытаются. Опорная машина не равна онтологии, это лишь базовый набор эвристик

А на кого они переносятся? У нас нет примера другого интеллекта, который мог бы быть носителем рациональности. Человек неидеальный носитель, но лучше ничего нет. А... хм... не, можно рассмотреть hive mind, или вообще интеллект группы. Скажем, институт науки -- это тоже своего рода интеллект. Но этот интеллект хоть и мощнее, и, быть может, рациональнее чем интеллект любого индивидуального человека, но он тоже не РА.

Но если попытаться вернуться к исходному сообщению. Его основной посыл, если я правильно понял, что любой интеллект (General Intelligence, заточенный под решение спектра задач сравнимого с тем, что доступно человеку), функционирующий в человеческом обществе, неизбежно придёт к понятию "души"? Я думаю, да. Либо потому, что выделение категории "душа" -- это какой-то минимум при решении какой-то там оптимизационной задачи, связанной с выстраиванием наилучшей категоризации мира, либо потому, что этот гипотетический интеллект будет выстраиваться человеком, и он неизбежно заложит категорию "душа" в AGI либо прямо, либо косвенно.

Категория "человек" возникает, мне кажется, неизбежно. А если мы начинаем учитывать разницу между разными людьми, то у нас возникает категория "личностные свойства", и комплекс личностных свойств человека -- это и есть, по-сути, душа.

Рациональность / Re: О рациональном агенте, опорной машине и идеализме

« : 25 Августа 2020, 16:10 »

- попробую тогда действовать несколько менее широко, чем эта теорема. Некий оптимизатор решает задачу "построить модель реальности так, чтобы эта модель уложилась в минимум кода и имела минимум погрешности".

Такая модель реальности -- это реальность. Для этого достаточно написать дифуры КМ, а всё остальное будет не кодом, а данными, начальными условиями для дифур.

И, я отмечу, это я не просто придираюсь к словам, это фундаментальная вещь: любая модель реальности -- это инструмент, заточенный под решение какого-то класса задач. Нет универсальной модели реальности. Универсальная модель реальности будет неотличима от реальности. Например, что такое "минимум погрешностей" определяется тем классом задач, которые ты собираешься решать, и тем какие требования задачи предъявляют к точности решения.

Цитата: Gradient от 25 Августа 2020, 15:30

Модель реальности строится из базовых блоков, взятых из некоторого языка программирования. При построении модели у нас получится, что какие-то из блоков мы переиспользуем, и потому если оптимизатор достаточно быстро ведёт перебор, то он вынесет эти повторяющиеся блоки кода в функции. Это выглядит довольно разумным, потому что так бы действовал челвоек, так действует deep learning (более ранние слои порождают абстракции, которые используют более поздние слои).

Было бы хорошо, если бы было так, но реально всё хуже. Человек учится решать простые задачи, эти задачи часто несвязаны друг с другом. Потом уровни абстракции повышаются, разные категоризации реальности (возникшие при решении разных классов задач) начинают перемешиваться, а потом человек приходит в школу, и начинает повышая уровни абстракции мышления копать вниз к микроустройству Вселенной. В результате получается такой бардак, что сам чёрт ногу сломит. Психология 150 лет не может разобраться. Философы тысячелетиями голову ломают.

Цитировать

Детали, которые используются часто, окажутся сжаты в функции, вызовы функций относительно компактны в коде, так что по умолчанию AIXI будет плохо замечать сложность, скрытую за функциями.

И это неплохой пример тому, о чём я говорю. У тебя есть модель программирования, и ты пытаешься её натянуть на концепцию интеллекта. То есть у тебя заранее есть модель, и ты обтачиваешь напильником категорию "интеллект", чтобы она влезла в модель программирования. Что ты получишь в результате? Насколько твоя модель интеллекта, которую ты создашь, будет соответствовать реальному интеллекту?

Все доказательства теорем, которые ты будешь строить в рамках этой модели -- будут доказывать теоремы об этой модели интеллекта, а не об интеллекте. Может быть эти теоремы можно распространить на интеллект, может быть нет. Откуда мы можем знать?

Цитировать

Такая расстановка априорных вероятностей выглядит для меня довольно плохой практикой. Кажется, довольно неправильно в любой непонятной ситуации искать проявления разума, причём часто ещё и нечеловеческого.

Это, возможно, наилучшая практика. Если гипотеза о том, что интеллект человека возник в результате социальных игр, то он заточен на то, чтобы моделировать работу других психик. И если мы берём и начинаем приписывать интеллект чему-то, что явно интеллекта не имеет, то мы начинаем использовать развитые нейронные сети (созданные для анализа и предсказания поведения других людей) для анализа этого чего-то. Последнее время я сознательно думаю о программах, как об одушевлённых сущностях. Когда я задаю вопрос программе "да, что ж тебе не хватает в этой жизни, сучара бацильная, зачем ты творишь эту пургу" -- это не просто способ спустить эмоции, это реальный вопрос, которым я озадачен, я так думаю.

Это то же самое, что ты пытаешься сделать с интеллектом, заталкивая его в модель программирования: ты очень хорошо научился мыслить в модели программирования, и для тебя естественно пытаться использовать её для всего, хоть самым отдалённым образом похожего на программирования. Это часто работает. Но надо знать ограничения метода, иначе можно сделать неверные или излишне категоричные выводы.

Добавлено 25 Августа 2020, 16:23:
Кстати:

Everything seems like a nail, when you are holding a hammer.
Всё выглядит гвоздём, когда ты держишь в руке молоток.

https://en.wikipedia.org/wiki/Law_of_the_instrument
https://ru.wikipedia.org/wiki/%D0%97%D0%BE%D0%BB%D0%BE%D1%82%D0%BE%D0%B9_%D0%BC%D0%BE%D0%BB%D0%BE%D1%82%D0%BE%D0%BA

Туда же до кучи, можно вспомнить анекдот, про поиски ключей там, где светло, а не там, где потерял.

Человеческие мозги так устроены. Математику осваивают через геометрию -- о рядах, группах, теории полей Галуа можно думать в геометрических терминах. Как это происходит сложно описать, но я проходил через это, и совершенно точно говорю: я визуализировал группы, когда думал о них. Я визуализировал гомоморфизмы. Я визуализировал ряды. Вся математика, которую мне вколачивали в голову на матмехе, каким-то образом у меня в голове рисовалась. У меня плохо с осознанием этих образов -- я научился их осознанно замечать недавно, когда учился на психфаке, до этого они иногда мелькали картинками, и я не обращал на них внимания и часто неосознавал вообще. Но всё мышление о математических проблемах идёт у меня через геометрические образы. Все слова типа "для любого эпсилона, существует дельта..." это лишь способ описания тех образов: я представляю себе картинку, и начинаю её описывать. И всегда так делал.

Зрительная кора хорошо развита? Почему бы не использовать её, думая о конечных группах?

Рациональность / Re: О рациональном агенте, опорной машине и идеализме

« : 25 Августа 2020, 14:42 »

Цитировать

Я очень упрощённо пишу, скорее всего здесь будет попытка каким-то оптимизатором подобрать удачную модель мира, но теоремы говорят, что скорее всего в этой модели мира будет язык программирования, так как изначально заданный язык будет не очень хорошо описывать наш мир.

Я не очень верю таким теоремам. Эти теоремы созданы людьми, со всеми их интеллектуальными ограничениями. Чтобы доказать теорему о реальности, надо создать модель этой реальности, модель была создана человеком, и человек заложил туда кучу своих ограниченностей. Теорема была доказана о модели, а не о реальности, а соответствие модели и реальности всегда под вопросом.

Цитировать

То есть человеческий разум становится для ИИ онтологически базовой сущностью (или близко к этому), так как разум=моноблок. То есть ИИ становится идеалистом, в философском смысле. Начинает верить в души =)

Хех. Любой человек, в том числе и Гарри Поттер из ГПиМРМ верит в души. Душа -- это историческое название для психики. Спорить о существовании души -- глупо: она и существует и не существет. Она не существует в реальности, но существует в моделях, которые человек использует для мышления о реальности (точнее не так: в некоторых моделях реальности она существует, в некоторых моделях она не существует). И человек не может думать о некоторых аспектах реальности, не включая в свои модели категории "душа" (может быть стыдливо называя её "психикой" или словом "mind" или ещё как-то). Реально спор Поттера с Дамблдором был не о существовании души, а о том, может ли душа существовать в отрыве от тела. Получалось так, что они спорят в терминах, которые замутняют ситуацию, но так получалось потому, что Поттер слишком глуп ещё, а Дамблдор просто не приучен думать так, чтобы пересматривать свои категоризации реальности, в пользу данного конкретного спора.

Психология отказалась от использования слова "душа" для того, чтобы религия не очень возмущалась: религия хочет монополию на работу с душами.

Сообщество рационалистов / Re: Борьба с дезинформацией

« : 19 Июня 2020, 20:01 »

Рынок самобалансируется, но это не значит, что он всегда находится в этом самом балансе. В частности потому, что если проект обещает невысокие прибыли при больших рисках, то кто будет туда инвестировать деньги? Такой проект просто не взлетит. А если проект обещает сверхприбыли и практически наверняка, то ему денег инвесторы будут пихать насильно. Но дело ещё и в том, что оценки перспектив прибыли и вероятностей получить эти прибыли субъективны. И вот тут как раз, появляется поле деятельности для рационалиста (кстати, рациональность изобрели именно в экономике).

Я про какой-то венчурный фонд читал, там совет директоров, который принимает решение инвестировать в стартап или нет, имеет правило: если директора голосуют единогласно "за", то стартап в пролёте, он не получит инвестиций: потому что выгода слишком очевидна, и либо стартап завязнет в конкуренции, либо идея не работает (чего это она до сих пор на уровне стартапа, если она такая многообещающая?)

Сообщество рационалистов / Re: Борьба с дезинформацией

« : 18 Июня 2020, 23:28 »

Цитата: Gradient от 18 Июня 2020, 08:38

Согласен, это серьёзная проблема. И кажется, довольно фундаментальная.

Фундаментальная, но не проблема. За счёт этого работает эволюция: она вообще рандомные изменения в ДНК вносит, и отбирает удачные, ей вообще мозгов не понадобилось, чтобы создать человека, то есть сделать то, что ни одному рационалисту пока не удалось. Это свойство, кстати, можно использовать для обогащения: если набирать людей склонных к риску, с не совсем тупыми идеями, и помогать им в обмен на обещание поделиться сверх-прибылями, и если из десятка случаев взлетит один, то можно неплохо навариться.

Сообщество рационалистов / Re: Борьба с дезинформацией

« : 17 Июня 2020, 23:58 »

Цитата: Gradient от 17 Июня 2020, 10:07

- ну, если у меня калибровка будет прокачана до идеала, то я буду получать лучшие результаты, чем другие люди с тем же стартовым капиталом. Это не позволит стать Рокфеллером, но позволит быть первым парнем на деревне, грубо говоря. Что уже даёт какую-то власть и возможность продавливать свои решения там, где "одноклассники" не могут.

У тебя больше шансов продавливать свои решения, чем у "одноклассников", но есть куча других факторов, в том числе и рандомных, которые влияют. Были исследования, я сейчас не упомню количественно, и ссылок не найду, но уровень дохода человека очень сильно коррелирует с уровнем дохода его предков. Очень важно, откуда ты начинаешь. Но дело в том, что есть ещё и рандом, и чем больше вокруг тебя людей, кто идёт на риск, тем сложнее обогнать 50-перцентиль, не рискуя серьёзно. И под серьёзно, я имею в виду не игру на шансах 1:9, а стоимость проигрыша: если всё что у тебя есть дорогого -- квартира, и ты закладываешь квартиру, чтобы взять кредит, и сыграть в бизнес, при очень выгодных раскладах с точки зрения теории игр, но срабатывает 1% вероятности, которые оставляют тебя без квартиры, то... эмм... ты отброшен назад лет на 10-20. А через 20 лет либо шах помрёт, либо ишак помрёт, и, в общем, следующий шанс стать миллионером будут тянуть уже твои дети. При этом, проблема-то в том, что тебе многократно придётся идти на риск, и хотя бы раз ты проиграешь. А раз так, то, чтобы стабильно двигаться вперёд, тебе придётся диверсицировать, перезакладываться, и двигаться к миллиону очень медленно. Но вокруг есть куча людей, кто идёт на риск, их _очень_ много, и значит будут реализовываться маловероятные исходы, и таким образом, самыми богатыми будут не самые рациональные, а самые везучие.

Сообщество рационалистов / Re: Борьба с дезинформацией

« : 16 Июня 2020, 19:10 »

Цитата: Alaric от 16 Июня 2020, 17:18

Если вкратце, там, в частности, рассматривается вопрос: как бы мы заметили, что рациональность влияет на состояние? Чем бы этот мир отличался от мира, где рациональность не влияет на состояние?

Если мы ожидаем, что рациональность влияет на состояние, то как мы можем это формализовать? То есть, какие именно действия по нашей модели приведут к тому, что у некоего человека, выполняющего эти действия, скажем, доход будет расти на Х% в год?

У "некоего человека" может расти, а может и нет. На состояние влияет очень много факторов. Ну, во-первых, рациональность и интеллект -- это вообще-то ортогональные понятия. Если они и коррелируют, то это потому, что умные чаще интересуются рациональностью. Но не все умные интересуются рациональностью, и не все рационалисты интеллектуалы. Затем, можно вспомнить фактор наследственности, и не только генетической, но и культурной и, если так можно выразиться, социальной: связи и возможности родителей очень помогают детям. Есть и чистый рандом -- чтобы добиться успеха надо идти на риски, и иногда эти риски съедают годы. Даже если мы абсолютно рационально принимаем решения, это не гарантирует нам 100% успеха, это лишь максимизирует вероятность успеха.

Влияние рациональности на успех можно измерить лишь статистически, и то не факт. Чтобы изучить причинно-следственную связь нужен эксперимент, а эксперимент -- это значит контроль над независимой переменной, в данном случае за рациональностью. То есть, грубо говоря, надо набрать выборку нерационалистов, часть (рандомно выбранную) тренировать на рациональность, с другой частью не надо делать ничего, третью часть надо тренировать на что-нибудь другое (можно какими-нибудь медитациями заниматься, восточными единоборствами, шахматами, ..., всё что угодно кроме рациональности), и всё это надо делать несколько лет. Но лонгитюды отличаются тем, что люди начинают вываливаться из исследования, и очень сложно это учесть -- может быть отваливаются самые успешные/неуспешные? Они вываливаются из исследования, вываливаются из статистики, и наша статистика оказывается с bias'ом. Такое может быть, и это надо учитывать. Кроме того, испытуемые могут нарушать условия -- я читал про исследование какого-то лекарства, где людей рандомно поделили на группы, кому-то давали это лекарство, кому-то плацебо, но люди нашли друг-друга через соцсети, перетасовали таблетки, чтобы каждому досталось действующего вещества: они очень хотели излечиться от своей болезни. С рациональностью запросто может быть то же самое -- те кого не тренируют на рациональность, могут начать тренироваться на неё самостоятельно. А, ну и да, те кого тренируют, могут не тренироваться, не прилагать достаточного количества усилий.

Короче, в таком исследовании будет очень сложно выделить сигнал из шума, а это значит, что и достоверный ответ получить крайне сложно.

Цитата: Alaric от 16 Июня 2020, 17:18

И вот я сейчас задумался над одним из этих вопросов и понимаю, что у меня вообще нет никакой модели.

Добро пожаловать в социальные науки.

Цитата: Alaric от 16 Июня 2020, 17:18

Если мы где-то найдём 10 тысяч человеко-часов, чтобы воевать в комментариях, это приведёт к чему? А если миллион человеко-часов? А если не воевать, а вежливо разговаривать? Я вот совершенно не понимаю, даже где можно попробовать поискать ответы на эти вопросы. А вы?

Я примерно представляю. Надо пойти учиться в ВУЗ на специальность в районе психологии/социологии. Думаю, можно и экономику взять. Это даст, во-первых, доступ к базам научных статей, которые можно перерывать в поисках всего связанного, и находя похожие статьи, находить группы учёных, занятых этими вопросами. С ними можно связаться, и позадавать вопросов. Во-вторых, можно найти на факультете кого-нибудь, кто в теме, или хотя бы в смежной теме, он(а) поможет.

Первое, в принципе, наверное можно делать и без доступа к базам: есть всякие google scholar, где можно искать статьи, и есть sci-hub, где их можно скачивать. Но тут всё равно есть проблема понимания статей: статьи бывают разные, надо уметь отфильтровывать гумно; статьи полагаться на какие-то подразумеваемые знания у читателя, как правило они оставляют ссылки, но некоторые вещи надо просто иметь. Надо мыслить определённым образом. Я когда математическое образование получал, на третьем курсе начал чувствовать, что все эти математики загоняют моё мышление в рамки, формуют, придают определённую форму, в некотором смысле промывают мозги. Когда же я получал психологическое образование, я с первого курса в режиме реального времени наблюдал, как изменяется мой процесс мышления о людях. Я читал учебники по экономике, и там тоже явно вбиваются определённые модели мышления о проблемах. Вот эти способы мышления усвоить сложнее всего, по-моему, а без них можно упускать важные вещи в статьях.

Сообщество рационалистов / Re: Борьба с дезинформацией

« : 16 Июня 2020, 16:55 »

- ну, как ведутся информационные войны? Во-первых, можно физически уничтожить того, кто высказывает вредные идеи (это не предложение, просто первая идея, которую высказал бы тот самый парень, который предложил заточить кости пуффендуйцев). Во-вторых, можно задавить чужую идею шумом. В-третьих, можно компрометировать чужую идею... Например, создав и распиарив её "соломенное чучело". В-четвёртых, можно высмеять чужую идею. Много вариантов сделать так, чтобы доминировали "наши" идеи, безотносительно их правильности. Многие игроки станут при распространении своих идей использовать такие приёмы - значит, отказываясь от них, мы отказываемся от преимущества. И в условиях, когда у "наших" и "враждебных" идей примерно поровну грубой силы, начнёт побеждать та идея, которая лучше именно с точки зрения истинности (прогнозирующей способности, логичности и так далее).

Нет, если критерии победы не включает в себя истинности, то побеждать будут самые громкие, а не самые истинные. Люди играя в игру подстраиваются под правила, если по правилам не нужно соблюдать внутреннюю непротиворечивость, если факты можно принимать как факты или отвергать как фейки на основании пожеланий левой пятки, если ad hominem считаеть валидным критерием для принятия или отвержения гипотезы, то толку в этом никакого. Всё то, что сейчас называют информационной войной, вовсе не нацелено на то, чтобы убеждать людей, всё это нацелено на то, чтобы создать такое количество информационного шума, чтобы люди не могли бы в нём сориентироваться и были бы вынуждены выбирать чью-то сторону, делегируя критический анализ информации кому-то там.

Если ты начинаешь прибегать к троллям для отстаивания рациональной позиции, то ты лишь увеличиваешь количество информационного шума. Но дело не только в этом. Выбор методов для ведения конкурентной борьбы -- это очень близко к дилемме заключённого. В смысле, людям в целом выгодна рациональная дискуссия, но людям взятым по отдельности выгодна игра без правил. В ГПиМРМ Квиррелл разбирал схожую ситуацию, когда описывал поведение Гарри в первом его конфликте со Снейпом.

разумная дискуссия в среднем менее убедительна, чем аппеляция к эмоциям и грубой силе. Поэтому если нет паритета по грубой силе, то люди будут чаще переходить в "лагеря противников", чем в наш.

Это так, но при множестве неявных допущений, которые я даже перечислить затрудняюсь. Допустим, я дискутирую с тобой, забив на какие-либо правила, но ты имеешь гораздо больший опыт дискуссий, и поэтому несмотря на моё преимущество, оказываешься убедительнее. Или, можно вспомнить бихевиоризм, и _дрессировать_ оппонента на то, чтобы он предпочитал рациональные методы ведения дискуссии -- при должном навыке, можно это делать так, что он не заметит этого (кстати это работает, в не самых запущенных случаях: если в качестве подкрепления использовать высказывание согласия с оппонентом, то оппонент неосознанно начинает использовать те самые методы, которые работают, помимо согласия можно использовать похвалу или всё что угодно ещё, что будет пробуждать в оппоненте позитивные эмоции). Или можно провоцировать оппонента, создавать у него чувство превосходства, и ждать когда его занесёт так, что потом он будет выглядеть последним идиотом. Или можно вообще забить на дискуссии с ними, и, скажем, захватить власть в отдельно взятом государстве, и создать из него государство рационалистов. Хотя с государством может не выйдет... ну, тогда можно попытаться создать корпорацию, успех в которой требует рациональности. Или даже создать ассоциацию компаний, участие в которой требует от организации принятия каких-то там условий на внутреннюю структуру, с тем чтобы только в эту ассоциацию попадали бы только компании рационалистов. Если это продумать так, чтобы состоять в ассоциации было бы выгодно, то можно выйти на ситуацию, когда любой частный бизнес в стране насаживает рациональность среди сотрудников, в надежде попасть в ассоциацию, а это значит что десятки процентов трудоспособного населения оказываются в тренингах на рациональность.

Это я просто навскидку нафантазировал.

- интеллект - это способность агента направлять реальность в том направлении, куда ему хочется.

А в каком ему хочется? Человек -- не рациональный агент. У него есть цели, есть "анти-цели" (то есть то, чего ему хочется избегать), у него есть своя система ценностей, и у разных людей разная. Может интеллекту вообще не хочется менять реальность? Может ему достаточно иметь хороший входящий поток информации, чтобы было чем заняться?

- я полагаю, это именно стереотип нашего культурного кода. Если человек может считать будущее на 10 ходов глубже окружающих, при прочих равных он всё равно всех сделает, даже если в культурном коде это не прописано. Ему же не обязательно быть социально неадаптированным. Если это будет важно для достижения целей - адаптируется, в чём принципиальная невозможность?

Ему может не хотеться социально адаптироваться. Или может ему не получается адаптироваться -- может он аутист? Или может трудное детство, травмированная психика, и таким образом социальная адаптация для него оказывается невероятно сложной? А может просто он прошит культурным кодом, и для него социальная адаптация сродни читерству?

Может, вы имеете в виду, что в России люди, которые хорошо умеют в эпистемологическую рациональность, одновременно имеют склонность быть аномально слабыми в инструментальной рациональности? Из-за каких-то национальных стереотипов.
Я что-то подобное вижу и в Росии, и в статьях про зарубежье. Что есть люди, вроде бы умные, вроде бы социально небезразличные, но они не учатся тому, как стать лидерами и решить проблемы руками своих последователей. Почему так? На самом деле социальные задачи им не так важны? Или настолько силён стереотип, что интеллектуалы не стоят по главе корпораций/армий/культов?

Да, я что-то типа того имею в виду. Почему так происходит -- это отдельный вопрос. Мне кажется, что по-крайней мере отчасти, это самовоспроизводящийся процесс: чем больше умных людей, не вписывающихся в общество, тем крепче стереотип, что умный человек не вписывается в общество. Чем крепче стереотип, тем больше умных людей, не вписывающихся в общество.

Цитата: Gradient от 15 Июня 2020, 13:40

В любом случае... Может, я ошибаюсь, но кажется, люди, которые прочитали значительную часть цепочек Юдковского, понимают связь между умением познавать мир и умением им управлять. Хотя бы примитивная идея из теории ИИ: создай максимум возможных планов, а затем оцени, какой ближе всего приведёт к цели. По идее, интеллектуалы уж оценивать эффективность планов должны уметь лучше не-интеллектуалов, иначе непонятно, что это за интеллект у них такой) И мне кажется вероятным, что люди из этого сообщества способны при большой мотивации собрать "армию ботов" и зашумить, а то и подавить те интернет-ресурсы, которые распространяют неугодные им идеи

Я очень надеюсь, что они не начнут этого делать, потому что уверен, что это приведёт лишь к ухудшению ситуации, а не к улучшению. Нельзя научить людей мыслить рационально силой. Людей вообще очень сложно учить силой.

Сообщество рационалистов / Re: Борьба с дезинформацией

« : 16 Июня 2020, 15:10 »

Возникла мысль на мета-уровне. Если мы как сообщество рационалистов действительно настолько рациональнее большинства, что собираемся это большинство чему-то учить, то по идее, мы должны быть сильно лучше других в "искусстве выигрывания". Если так, то почему не решить вопрос грубой силой - не нанять сами толпу троллей для комментариев? Ну или не заказать кучу роликов, пропагандирующих нашу точку зрения по каким-то особо опасным заблуждениям.

Подключить троллей и показать всем, что наши тролли лучше других троллей?

Цитата: Gradient от 15 Июня 2020, 13:40

В смысле, если мы настолько рациональнее большинства, почему мы не настолько богаче и влиятельнее?

Это американская фишка -- интеллект=состояние. Это часть американской культуры, просто культурный код, без каких-либо рациональных обоснований за ним. Его задача не отражать истину, а направлять массы. В смысле, этот культурный код сам себя делает истиной: если достаточно большой процент населения является носителем этого кода, то он хорошо отражает реальность. У нас это работает хуже, потому как в нашей культуре интеллект -- это скорее социально неадаптированный тип, который часто вопреки системе добивается каких-то своих целей, и часто эти цели не включают в себя личное благосостояние или власть.

Цитата: Gradient от 15 Июня 2020, 13:40

А так - я на сайте Общества Скептиков видел статью, которую теперь не могу найти (вместе с самим сайтом). Статья о том, как аргументы меняют мнение людей. Я оттуда вынес мысль, что на людей таки можно повлиять аргументами, но в основном на тех, кого обсуждаемый вопрос затрагивает напрямую. Это результат не спекуляции, а эксперимента. Например, по вопросу "правильно ли поступил Лукашенко, когда разрешил парад во время эпидемии" вряд ли удастся многих переубедить. А по вопросу "правда ли мне не стоит ездить на автобусе и метро во время эпидемии" переубедить людей будет проще, потому что от ответа на этот вопрос здорово зависит распорядок дня, семейный бюджет и здоровье.

Да, я тоже обращал внимание. Абстрактные вопросы, которые не влекут за собой изменения поведения, совершенно бесполезно обсуждать в интернете. Лишь в избранных уголках интернета это возможно.

Сообщество рационалистов / Re: Борьба с дезинформацией

« : 22 Мая 2020, 17:23 »

Я тут прочитал книжку Померанцева "Это не пропаганда". Автор излагает довольно депрессивную картину современной информационной среды, которая настолько наполнена попытками манипулировать людьми, что отличить истину от лжи там невозможно. Я не успел переварить книгу полностью, но пока мне кажется, что она даёт мне ещё один нарратив, ещё одну призму через которую можно смотреть на реальность и видеть её немного в другой проекции.

Не уверен, что эту книжку можно рекомендовать на русскоязычном форуме, потому что книжка написана человеком родившимся в семье советских диссидентов с Украины, он очень много уделяет внимания конфликту на Украине, его мозги промыты украинской "не пропагандой", а возможно ещё всякими другими "не пропагандами" (впрочем, надо отдать ему должное, он явно предпринимал попытки освободить свои мозги от последствий промывки), в то время как мозги подавляющего большинства русских промыты кремлёвской непропагандой (мои в частности), и поэтому довольно сложно читать. Мне во всяком случае было сложно. Но если вы можете отвлечься от непрерывного поиска истины и лжи, и принимать точку зрения другого, не как претензию на истину в последней инстанции, с которой всенепременно надо бороться, а как точку зрения на которую он имеет полное право, и точку зрения понимание которой поможет вам понять этого другого, то тогда может имеет смысл почитать.

Так вот, в книге был пример украинца с Донбасса, который в процессе возникновения сепаратизма в острой фазе пытался бороться с этим, пуская фейки про что-то типа "к нам едут 200 боевых геев-правосеков, которые вырежут всех сепаратистов". И я задумался вот о чём: как эти фейки повлияли на развитие ситуации? Они усложнили жизнь сепаратистам, или они наоборот сделали их решительнее и сподвигли вылезти из интернета и заняться чем-то конструктивным, чтобы защититься от 200 боевых геев-правосеков?

И это лишь пример тому, как благими намерениями дорога выстилается в ад. Создать ресурс, разоблачающий фейки, по-моему, тоже не вариант нисколько. Либо этот ресурс будет забытым углом с пятью визитами в месяц, либо если ему удастся раскрутиться, то он сам станет целью для фейков. Всем будет "известно", что он финансируется Ротшильдами, с целью разрушить существующий миропорядок, включая сюда и православную Россию. На каждое опровержение фейка будет выкладываться десяток опровержений опровержений фейка. Придётся столкнутся с тем, что проплаченные тролли будут рваться на ресурс, и сводить любой диалог в срач. И, наконец, люди на этом ресурсе -- тоже люди, они и без внешней помощи смогут скатиться в холивар, а если им помочь... Ах да, и ещё один момент: генерация фейков гораздо проще, чем грамотное их опровержение, и за генерацию фейков платят.

Ходить везде и спорить с фейками, по-моему, значит играть на руку тем, кто эти фейки распространяет: чем дольше люди спорят, тем больше поляризации в споре. У меня огромный опыт споров в интернете. Мне всегда было интересно как можно переубедить человека, и я скажу, что я не знаю как это сделать. Есть смутные подозрения, что если очень по чуть-чуть действовать, приучать человека к определённым правилам мышления/ведения дискуссии (не обязательно наилучшим и самым правильным правилам, достаточно приучить к каким-нибудь), то со временем можно будет начать указывать на противоречия во взглядах другого человека, и благодаря тому, что он привык рассуждать по правилам, ему не удастся объехать эти противоречия на кривой козе, придётся разрешать как-то, то есть искать какое-то своё ложное убеждение и отказываться от него. И если продолжать так несколько лет, то что-нибудь да получится. Но я не знаю сработает это или нет: я замечал на разных ресурсах, что ежели систематически блистать риторическими достижениями, то со временем появляются подражатели, которые используют мои приёмчики. Причём даже такие положительные приёмчики, типа "понять точку зрения другого". Но, для того, чтобы выйти на этот уровень, мне потребовалось 15 лет опыта участия в холиварах в интернете, психологическое образование, и довольно широкий кругозор. Но даже этот опыт весь -- это опыт холиваров с людьми, которым не платят денег за то, чтобы выставлять меня в негативном свете. И по-моему я не сталкивался со скоординированными атаками.

То есть вопрос "что делать с этой не пропагандой" -- это очень интересный вопрос. Совершенно непонятно, как ей противостоять. Например, есть сайт news.ycombinator.com, мне очень нравится то, что происходит там в комментах. Выверенные мнения, уважительное общение. У создателей сайта был план, как достичь создания такого сообщества, и у них получилось. Но там политика под запретом. Потому что даже там не удаётся выстраивать вменяемые обсуждения политики, любое обсуждение скатывается во что-то невменяемое.

Но всё же, первый вопрос, который надо себе задать, это вопрос "зачем". Каких целей мы пытаемся достичь. Получить достоверный источник информации для себя? Нести людям свет, обучая их ориентироваться в этом море дезинформации? Или вычистить интернет от дезинформации? Ни одна из этих целей не может быть достигнута в сколь-нибудь полной мере, хоть что-то и можно сделать, наверное. Но эти разные цели могут предполагать разные средства.

Общение / Re: Коронавирус: что думаете?

« : 22 Мая 2020, 16:01 »

Несколько запоздало, но всё же:

https://www.visualcapitalist.com/history-of-pandemics-deadliest/

По ссылке визуализация смертности от разных пандемий. За последние 100 лет короновирус попадает в top-5 пандемий. От в три раза отстаёт на сегодня от всяких там гонконгских гриппов.

А насчёт оправданности -- это зависит от того, что ставить во главу угла. В смысле, тут надо сравнивать яблоки и апельсины: грубо говоря, что важнее, 100k человеческих жизней или один процент экономики.

Но если с другой стороны, посмотреть, то а) размер экономики сильно связан с количеством людей в ней, б) экономике в долгосрочной перспективе полезны потрясения, потому как иначе экономические отношения кристаллизуются, и бизнес переходит к фазе "мы всегда делали так". А тут пинок под зад что-то менять.

И это касается не только экономики как таковой -- вскрылась куча проблем в медицинской системе, если сейчас наши чинуши прекратят стонать "вывсёврети", признают проблемы и начнут их решать, то можно надеятся, что к следующему разу всё будет гораздо лучше.

Обсуждение книги / Re: Критика произведения

« : 30 Декабря 2019, 23:48 »

1) в книге есть хороший пример, как этому можно учить - проф.ЗОТИ.

проф.ЗОТИ учил боевой магии. В реальной жизни большую опасность представляют всякие там филчи, которые тебе исподтишка каку сделают. Ты глупо подставился, зачем-то проводя собрание после отбоя, дал Филчу повод, и... вот зачем ты это делал? Что до отбоя мало времени? Малфой утонул в каких-то грёзах, в игре в секретное сообщество слизеринцев, Филч его на этом поймал и создал условия для того, чтобы Малфой стал бы чуть взрослее. Возможно и какой-нибудь ещё урок извлёк бы из своего приключения в Запретном Лесу.

2) "метод" Филча сводится к способу обучения плавать киданием всех детей подряд в бассейн с водой. Ну хорошо, не в бассейн, в пруд, где местами может быть мелко. Большинству везет, они попадают на мелководье.

Проблема в том, что если дети до пубертата ещё могут включаться в игру и верить в то, что игра==реальность, то в подростковом возрасте, они гораздо лучше видят за игрой реальность. И "резиновые" риски они видят именно как "резиновые". Если риск -- лишь видимость, лишь игровая условность, то значит и относиться к нему нужно как к условности. Я как-то читал мнение о современном фехтовании, которое сводилось к тому, что сведённый к нулю риск получения травмы, привёл к тому, что фехтование превратилось в совершенно нереалистичную игру. Что современный фехтовальщик долго бы не протянул в средних веках -- он был бы крутым фехтовальщиком, но его неспособность оценить здраво риски, довольно быстро привела бы его к смерти.

И тут можно оценить уроки проф. Квиррелла с этой точки зрения: насколько тактические навыки обретённые студентами будут применимы, когда вместо сомниумов будут летать авады кедавры? Когда риск станет реальным и неиллюзорным, будет ли готова Парвати застрелить Падму, ради победы Солнечных? Будет ли готов неназванный Солнечный вести в бой иллюзорных солдат против Поттера, зная что для него это безусловная смерть?

Филч -- это ещё больший реализм, нежели то, что делал Квиррелл. Правда и более рискованный, но стоит ли избавление от этого риска такой потери в реализме? А если учесть то, что Дамблдор, судя по его высказываниям, подталкивал студентов к посещению Запретного Леса, и делал это уже несколько десятилетий, и тем не менее никто не умер -- может риски не такие уж и большие?

3) целью Филча не было кого-то чему-то научить.

Какое нам дело до целей Филча? Мало ли что Филч думает о том, что он делает и зачем он делает, нам важно то, что из его деятельности получается.