Просмотр сообщений - Muyyd

Просмотр сообщений

В этом разделе можно просмотреть все сообщения, сделанные этим пользователем.


Сообщения - Muyyd

Страницы: [1] 2 3 ... 14
1
Общение / Re: Юдковский и ИИ
« : 16 Января 2018, 04:44 »
Вот можно посмотреть где его фамилия упоминается, например, тут https://intelligence.org/all-publications/

2
Общение / Re: Шиномонтажная мастерская
« : 27 Сентября 2016, 18:04 »
Alaric,
А как насчет преступников, привыкших зарабатывать преступлением? В краткосрочной перспективе то оно конечно не видно, но дальше (как и полагается в трагедии общин) - всем худо будет. Кроме того, ты имплицитно предполагаешь определенное расположение шиномонтажек (и даже диапазон их количеста) в сочетании с равномерно распределенными ловушками.

Даже если и не трагедия общин, это определенно какой-то частный случай проблемы Ньюкомба (раз есть агенты, чье благосостоания зависит от их действий и знаний о других агентах). Рационально будет смоделировать ситуацию в контексте когнитивных искажений, а так же в контексте теории игр, и создать такие условия, в рамках которых такие злодеяния не выгодны в среднесрочной перспективе и губительны - в долгосрочной. С чем люди, как я наблюдаю, неплохо справляются.

3
Общение / Re: Шиномонтажная мастерская
« : 27 Сентября 2016, 17:27 »
Про методы, позволяющие увидеть разницу между корреляцией\причинностью писал Перл, на основе этого еще написал Юдковский.
Про то, как сложно вычислить (и как легко запутаться) писал Талеб.
Сам я не разбираюсь.

В случае с шиномонтажкой очевидна проблема общин - частный случай проблемы Ньюкомба (которая возникает всякий раз при взаимодействии конкурирующих агентов, обладающих какой-то информацией про алгоритмы выбора другого агента). Рационально будет, с позиции автолюбителей, создать какую-то организацию по охране машин (вроде частных стоянок) и организацию по расследованию таких дел в целом (вроде полиции). 

4
Чтобы иметь цели и достигать их (попутно улучшая себя), не нужно самосознание (по крайней мере не то, о котором говорят философы до-ИИ эры). Не нужно оно и для того, чтобы натворить дел в узкой области.

5
Борстром, в книге, пишет, например, про возможность создания ИИ с как бы человеческим уровнем интеллекта (human-like алгоритмы), но на современном железе вместо биомассы мозга. С учетом разницы в скорости прохождения сигналов, коалиция (копии можно получить в результате, например, промышленного шпионажа) таких "разумов", объеденных похожими целями, представляется вполне реалистичным SAI.

6
Да. Я за то, чтобы заказать начитку книги тому, кто хорошо начитывает.  А если еще и разными голосами - совсем хорошо.
Еще я за то, чтобы заказать перевод статей тем, кто хорошо переводит. И, чтобы заказать начитку результатов тем, кто хорошо начитвает, я тоже за. Например, на сайте кастифай, за 60 часов просят около 60$ (но это не тоже самое, что и заплатить одному начитчику, как верно заметили ранее).
Но все это очень дорого выглядит.

7
Я советую ознакомиться с Superintelligence: Paths, Dangers, Strategies

8
Дело в том, что после некоторого времени обучения-улучшения дипблю, его создатели уже были неспособны предсказать, какой ход сделает программа. Так и с нашим оптимизатором - нам не только будет трудно понять, что же он будет оптимизировать, но и предугадать  как конкретно он это будет делать тоже сложно (или даже невозможно). Это как загадывать желания злому джину. Вечная молодость - будь статуей (или что-то вроде того).
Поэтому стремно оперировать оптимизатором неизвестной спецификации.

9
Я и сам оптимизатор хоть куда! Кроссдоменный. :)

Я бы его от сети отключил и разобрал бы железо на винтики.

10
Надеюсь, Аларик не попадется и не станет обсуждать рациональность в рамках определений поп культуры, а  останется в рамках максимизации ожидаемой полезности (инструментальной рациональности - как достигать целей наиболее эффективно) и  байесовского вывода (эпистемической рациональности - как наиболее точно сводить свою модель реальности с наблюдаемыми свидетельствами), как нормативных моделей.

Обе нормы, как видно - количественные, т.е. можно быть более или менее рациональным.

Стоит признать, однако, что, лишь на основании переведенных статей, такого понимания рациональности не получить.

11
Говорить с человеком - воздействовать на его разум. Сказать самому себе "это не мое дело" - воздействовать на свой. И я выделил этот способ потому что он так интересно выражается с точки зрения изменения силы свидетельства-действия.

12
Давайте четко разделять трансферинг и то, что я выделил. Признаюсь, про трансфериг ничего не знаю.

13
Вместо того, чтобы позволять вам формировать рамки разговора (как следовало бы мне поступить, если бы я ставил целью переубедить вас, независимо от того, как искренне мои чувства: думаю ли я что прав, или просто хочу ваших денег), я сам их задам.
В чем важность байесовской процедуры?
Во-первых, рассмотрим эту процедуру в исполнении существа со стандартным человеческим мозгом (не пораженным недугами иррациональности ).
1. Определяются конкурирующие гипотезы.
2. Задаются априорные конкурирующих гипотез. Их можно задавать, спросив себя "как часто", "с какой частотой", можно представить их в виде множеств и сравнить размеры.
3. Оценивается сила свидетельства. В моем случае это происходит, как сравнение возможных миров, где я сравниваю ожидание наблюдать какое-то событие (свидетельство).
4. В зависимости от того, как показало себя свидетельство, следует изменить свое ожидание относительно гипотез - апостерироную вероятность.

Вы можете спросить - ну и что? В чем польза этой процедуры, да и процедура ли это вообще, ведь сравнивать множества можно и не называя их априорными, определять силу свидетельства тоже можно вне теоремы Байеса. Что-то есть притягательное в стройных и понятных алгоритмах. Не знаю.

Однако, я знаю о нескольких когнитивных искажениях (КИ). Неслучайно я буду подавать (предполагая, что и вы о них что-то знаете) их в порядке.
1. Ошибка подтверждения (confirmation bias). Пример 2-4-6. Как-то так получается, что выделив (обратив внимание) гипотезу, мозг начинает (если эта гипотеза не находится за пределами "правдоподобности") подбирать разные мысли, которые, почему-то, вместо того, чтобы опровергать ее - подтверждают. Изменяет ли вам ваша половинка? Задерживается и не отвечает на звонки!
Однако, у нас есть Процедура. Так уж теорема устроена, что в ней должно быть не менее ДВУХ конкурирующих гипотез. А это препятствие на пути ошибки подтверждения. Процедура принуждает вас рассмотреть конкурирующие гипотезы.
2. Игнорирование априорной вероятности (base rate neglect). Некоторые русские пьяницы, а некоторые кавказцы - драчуны. Дает ли определение априорных какое-то преимущество в оценке этих высказываний, в сравнении с приведенными слабыми силлогизмами?
Разумеется, ничего в самой теореме не принуждает сравнивать частоту или размеры множеств (или другие способы задания априорных). Всегда можно начать с 50\50. Но можно ли честно сказать, что часто встречаются ситуации, где НЕТ НИКАКОЙ ИНФОРМАЦИИ В ГОЛОВЕ ВООБЩЕ?.
3. Нечувствительность к тому, какую вероятность назначают свидетельству конкурирующие гипотезы (оно же silent evidence, P(E|!H), и,вроде бы Selection bias и ошибка выжившего). В контексте КИ, это искажение представлено исследованием (Doherty and Mynatt (1990)), где участников просили побыть докторами и определеить, какие данные нужны для диагностирования: процент людей с Болезнью, процент людей без Болезни, процент людей с БОлезнью у которых есть сыпь, процент людей без БОлезни у которых есть красная сыпь. 48% проигнорировали последний кусок данных.
В историческом контексте я встретил описание этого искажения у Талеба в "Черных Лебедях".
Цитировать
Более двух тысяч лет тому назад римский оратор, беллетрист,  мыслитель, стоик, политик-манипулятор и (почти всегда)   благородный джентльмен Марк Туллий Цицерон в трактате "О   природе богов" поведал такую историю. Греческому философу Диа-  гору, прозванному Безбожником, показали изображения людей, которые молились богам и спаслись при кораблекрушении.   Подразумевалось, что молитва спасает от гибели. Диагор спросил:  "А где же изображения тех, кто молился, но все-таки утонул?" 
Набожным утопленникам не так-то просто высказать свое  мнение со дна морского по той причине, что они мертвы. Как  следствие, поверхностный наблюдатель запросто может  поверить в чудеса.
У него же. Все ли новички, приходя в казино, могут рассчитвать на "удачу новичка", или же те, кому повезло, будут возвращаться, рассказывая об "удаче новичка"? В то время как те, кому не повезло - не играют и, разумеется, про "удачу новичка" молчат. Должен ли бизнесмен иметь качество Х, как это рассказывают нынешние миллионеры? Что скажут те, кто обладал Х и все равно прогорел?
4. Не знаю есть ли у этого официальное название, однако некоторые люди способны творить что-то вроде ментальной магии. Они (и я принадлежу к этим счастливчикам) могут, каким-то образом, извлекать себя из цепочки причин и следствий с помощью семьи волшебных заклятий: "я умываю руки", "делайте что хотите", "это не мое дело". Изнутри это ощущается так если бы после произнесения этих слов мои действия теряют силу (перестают быть байесовским свидетельством, т.е. становятся таким, для которого частное P(E|H)\P(E|!H)=1). С помощью этих слов я могу воздействовать даже на разумы других людей.


Итак.
В байесовском выводе, в байесосвкой вероятности, возможно, нет особой ценности. Ведь ценности располагаются в мозгах, воспринимающих эти объекты. Какую роль в жизни играет приведенный выше эмпирический кластер мыслительных паттернов? Как часто и какая нужда в том, чтобы на вопросы такого рода давались ответы, соответствующие нормативным процедурам? Полезней ли игнорировать априорные? Рассматривать альтернативные гипотезы? Прислушиваться к молчаливым свидетельствам?
Если есть альтернативные подходы решения этих проблем (желательно разработанные на уровне Канемана и Юдковского, да, наглость), если есть "другие проявления рациональности" я бы с интересом про них узнал (про Gerd Gigerenzer я уже знаю).
--------------------------------
Так же, я не встречал (не искал) чтобы кто-либо рассмотрел идею Юдковского о о байесовской структуре познания с точки зрения второго закона термодинамики. Звучит она убедительно и, естесственным образом, напрашивается мысль: если познание, в какой-то мере байесово, почему бы не усилить его, принудив Систему 2 следовать процедуре байесовсткого вывода?

14
Наткнулся  на интересное у Становича.
Цитировать
A similar admonition applies when we think about the relation between emotion and rationality. In folk psychology, emotion is seen as antithetical to rationality. The absence of emotion is seen as purifying thinking into purely rational form. This idea is not consistent with the definition of rationality adopted in this book. Instrumental rationality is behavior consistent with maximizing goal satisfaction, not a particular psychological process. It is perfectly possible for the emotions to facilitate instrumental rationality as well as to impede it. In fact, conceptions of emotions in cognitive science stress the adaptive regulatory powers ofthe emotions. For example, in their discussion ofthe rationality of emotions, Johnson-Laird and Oatley (1992) conceptualized emotions as interrupt signals supporting goal achievement. Their basic idea is that emotions serve to stop the combinatorial explosion of possibilities that would occur if an intelligent system tried to calculate the utility of all possible future outcomes. Emotions are thought to constrain the possibilities to amanageable number based on similar situations in the past.

15
Вроде бы в статье не было упоминаний кривой (грубо говоря - использовать анки) забывания и майндмап. Усилить пользу получения быстрой обратной связи можно, организовав обсуждения, но это трудно сделать: найти людей, заинтересованных в материале, освоивших его недавно, желающих обсуждать.

Страницы: [1] 2 3 ... 14