Сообщения

16

Lesswrong.ru content / Re: Невозможный возможный мир

« : 30 Март 2017, 11:59 »

Как я понял. У 1+1= есть много возможных вариантов.
1+1=1
1+1=5
1+1=9
1+1=банан
1+1=свет
1+1=пи
1+1=didn't read.gif
Однако, если мы дадим определения всем знакам и правилам вывода, то логически невозможно, чтобы у 1+1= был какой то другой ответ, кроме 2. У людей нет логического всезнания и, когда мы следуем какой-то логической линии рассуждений (с определенными понятиями и правилами вывода), то все еще не знаем к чему она нас приведет (поэтому можно говорить про множество возможных миров), но из-за того, что у нас определены понятия и правила вывода, ответ к которому мы придем уже предопределен (хоть мы его и не знаем пока). Поэтому действительно возможными мирами будут только те, которые детерминированы определениями и правилами вывода, а все остальные возможные - являются невозможными.
Я нашел https://plato.stanford.edu/entries/impossible-worlds/. Там нашел можно найти две ссылки про Impossible Possible Worlds, одну из которых я бегло просмотрел.

17

Рациональность / Re: Препарируя реальность

« : 25 Март 2017, 23:37 »

как оцениваете, читал я ли я эти тексты до того, как писать на форуме?)

Одно дело - прочитать, другое - применить. Впрочем, не похоже, что сами методы и их примеры показались вам полезными.

Бритву Оккама я более чем активно использую. Например, есть ли основания отличать индукцию Соломонова от схоластических рассуждений - ибо она в общем случае невычислима, а в конкретных случаях её использование непрагматично (непонятно, даже если менять кучу вычислительных ресурсов на код самой короткой программы, чем это будет лучше 7z-архиватора.)

Я читал что-то подобное (неисчислима) и про теорему Байеса.
А эти вы читали?
http://lesswrong.com/lw/q4/decoherence_is_falsifiable_and_testable/
http://lesswrong.com/lw/q3/decoherence_is_simple/

18

Сообщество рационалистов / Re: Lesswrong-wiki

« : 22 Март 2017, 20:13 »

Если посмотреть на википедию, то видно, что она в себе совмещает учебник с энциклопедией.

19

Сообщество рационалистов / Re: Lesswrong-wiki

« : 22 Март 2017, 20:01 »

А еще есть https://arbital.com/, над контентом которого трудится (это видно по истории его правок - довольно регулярно) вместе с остальными участниками - Юдковский. Если бы я брался за заполнение нашей вики, то сравнивал бы (а то и совмещал) инфомарцию как с https://arbital.com/, так и с https://wiki.lesswrong.com/wiki/LessWrong_Wiki.

20

Рациональность / Re: Рациональное поведение в группе

« : 20 Март 2017, 20:41 »

На фундаментальном уровне, думаю, групповая рациональность будет продолжением индивидуальной. В том смысле, что рациональные агенты даже в группе все еще должны следить за тем, что бы используемая ими теория принятия решений следовала аксиомам ожидаемой полезности, т.е. для достижения наивысшего в иерархии предпочтений события следует выбирать действие, которому приписывается наивысшая среди возможных действий вероятность достигнуть этого события и соблюдать принципы транзитивности и прочие. На более низком уровне абстракции, как мне кажется, будет TDT или EDT (CDT вроде бы скатывается в рекурсию (агентов, моделирующих процесс принятия решений другими агентами, которые, в свою очередь моделируют процесс принятия решений агентами, моделирующими процесс принятия решений...) и поощряет выбор одной коробки в проблеме Ньюкомба).
Далее, на уровне конкретных действий неплохо было бы, чтобы люди, разбирающиеся в том, что я выше описал, посмотрели бы на предлагаемые модели сотрудничества, и, на основе того, как предлагаемые модели корректируют искажения и прочую иррациональность, описали бы на понятном рационалистам языке наиболее перспективные модели.

Например,  ненасильственная коммуникация - перспективная процедура для общения. Насколько я понял - она сильно доминирует по критерию сигнал/шум над обычным способом выражения функции полезности: "я хочу Х" или "нам надо сделать Х", "ты мешаешь, замолчи", "тебе не хватает рациональности". (тут мне, разумеется, надо бы показать на примерах это доминирование, но это долго описывать ("просто примеры" можно и самостоятельно найти, но их рациональный разбор займет довольно много времени) и я сам лишь только недавно начал разрабатывать эту тему - пересмотрел часов 30 видео на ютубе) Но при этом у нее странные отношения причинности и ответственности (практикующий ННК человек полностью берет на себя ответственность за испытываемые им эмоции, что либо подразумевает выработку нового узла {интерпретация}в цепочке {действие - эмоция}, либо причинная связь между событиями и эмоциями отрицается - пока непонятно; причем сам я почти не разбираюсь в  отношениях причинности и ответственности) и, вдобавок к этому, потребности образуют закрытое пространство и предполагается тренировать себя интерпретировать любые сигналы как попытку реализовать одну из потребностей.
Значительную роль в ННК играет язык-прайм. Но не стоит путать его с языком политкорректности, ведь он является в большей степени языком корректности и точности.

В общем, рациональное поведение в группе  и рациональное поведение групп - еще одна область требующая не только знания формальной стороны рациональности и но и дофига предметных знаний, в том числе и по уже существующим моделям, которые, с учетом того, что они выдержали испытание временем, должны быть в чем-то рациональными.

21

Рациональность / Re: Препарируя реальность

« : 19 Март 2017, 14:08 »

Итого: я не вижу, чтобы вам был интересен мой исходный вопрос.
Вы привлекаете сложные концепты: информация, вычислительное устройство, ИИ - вместо того, чтобы сосредоточится на простом исходном вопросе. Я предпочитаю редуцировать, а не усложнять.
Вы написали кучу вопросов, но не сделали даже намёка на то, почему они с вашей точки зрения будут полезны.

Я действительно отвечал не на тот вопрос. И, набрасывая направления рассуждений для ответа, я ориентировался на такие способы взаимодействия со сложными вещами вроде "реальности" как: какого вида алгоритмы связывают слова с наблюдениями (чтобы не попасть в ловушку, описанную в примере со звуком и деревом и какого вида алгоритмы воспроизводят сложные явления в голове

Я исследую вопрос "как определяется реальность?".
Чтобы ответить на вопрос содержательно, необходимо раскрыть наиболее фундаментальные способы столкнуть несколько разных мнений и понять, какое из них больше нуждается в коррекции.

Не очень понятно, чем вам не угодили наблюдения и эксперименты, а также (если наблюдать пока рано или совсем нельзя) - вещи  вроде minimum message length или индукции Соломонова (или их современных версий).

22

Рациональность / Re: Препарируя реальность

« : 19 Март 2017, 09:57 »

А какой из ваших вопросов в первом комменте является исходным?
Есть ли у вас какие-то прикидки, какие ответы возможны, а какие наиболее вероятны?
Имеет ли ответ какое-то практическое применение в итоге (т.е. связан ли он с территорией)? На этом этапе я не очень понимаю о чем речь, но не хотелось бы участвовать в разговоре про "сколько ангелов поместится на кончике иглы".
Или может вы вместо этого хотите задать какие-то логически истинные предпосылки и посмотреть к каким следствиям они приведут?

23

Рациональность / Re: Препарируя реальность

« : 19 Март 2017, 05:31 »

Думаю, что препарирование реальности стоит начать с другого типа вопроса, на который можно найти ответ: почему я думаю, что реальность существует. Или, если продолжить его распутывать:
Как я оказался убежден в том, что реальность существует?
Какая последовательность входящей информации могла убедить меня, что реальность существует?
Если представить мой мозг как вычислительное устройство, то какие алгоритмы бы оно исполняло с полученной им входящей информацией так, чтобы на выходе получилась убежденность в том, что реальность существует?
Если представить мой мозг как вычислительное устройство, то какие алгоритмы бы оно исполняло с полученной им входящей информацией так, чтобы на выходе мысль "реальность существует" сопровождалась чувством уверенности?
А еще:
Какие алгоритмы и какую входящую информацию использовал мой мозг для связи набора букв (звуков) "реальность" с ожиданием будущих наблюдений повторения некоторых закономерностей (я буду видеть солнце, потом не буду, потом снова буду; ), нарушения некоторых закономерностей (от "нейросети выдавали несмешные шутки" до "смешные шутки"; е равно мц в квадрате ).
Если бы я создал ИИ, который успешно спроектировал, собрал и отправил робота на Марс, то, с учетом известных мне его алгоритмов, ожидаю ли я, что он задастся вопросом "существует ли реальность?"
Ну или:
Ожидаю ли я, что идея моделировать мозг как вычислительное устройство покажется мне более интересной и полезной, если я серьезно изучу несколько книг (по восходящей сложности) про вычислительную нейробиологию?

24

Общение / Re: Lesswrong mind map

« : 17 Март 2017, 13:08 »

Если я правильно понял, твой ответ говорит о том, что даже чел из ядра лессвронга, прочитавший все цепочки и лично переведший половину, модерирующий чатик и т.д. и т.п. и то не знает, что такое это самое Lesswrong, чем занимается, какие вопросы рассматривает. "Ну так, математикой, биологией, квантовой механикой, чем-то таким. Это полный список." - пишет он в форуме.

Я написал, что там вроде бы почти полное перечисление областей. Если в центре карты будет "лессвронг", то от этого узла будут отходить стрелки к областям. А от областей к конкретным идеям. В посте по ссылке есть и области и конкретные идеи. Т.е. от узла "математика" будет иди стрелка к "байесовской статистике", а от нее будут к "байесовским сетям", "байесовской эпистемологии (байесианизм)" (этот узел будет так же соединен с областью "философия"), например.
Разумеется, пост не дает всей информации, но достаточно для хорошего начала.
Если такая карта и будет сделана полезной, то ее придется делать нескольким людям, каждый из которых должен будет неплохо разбираться в определенных областях. Я могу более менее составить для "когнитивистики", но есть люди более компетентные в этом вопросе. Т.е. буквально по каждой области в сообществе есть более компетентные люди, чем я. Это примерно как с переводами. Переводчик должен знать как переводится bias (когда это ошибка, а когда искажение). Чтобы карта была полезной, она должна быть связана с академической наукой терминологически, иначе это будет гомункулус - понятный только тем, кто уже читал цепочки. Т.е. чтобы можно было погуглить термин и получить ссылку на статью в вики, например, а не на статью из цепочек.

25

Общение / Re: Lesswrong mind map

« : 16 Март 2017, 14:18 »

Да и там вроде бы полное перечисление областей.
1. Биология (эволюция и неврология)
2. Математика (байесовская статистика, квантмех)
3. Когнитивистика и когнитивные искажения
4. Теория игр (TDT)
Там много полезной информации для построения майндмапа.

26

Общение / Re: Lesswrong mind map

« : 16 Март 2017, 12:18 »

Можно воспользоваться материалами из этого поста - Eliezer's Sequences and Mainstream Academia.

27

Сообщество рационалистов / Re: Критика ЛВ-рациональности и ЛВ-сообщества

« : 15 Март 2017, 15:07 »

Да, эта ситуация (т.е. та, которая возникает в моей голове в ответ на ваше описание) будет провалом этих людей, как рационалистов. И я буду думать "О да, продолжай себя обманывать. Надеюсь, результат, который ты получишь на основе этой неточной информации, так сильно тебя ошарашит, что ты захочешь себе татуху сделать со словами Все что может быть разрушено правдой - должно быть разрушено, а что питается правдой - должно процветать".

28

Сообщество рационалистов / Re: Критика ЛВ-рациональности и ЛВ-сообщества

« : 15 Март 2017, 14:42 »

Я, в таком случае, пока перестану участвовать в обсуждении этого примера, из которого следует предпочтение неточной карты. Потому как рационалист Вася  не будет обманут сообщениями о победе над голодом, но перестанет изучать голодающих в Африке детей и переключится на другую информацию. Но это выдуманный пример со множеством выдуманных (в том числе и подразумеваемых подсознательно) деталей, и, очевидно, тут у нас разница в деталях (а может так же и в процедурах, которые исполняет рационалист Вася).

29

Сообщество рационалистов / Re: Критика ЛВ-рациональности и ЛВ-сообщества

« : 15 Март 2017, 14:00 »

 Точность уже определена, и исчисляется она в битах

When talking about the correspondence between a probability assignment and reality, a better word than "truth" would be "accuracy".  "Accuracy" sounds more quantitative, like an archer shooting an arrow: how close did your probability assignment strike to the center of the target?

To make a long story short, it turns out that there's a very natural way of scoring the accuracy of a probability assignment, as compared to reality: just take the logarithm of the probability assigned to the real state of affairs.

So if snow is white, my belief "70%: 'snow is white'" will score -0.51 bits:  Log2(0.7) = -0.51.

But what if snow is not white, as I have conceded a 30% probability is the case?  If "snow is white" is false, my belief "30% probability: 'snow is not white'" will score -1.73 bits.  Note that -1.73 < -0.51, so I have done worse.

About how accurate do I think my own beliefs are?  Well, my expectation over the score is 70% * -0.51 + 30% * -1.73 = -0.88 bits.  If snow is white, then my beliefs will be more accurate than I expected; and if snow is not white, my beliefs will be less accurate than I expected; but in neither case will my belief be exactly as accurate as I expected on average.

Разумеется, можно навыдумывать историй, где по инструментальным причинам стоит пренебречь эпистемической точностью. В итоге Вася начитается и пойдет в красный крест запишется и будет счастлив, помогая остаток своей жизни больным и голодным детям.

30

Сообщество рационалистов / Re: Что такое рациональность.

« : 14 Март 2017, 18:55 »

Я тоже удивился тому, что тема закрыта была, ведь почувствовал порыв выплеснуть туда накопившуюся мудрость. Но закрыта так закрыта.

Когда человек начинает выстраивать связи между словом и другими словами (понятиями) он часто приходит к процедуре "общеупотребляемый смысл". Т.е. смотрит, какой смысл вкладывают другие люди в это слово. Но на этом этапе познания есть некоторые "подводные камни". Отраженное в первом комменте определение рациональности очень похоже на то, как я вижу поп-культурное определение рациональности. Т.е. то, что думает про рациональность среднестатистический человек. Когда я смотрю на пример Маска, то вижу, как причинная стрелка направлена назад во времени: от результата к критерию. Добился - действовал рационально. Но непонятно из этого как направить стрелку вперед. Как загодя понять - какие действия наиболее рациональны? Вот если бы у нас была чуть более ясная процедура определения того, какое же действие из тех, от которых мы ожидаем что они приблизят желаемый результат, выбрать так, чтобы в процессе этого выбора избежать чудовищных проигрышей?  Если посмотреть на разницу между популярным определением и тем, которым пользуются люди, пытающиеся что-то делать с тем ЧТО они определяют, то будет заметна огромная разница. Будет ли разница между "эволюцией" биолога и "эволюцией" человека с улицы? Или разница между "логиками". Эта разница так же видна и в случае с "рациональностью". Как определяют рациональность занимающиеся когнитивной наукой люди? А как определяют ее изучающие теорию игр? Так как недавно гуглопереводчик сапдейтился я просто вставлю цитату из книги Становича 2010 года:

The student is warned that there are many alternative terms for instrumental and epistemic rationality in the literature (see Audi, 2001; Harman) 1995; Manktelow) 2004; Mele & Rawling) 2004; Nathanson) 1994; Over) 2004). For example) epistemic rationality is sometimes called theoretical rationality or evidential rationality. Instrumental rationality has been variously termed practical, pragmatic, or means/ends rationality in the literature. In the judgment and deciSion-making literature, the terms correspondence competence and coherence competence are sometimes used (Goldstein) 2004; Hammond, 1996, 2007). Correspondence competence concerns the degree to which beliefs map accurately to the environment and thus reflects what is called epistemic rationality in this book. Coherence competence refers to the ability to follow the consistency axioms of expected utility theory to be discussed in chapter 2. It thus relates to what will be called instrumental rationality in this volume.

Так что мы имеем дело не просто с каким-то "странным выдуманным Юдковским определением рациональности".

У меня "неизбежность" связана с логической "необходимостью". Как загодя определить, какие из действий приведут с неизбежностью к нужному результату в нашем сложном мире, где большая часть высказываний о нем включает слово "некоторые" (некоторые читавшие МРМ люди читали так же "От ИИ до Зомби"), и лишь малая часть слово "все" (1+1=2 или может быть "все простейшие молекулы водорода состоят из двух атомов водорода")? Именно в случаях с "некоторые" используется аппарат тервера, который позволяет перевести "некоторые" в какое-то число или если нет числа, то "сравнивать" эти "некоторые" величины. Опять же, я предупрежден против преодоления таких расстояний:

The one comes to you and loftily says:  "Science doesn't really know anything.  All you have are theories—you can't know for certain that you're right.  You scientists changed your minds about how gravity works—who's to say that tomorrow you won't change your minds about evolution?"

Behold the abyssal cultural gap.  If you think you can cross it in a few sentences, you are bound to be sorely disappointed.

In the world of the unenlightened ones, there is authority and un-authority.  What can be trusted, can be trusted; what cannot be trusted, you may as well throw away.  There are good sources of information and bad sources of information.  If scientists have changed their stories ever in their history, then science cannot be a true Authority, and can never again be trusted—like a witness caught in a contradiction, or like an employee found stealing from the till.
...
When someone has lived their life accustomed to certainty, you can't just say to them, "Science is probabilistic, just like all other knowledge."  They will accept the first half of the statement as a confession of guilt; and dismiss the second half as a flailing attempt to accuse everyone else to avoid judgment.

К сожалению, цепочки не написаны так, чтобы можно было "чуть почитать там" и "чуть почитать тут", и ожидать, что каждый такой кусочек будет независимо от других статей ценен или же между выдранными такими кусочками не будет кажущегося (или может даже настоящего) противоречия. Если прочитать все, то будет видно, что на первом месте стоит "выигрывание", т.е. инструментальная рациональность. Это повторяется неоднократно. Неоднократно. Но так уж вышло, что Юдковский, занимаясь решением интересующих его вопросов "дружелюбного ИИ", получил больше озарений в области эпистемической рациональности (об этом он сам пишет).