Вы здесь

Неограниченные шкалы, ошибки жюри и футуризм

Элиезер Юдковский

«Психофизика», несмотря на название, является респектабельной областью, которая связывает физические эффекты с сенсорными. Если вы передадите в воздух энергию — то есть создадите шум — как громко это прозвучит для человека, если представить это как функцию от акустической энергии? Насколько больше необходимо акустической энергии, чтобы этот шум показался человеку в два раза громче? Примерно в восемь раз больше энергии, а не в два.

Акустическую энергию и фотоны можно измерить напрямую. Когда же вы хотите найти, как громко звучит акустический стимул, как ярко воспринимается свет, вы спрашиваете того кто слушает или смотрит. Это можно сделать, используя ограниченную шкалу от «очень тихо» до «очень громко», или от «очень темно» до «очень ярко». Вы также можете использовать неограниченную шкалу, где нулем будет «вообще не слышно» или «вообще не видно», но верхняя граница которой может расти без ограничений. Когда вы используете вторую шкалу, наблюдатель обычно использует какую-то единицу измерения для системы отсчета. Для примера, звук, которому присвоили громкость в 10. Тогда наблюдатель может обозначить вдвое громкий звук при помощи числа 20.

И доказано, что это достаточно надежная методика. Но что произойдет, если вы дадите испытуемым неограниченную шкалу, однако не дадите единицу измерения? От нуля до бесконечности, но без единицы измерения как фиксированной величины? Тогда они сделают свою, конечно же. Отношения между измеряемыми величинами останутся теми же. Испытуемый А говорит что звук Х имеет громкость 10, а звук Y — 15. Если испытуемый В говорит что звук Х имеет громкость в 100, то можно легко предположить, что для звука Y он установит величину 150. Но если вы не знаете, что испытуемый С использует для единицы измерения — какой масштаб он использует для шкалы — нельзя сказать, какую величину С присвоит звуку Х. Может быть 1. А может быть 1000.

Для испытуемого, оценивающего единичный звук, на неограниченной шкале, без фиксированного стандарта сравнения, почти все отклонения будут связаны с произволным выбором единицы измерения, а не с оценкой звука как такового.

«Хм,» — подумали вы про себя — «это звучит похоже на то, как присяжные в суде обсуждают размер штрафных санкций. Не удивительно, что там полно отклонений!» Интересная аналогия, однако что насчет продемонстрировать это экспериментально?

Канеман в 1998 и 1999 года предоставил 867 испытуемым с юридическим образованием описания правовых случаев (например ребенка, чья одежда сгорела) и попросил оценить их:

— возмутительности действий ответчика на ограниченной шкале,
— степень в которой ответчик должен быть наказан на ограниченной шкале или
— какое-то значение штрафного минимума в долларах.

И, о чудо, в то время как испытуемые отлично коррелировали друг с другом по уровням возмутительности действий и наказания, их штрафы были разбросаны кто куда. Однако если распределить их по рангу, то они вполне коррелировали по суъектами.

Если вы спросите, насколько велика разница в шкале «наказания», которую можно объяснить специфическим сценарием — частный законный случай, как представленный нескольким испытуемым — тогда ответ, даже для сырых результатов, был 0,49. Для ранжированных случаев долларовых ответов, число предсказанных различий было 0,51. Для сырых долларовых объемов, объясняемое различие было 0,06!

Должен сказать: если бы вы знали представленный сценарий — вышеупомянутого ребенка, чья одежда загорелась — вы бы сделали хорошее предположение по рейтингу наказания, и хорошее предположение по ранжированию долларовой награды относительно других случаев, однако долларовая награда сама по себе была бы совершенно непредсказуема.

Взятие среднего из двенадцати случайно выбранных ответов не особо помогает вообще.

Так что награда жюри за штрафной ущерб не столько экономическая оценка как выражение позиции — психологического измерения нарушения, выраженного на неограниченной шкале без единицы измерения.

Я вижу что множество футуристических предсказаний, в любом случае, лучше рассматривать как субъективные выражения. Возьмем вопрос, «сколько нам еще нужно, чтобы построить ИИ, сравнимый по разуму с человеком?» Я видел ответы на этот вопрос от людей по всему земному шару. Одним из наиболее запомнившихся был ответ одного из передовых разработчиков ИИ — «Пять сотен лет»!

Теперь причина по которой время реализации ИИ не очень предсказуемо, представляет собой большое обсуждение своей правоты. Но это не было бы так, если парень, который сказал «пятьсот лет» посмотрел в будущее, чтобы определить это. И он не мог получить эти цифры при помощи использования закона Мура. Так что же значит число 500?

Насколько я могу предполагать, это все равно что если бы я спросил «На шкале, где ноль это «совершенно несложно», насколько трудной вы ощущаете проблему создания ИИ для вас?» Если это была бы ограниченная шкала, каждый здравомыслящий респондент поставил бы отметку как «невероятно сложно» на другом конце шкалы. Все что угодно ощущается невероятно сложным когда вы не знаете как это сделать. Но у вас нет ограничения у шкалы и нет единицы измерения. Тогда люди попросту берут число, чтобы представить «невероятно сложно», которое может быть и 50, и 100, и даже 500. Тогда они добавляют к нему «лет» и получают свой футуристический прогноз.

«Насколько трудным ощущается задача ИИ?» Это не только существенный вопрос. Другие отвечают так, словно бы я спрашиваю «Насколько радужно вы думаете о задаче ИИ?», только низкие числа означают более положительные ощущения и тогда они также добавляют «годы» в конце. Но если эти «временные оценки» представляют собой что угодно, нежели субъективные выражения на неограниченной шкале без масштаба, я не могу понять этот ответ.

Перевод: 
Remlin
  • Короткая ссылка сюда: lesswrong.ru/112
Москва, 25 ноября — 16 декабря:
3-недельный курс прикладной рациональности
от рационального клуба Кочерга