Вы здесь

Поистине часть тебя

Элиезер Юдковский

Классическая работа Дрю МакДермота «Искусственный интеллект и естественная глупость» критикует ИИ программы, которые пытаются представить понятия вроде счастья, как состояние ума, при помощи семантической сети: (1)

STATE-OF-MIND IS-A HAPPINESS

СОСТОЯНИЕ - УМА - ЭТО СЧАСТЬЕ

И разумеется, внутри узла СЧАСТЬЕ ничего нет; это просто сюсюканье с привлекательным английским названием.

И вот, МакДермот пишет: «Для дисциплинированного программиста хорошим тестом будет использование gensyms в ключевых местах, чтобы посмотреть будет ли все еще восхищаться системой, если СОСТОЯНИЕ - УМА будет переименовано в G1073…» мы получим ЭТО (СЧАСТЬЕ, G1073) «что выглядит гораздо менее туманно».

Или если мне будет позволено слегка переиначить: если ты заменишь привлекательное английское название на случайных символ, то ты не сможешь понять, что же такое G1073 (G1072). ИИ должен был представлять гамбургеры? Яблоки? Счастье? Кто знает? Если ты удалишь привлекательные английские название, обратно они не вырастут.

Представим, что физик сказал тебе: «Свет это волны», и ты ему поверил. У тебя в голове появилась маленькая сеть:

ЭТО(СВЕТ, ВОЛНЫ).

И если кто-то вдруг спросит «Из чего состоит свет?», ты сможешь ответить «Из волн!»

Как пишет МакДермот: «Проблема в том, чтобы слушатель заметил, что только что было сказано. Не „понял“, а всего лишь „заметил“». Предположим, что физик вместо этого сказал бы тебе «Свет сделан из мелких изгибающихся штучек» (это не правда, но тем не менее). Заметишь ли ты разницу в ожидаемом опыте будущего?

Как ты можешь понять, что тебе не следует доверять кажущемуся знанию «Свет это волны»? Один из способов - вопрос «могу ли я восстановить это знание, если оно каким-то образом будет удалено из моей головы?»

Это похоже по духу на замену привлекательных английских названий, чтобы узнать, сможет ли кто-то понять к чему они должны «относится». Это так же схоже по духу с наблюдением, как Искусственный Вычислитель запрограммирован записывать и выдавать

Plus-Of(Seven, Six) = Thirteen

ПРИБАВИТЬ(СЕМЬ, ШЕСТЬ) = ТРИНАДЦАТЬ

что, разумеется, не поможет воссоздать знание, если человек удалит его, а другой не занесет заново в базу данных. Точно так же и со знанием «Свет это волны», которое будет потеряно безвозвратно, разве что ты снова спросишь об этом у физика. Ты не сможешь создать это знание сам, так как может это сделать физик.

Тот же опыт, что формулирует наши убеждения, соединяет их с другими нашими знаниями, чувственными входными данными или моторными выходными данными. Если ты увидишь, как бобер грызет дерево, то ты будешь знать как «та-фигня-что-грызет-дерево» выглядит и сможешь опознать его в будущем, независимо от того, будут ли его называть «бобром» или как-то иначе. Но если ты приобрел свои убеждения о «бобрах» вербально, то, возможно, ты не сможешь узнать бобра, если встретишься с одним.

Знание, которое ИИ не сможет восстановить сам - чудовищная опасность. Это так же опасно, как говорить кому-то факты о физике, которые он не в состоянии проверить сам. Ведь физики, говоря «волны», имеют ввиду не «мелкие кривые штучки», а чисто математический концепт.

Как заметил Давидсон, если ты веришь, что бобры живут в пустынях, что они белого цвета, и весят полтора центнера на пике жизни, то у тебя нет убеждений о бобрах, ни ложных, ни правдивых. Твои убеждения о бобрах недостаточно правдивы, чтобы быть ложными (2). Если у тебя нет опыта в достаточной мере, чтобы регенерировать знание, будь оно удалено, то есть ли у тебя опыт, чтобы соединить это убеждение с другими? Витгенштейн: «Колесо, которое можно свободно вращать, не задевая других частей - не является частью механизма».

Как только я начал читать про ИИ, даже до того, как я начал читать МакДермота, я понял, что идея спрашивать себя «как я могу регенерировать это знание, будь оно удалено?» - хорошая идея.

Чем обширней удаление - строже тест. Если доказательства теоремы Пифагора будут удалены, смогу ли я «передоказать» их? Думаю да. Если все знание о теореме Пифагора будет удалено, замечу ли я, что ее надо «передоказывать»? Трудновато хвалиться о таком, без проведения соответствующих экспериментов; но, если бы ты дал мне правильный треугольник с длинной сторон 3 и 4, сказал бы мне, что гипотенуза вычисляема, думаю, я бы справился, при условии, что мои другие знания математики остались не тронуты.

Что насчет самого понятия математического доказательства? Если бы никто мне не сообщил о таком, буду ли я способен изобрести его заново, основываясь а моих оставшихся убеждениях? Ведь было время. когда люди не ведали о таком концепте. Кто-то же изобрел его. Что же он заметил? Замечу ли я, если увижу что-то такое же новое и важное? Окажусь ли я способен на оригинальное мышление?

Как много своих знаний ты смог бы вывести самостоятельно после удаления? Каким широким оно может быть? Это не просто тест для отбора недостаточно соединенных убеждений. Это способ приема целого фонтана знаний, а не факта.

Пастух строит систему учета овец, которая работает, добавляя камень в корзину каждый раз, когда овца покидает амбар, и изымает - когда овца возвращается. Если ты, ученик, не понимаешь работу системы, если она магическая без всякой на то причины, то ты не поймешь, что бросил лишний камень в корзину, случись это. То, что ты не сможешь создать сам - не сможешь восстановить сам, если ситуация этого потребует. Ты не сможешь вернуться к источнику, «поиграть» с настройками, регенерировать выходные данные без источника. Если » два плюс четыре равно шести» является фактом для тебя, и один из элементов изменяется на «пять», как ты узнаешь, что «два плюс пять равно семи», когда все, что ты знаешь » - «два плюс четыре равно шести»?

Если ты видишь, как маленькое растение роняет семя каждый раз, когда мимо пролетает птица, ты не догадаешься, что ты можешь использовать эту отчасти автоматизированную систему для подсчета овец. Хоть ты и узнаешь что-то, что первый изобретатель сможет использовать для улучшения системы, ты не сможешь вернуться к источнику и воссоздать это.

Если ты являешься источником мысли - эта мысль может меняться вместе с приобретением новых знаний и навыков. Если ты являешься источником знания, оно становится поистине частью тебя и растет вместе с тобой.

Старайся быть источником каждой своей мысли. Если она пришла снаружи, убедись, что она прочно связана внутри. Постоянно спрашивай себя: «Как я регенерирую это знание, если оно будет удалено?» Если у тебя есть ответ на это, представь, что удаление случилось. И когда увидишь фонтан - посмотри что из него льется.

  1. Drew McDermott, “Artificial Intelligence Meets Natural Stupidity,” SIGART Newsletter, no. 57 (1976): 4–9, doi:10.1145/1045339.1045340.
  2. Richard Rorty, “Out of the Matrix: How the Late Philosopher Donald Davidson Showed That Reality Can’t Be an Illusion,” The Boston Globe (October 2003).
Перевод: 
Muyyd
  • Короткая ссылка сюда: lesswrong.ru/235
Москва, 25 ноября — 16 декабря:
3-недельный курс прикладной рациональности
от рационального клуба Кочерга