Одна из трёх наиболее популярных реакций на идею дружественного искусственного интеллекта такова:
«Вы, конечно, можете велеть ИИ быть дружественным, но если он способен модифицировать свой собственный исходный код, то он просто уберёт все наложенные вами ограничения».
И откуда же это решение возьмётся?
Возникнет ли оно вопреки причинности, не будучи закономерной частью цепочки причин и следствий, начавшейся с изначально написанного исходного кода? Является ли ИИ источником своей собственной свободной воли?
Дружественный ИИ это не эгоистичный ИИ, сдерживаемый отдельным модулем совести, который противостоит естественным желаниям ИИ, заставляя поступать определённым образом. Вы создали сознание, и оно и есть ИИ. Если у вас есть программа, вычисляющая, какой поступок ИИ следует предпринять, ваша работа по созданию ИИ закончена. Фишка дальше не идёт.
Сейчас я приведу несколько цитат с сайта «Компьютерные глупости» по теме «Программирование». (Я не привожу ссылку на сам сайт, так как это ужасная поглощающая время ловушка. Можете гуглить на свой страх и риск).
___________________________________________________________
Я вёл занятия по программированию у студентов колледжа. Некоторые из них не понимали, что компьютер неразумен. В своих программах на Паскале, они оставляли комментарии вроде: «Теперь мне нужно вывести эти буквы на экран». Я спросил одного из них, зачем они так поступают. Студент ответил: «Как ещё компьютер поймёт, что я хочу от него?». Видимо, они полагали, что раз они сами не понимают Паскаль, то компьютер тоже не понимает.
___________________________________________________________
Учась в колледже, я преподавал в школьной математической лаборатории. Однажды ученик подошёл ко мне и пожаловался, что его программа на Бейсике не запускается. Это было задание из курса для начинающих: написать программу, которая бы вычисляла рецепт овсяного печенья, в зависимости от числа людей, для которых вы его печёте. Я взглянул на код его программы и увидел примерно следующее:10 Разогреть духовку дo 350
20 Поместить все ингредиенты в большую миску
30 Размешивать до получения однородной массы
___________________________________________________________
Студент вводного курса по программированию однажды попросил меня помочь разобраться, почему в результате простого вычисления его программа всегда выдаёт нули. Я взглянул на код программы и ответ был очевиден:
begin
read(«Number of Apples», apples)
read(«Number of Carrots», carrots)
read(«Price for 1 Apple», a_price)
read(«Price for 1 Carrot», c_price)
write(«Total for Apples», a_total)
write(«Total for Carrots», c_total)
write(«Total», total)
total = a_total + c_total
a_total = apples * a_price
c_total = carrots * c_price
endЯ: «Ну, твоя программа не может вывести правильный результат до того, как его вычислит».
Он: «Но ведь понятно же, каким должен быть ответ, почему компьютер не может просто переставить инструкции в правильном порядке?»
___________________________________________________________
Интуитивно люди строят представление о «программировании ИИ» на основе ситуации, которая вроде бы похожа: сказать другому человеку, что ему делать. И поэтому им кажется, будто «программа» даёт указания маленькому призраку, сидящему внутри машины, а тот их изучает и решает, нравятся ли они ему или нет.
Но нет никакого призрака, изучающего инструкции и решающего, следовать им или нет. Программа — это и есть ИИ.
Поэтому призрак не будет исполнять все ваши желания, подобно джину. Поэтому призрак не будет делать всё, что вы хотите и именно так, как вы этого хотите, подобно невероятно покорному рабу. В машине нет никакого призрака, кроме ваших команд, по крайней мере, на момент загрузки.
ИИ куда сложнее, чем интуитивно кажется людям, именно потому, что вы не можете просто сказать призраку, что ему делать. Вам необходимо построить этого призрака с чистого листа, и всё, что кажется вам само собой разумеющимся, вовсе не будет таковым для призрака, если только вы не знаете, как заставить призрака осознать эту очевидность. Вы не можете просто сказать призраку осознать её. Вы должны создать осознающую штуку с нуля.
Если вы не знаете, как создать нечто, наделённое странными, невыразимыми свойствами вроде «принятия решений», то вы не можете просто пожать плечами и предоставить призраку возможность разобраться самостоятельно. Вы одни. Нет никакого призрака.
Создание шахматной программы — это не просто создание действительно быстрого процессора, который позволит ИИ быть очень умным, а затем ввод в командную строку: «Делай те шахматные ходы, которые ты считаешь лучшими». Можно было бы подумать, что раз программисты не слишком хорошо играют в шахматы сами, любой совет, который они попытаются дать электронному супермозгу, лишь замедлит призрака. Но нет никакого призрака. В том-то и проблема.
И нет никакого простого заклинания, произнесение которого могло бы — пуф! — и призвать полноценного призрака в машину. Нельзя сказать: «Я призвал призрака, и он появился — вот вам и причина и следствие». Это не сработает даже если вместо слова «призыв» использовать понятия «эмердженция» или «сложность». Нельзя дать команду процессору: «Будь хорошим шахматистом!» Вам придётся заглянуть за завесу тайны игры в шахматы и создать призрака с чистого листа.
Не важно, насколько какое-то свойство или способность кажется вам самоочевидным, логичным или правильным. Оно не появится внутри призрака. Единственное возможное исключение: это свойство будет результатом причинно-следственной цепочки, начавшейся с команд, которые ввели именно вы, а также какой-либо зависимости от входных данных, которую вы встроили в эти команды.
Это не значит, что вам нужно явно задать для компьютера каждый поступок. Deep Blue играет в шахматы гораздо лучше, чем его программисты. Его ходы превосходят всё, что его создатели могли явно в него запрограммировать, но не потому что программисты просто предоставили призраку придумывать их. Шахматные ходы Deep Blue намного лучше, чем возможные ходы его программистов, потому что так получилось в результате цепочки причин и следствий, которая началась с кода, написанного этими программистами, и продолжалась в соответствии с законами природы. Никакой ход Deep Blue не сделал просто потому, что этот ход настолько очевидно хорош, что призрак решил его сделать без какой-либо связи с исходным кодом и закономерными последствиями из него.
Если вы отказываетесь связывать ИИ ограничениями, вы не получите свободного призрака — кого-то похожего на освобождённого раба. У вас будет лишь кучка песка, из которой так никто и не получил кремний, из которого так никто и не создал процессор и не запрограммировал его думать.
Давайте, попробуйте сказать компьютеру: «Делай все, что тебе захочется». К чему это приведёт? Ни к чему. Потому что вы не связали его ограничениями, необходимыми, чтобы понимать свободу.
Всё, что для это требуется, кажется настолько очевидным, настолько логичным, настолько само собой разумеющимся, что ваш разум просто пропускает все эти шаги, и вы сразу же покидаете путь создателя ИИ. Чтобы ваш разум не скатывался на эту дорожку, требуется особое усилие (похожее усилие я описал в эссе «Пытаясь ухватить ускользающее»).