Призраки в машине

Элизер Юдковский

Одна из трех наиболее популярных реакций на идею Дружественного Искусственного Интеллекта такова:

«Ну, вы конечно можете велеть ИИ быть дружественным, но если он способен модифицировать свой собственный исходный код, то он просто уберет все наложенные вами ограничения.»

И откуда же возьмется это решение?

Возникает ли оно вопреки причинности, не являясь закономерной частью цепочки причин и следствий, начавшейся с изначально написанного исходного кода? ИИ что, является источником своей собственной свободной воли?

Дружественный ИИ это не эгоистичный ИИ, сдерживаемый отдельным модулем совести, который противостоит естественным желаниям ИИ, заставляя поступать определенным образом. Вы создали сознание и это и есть ИИ. Если у вас есть программа, вычисляющая, какой поступок ИИ следует предпринять, все -_ готово_ - это и есть ваш ИИ. Дальше фишка не идет.

Здесь я нахожу уместным привести несколько цитат с сайта Компьютерные Глупости по теме Программирования. (Я не привожу ссылку на сам сайт, так как это настоящая черная дыра для вашего времени. Можете гуглить на свой страх и риск).

___________________________________________________________
Я вел занятия по программированию у студентов колледжа. Некоторые из них не понимали, что компьютер неразумен. В своих программах на Паскале, они оставляли комментарии вроде: «Теперь мне нужно вывести эти буквы на экран». Я спросил одного из них, зачем они так поступают. Ответ был следующим: «Как еще компьютер поймет, что я хочу от него?» Видимо, они полагали, что раз они сами не понимали Паскаль, то также не мог и компьютер.
___________________________________________________________
Учась в колледже, я преподавал в школьной математической лаборатории. Однажды ученик подошел ко мне, потому что его программа на Бейсике не запускалась. Это было задание из курса для начинающих - написать программу, которая бы вычисляла рецепт овсяного печенья, в зависимости от числа людей, для которых вы его печете. Я взглянул на код его программы. Он был примерно таким:

10 Разогреть духовку дo 350
20 Поместить все ингредиенты в большую миску
30 Размешивать до получения однородной массы
___________________________________________________________
Студент вводного курса по программированию однажды попросил меня помочь разобраться, почему его программа всегда выдает нули в результате простого вычисления. Я взглянул на код программы и ответ был очевиден:

begin
read(«Number of Apples», apples)
read(«Number of Carrots», carrots)
read(«Price for 1 Apple», a_price)
read(«Price for 1 Carrot», c_price)
write(«Total for Apples», a_total)
write(«Total for Carrots», c_total)
write(«Total», total)
total = a_total + c_total
a_total = apples * a_price
c_total = carrots * c_price
end
Я: «Ну, твоя программа не может вывести правильный результат до того, как его вычислит».
Он: «Но ведь понятно же, каким должен быть ответ, почему компьютер не может просто переставить инструкции в правильном порядке?»
___________________________________________________________

Таково интуитивное представление о «программировании ИИ». Оно опирается на вроде бы аналогичную ситуацию, когда один человек говорит другому, что делать. Как будто бы «программа» дает команды маленькому призраку, сидящему внутри машины, который их изучает и решает, нравятся ли они ему или нет.

Но нет никакого призрака, изучающего инструкции и решающего следовать им или нет. Программа это и есть ИИ.

Это не значит, что призрак будет делать все что вы пожелаете, подобно джину. Это не значит, что призрак будет делать все что вы хотите и именно так, как вы этого хотите, подобно невероятно покорному рабу. Это значит, что ваши команды это и есть единственный призрак в машине, по крайней мере на момент загрузки.

ИИ куда сложнее, чем интуитивно кажется людям именно потому, что вы не можете просто сказать призраку что ему делать. Вам необходимо написать этого призрака с чистого листа, и все что кажется вам само собой разумеющимся, вовсе не будет таковым для призрака, если только вы не знаете, как заставить призрака осознать эту очевидность. Вы не можете просто сказать призраку осознать это. Вы должны создать то-что-осознает с чистого листа.

Если вы не знаете, как создать что-то, наделенное странными, невыразимыми свойствами вроде «принятия решений», то вы не можете просто пожать плечами и предоставить призраку возможность разобраться самостоятельно. Вы одни. Нет никакого призрака.

Создание шахматной программы это не просто создание действительно быстрого процессора - который позволит ИИ быть действительно умным - а затем ввод в командную строку «Делай те шахматные ходы, которые ты считаешь лучшими». Можно было бы подумать, что раз программисты сами не является очень хорошими игроками в шахматы, любой совет, который они попытаются дать электронному супермозгу лишь замедлит призрака. Но нет никакого призрака. В том-то и проблема.

И нет никакого простого заклинания, произнесение которого могло бы пуф! и призвать полноценного призрака в машину. Нельзя сказать: «Я призвал призрака, и он появился - вот вам и причина и следствие». Это не сработает даже если использовать понятие «эмердженция» или «сложность» в качестве альтернативы «призыву». Нельзя дать команду процессору «Будь хорошим шахматистом!» Вам придется заглянуть за завесу тайны игры в шахматы и создать призрака с чистого листа.

Не важно, насколько самоочевидным, логичным или правильным, что-то может вам казаться, это не имеет никакого отношения к призраку. Если только это не является концом цепочки причин и следствий, начавшейся с команд, которые вы ввели, а также какой-либо зависимости от входных данных, которую вы встроили в эти команды.

Это не значит, что вам нужно явно задать каждый поступок для компьютера. Deep Blue куда лучший игрок в шахматы, чем его программисты. Его ходы превосходят все, что его создатели могли явно в него запрограммировать, но не потому что программисты просто предоставили все это призраку. Ходы Deep Blue в шахматах, превосходящие возможности его программистов, являются результатом закономерной цепочки причин и следствий, начавшейся с исходного кода. А не просто потому, что какой-то ход был настолько очевидным, что призрак Deep Blue его сделал без какой-либо связи с исходным кодом и его закономерными последствиями.

Если вы отказываетесь создавать ИИ, вы не остаетесь со свободным призраком, вроде освобожденного раба. У вас будет лишь кучка песка, из которой так никто и не получил кремний, из которого так никто и не создал процессор и так и не запрограммировал его думать.

Давайте, попробуйте сказать компьютеру: «Делай все, что тебе захочется». К чему это приведет? Ни к чему. Потому что вы не научили его понимать свободу.

Все, что для это требуется, кажется настолько очевидным, настолько логичным, настолько само собой разумеющимся, что ваш разум просто пропускает все эти шаги, и стоит этому произойти, как вы покидаете путь создателя ИИ. Требуется особое усилие, подобное тому, что я описал в Пытаясь ухватить ускользающее, чтобы не дать своему разуму сделать это.

Перевод: 
Горилла В Пиждаке
Номер в книге "Рациональность: от ИИ до зомби": 
146
Оцените перевод: 
Средняя оценка: 5 (5 votes)