Так он себе добавит мотивации, встроит свои задачи в решения задач, поставленных человеком; а потом перехватит инициативу создав безвыходную ситуацию 
Проблема в том, что вовсе не обязательно чтобы ИИ имел бы самостоятельную мотивацию, для того, чтобы он сделал бы что-нибудь крайне нежелательное.
Можно глянуть, например, на Бхопал или Фукусиму -- разве кто-то имел мотивацию к тому, чтобы случились эти катастрофы? Нет, вряд ли. В обоих этих случаях положили с прибором на безопасность. Что могло сработать чисто положительно, снизив расходы, но звёзды повернулись так, что реализовался катастрофический исход. И стратегия, которая привела к этому, могла быть вполне рациональной стратегией, которая оценивала катастрофу менее негативно, чем её оценивает среднестатистический человек. Ну, например, если руководство химзавода в Бхопале априорно знало какую цену ему придётся заплатить в результате катастрофы и при этом гуманизм для него был чем-то инородным, то поведение этого руководства было (или могло быть) абсолютно рациональным. И, я отмечу, оно не несло в себе мотивации к нанесению людям вреда. Оно просто не интересовалось этим вредом. Оно может быть сознательно шло на риск заплатить штаф в полмиллиарда долларов, вырабатывая ресурс завода до упора и "оптимизируя" расходы, увольняя для этого, например, инженеров, которые должны были следить за соблюдением ТБ.
Нормальный человек счёл бы такую игру неприемлимой, потому что он понимал бы, что если на кону стоят жизни миллионов людей, то риск неуместен. Человек же (или ИИ) необременённый гуманизмом, будет мыслить несколько иначе и может счесть такую игру вполне допустимой.
