Юдковский в здравом уме и трезвой памяти имел возможность наблюдать как его фик раскалывала система "Хайв Майнд на реддите" основанная на том что люди передавали друг другу свои идеи и догадки.
Как он сам признался эта система оказалась умнее чем он сам.
Умнее -- не значит этичнее. Эта система оказалась более способна к анализу и обсчёту возможных последствий, но если бы эта система имела бы какие-то возможности влиять на реальность, она бы резко изменилась, потому что её начали бы эксплуатировать Томы Риддлы.
Важен не только прогресс, но и безопасность прогресса. И пускай лучше прогресс ползёт вперёд черепахой, чем летит сломя голову. Подход человечества со свободным распространением идей, который мы наблюдаем -- вполне приемлим, но ровно до тех пор, пока создание термоядерной бомбы остаётся крайне сложным проектом, для которого необходима согласованная работа множества людей. Но ситуация меняется -- то что было крайне сложно 50 лет назад, сегодня гораздо проще: сегодня не так сложно купить компьютер, который сможет моделировать взрыв термоядерной бомбы. Да, для этого надо написать программу-симулятор взрыва, и это тоже очень сложная задача, которая требует разнообразных знаний и навыков -- в физике, математике, программировании. Мало того, что знаний надо много, так и работы столько, что один человек не справится. Но прогресс не стоит на месте, пройдёт ещё 20 лет, и знаний в программировании для написания такой программы будет требоваться гораздо меньше.
1. Языки программирования ещё больше нюансов скроют от человека, а компиляторы этих языков смогут несмотря на это скомпилировать в эффективный код. А если где эффективности и не хватит, то это будет нивелироваться всё возрастающей мощностью железа.
2. Математические пакеты сегодня легко могут брать интегралы и решать дифуры. Они могут решать геометрические задачи. Они могут анализировать данные и находить в них закономерности. Человеку вовсе не обязательно понимать каким образом ищутся закономерности и решаются задачи, человеку достаточно загрузить данные в программу. То есть требования к владению математикой тоже имеют тенденцию к снижению.
3. Знания физики может быть уже сегодня не нужны, поскольку вся физика выражена математикой.
При этом следует учесть ещё тот факт, что сегодня в руках изобретателя может оказаться 3d-принтер и микроконтроллеры для управления процессом в realtime, причём микроконтроллеры имеющие время реакции меньшее, чем электроника сделанная для первой термоядерной бомбы по спецзаказу гениями схемотехники того времени. И здесь тоже прогресс не стоит на месте.
Правда расчёт бомбы -- это ещё не всё, неплохо было бы наковырять где-нибудь урана/плутония, чтобы шарахнуть небольшой ядерный заряд и запустить реакцию синтеза. Но тут тоже всё становится всё проще и проще со временем. Химия не стоит на месте -- быть может лет через двадцать она сделает выгодным экономически добычу урана из морской воды. При этом всё больше и больше доступных подробностей о том, как работают реакторы, в которых можно обогащать уран. При этом робототехника развивается, и создать такой реактор всё проще и проще.
Сложность создания термоядерной бомбы сегодня, всё же превышает возможности отдельно взятого человека, но размер необходимой команды для разработки и создания термоядерной бомбы уменьшается с каждым годом. При этом интернет сделал возможным Хайв-майнд. Вы не думали о том, что вы тоже можете создать себе хайв-майнд, который будет решать задачи, которые вы сами не в состоянии решить? Причём участники хайв-майнда не будут сообщниками, они будут просто глупыми Поттерами, которые от "избытка ума" помогают Квирреллморту, рассказывая ему о воскрешающем камне. Которые решают сложные задачки только для того, чтобы показать всем, что они могут решить эти задачки -- для самоутверждения.
Рано или поздно термоядерную бомбу сможет создать одинокий психопат. Вы хотите жить в мире, в котором в любой момент и в любом месте может рвануть мегатонная бомба?