Вы здесь

Корпорации и нанороботы не эволюционируют

Элиезер Юдковский

«Законы физики и математики выполняются всегда. Поэтому я считаю, что эволюция действует и сейчас. А из этого я делю вывод, что природа — кровожадное создание, как некоторые считают1, — просто выйдет на новый уровень…

[Пытаться избавиться от Дарвиновской эволюции] это всё равно, что пытаться избавиться от гравитации. Пока существуют ограниченные ресурсы и множество соревнующихся акторов, способных передавать характеристики, будет существовать давление отбора».

— Перри Мецгер, предсказывающий, что владычество естественного отбора продолжится в неопределённом будущем.

В эволюционной биологии, равно как и во многих других областях, важно мыслить количественно, а не качественно. Верно ли, что полезная мутация «распространяется иногда, но не всегда»? Скажем, паранормальные способности оказались бы полезной мутацией. Стоит ожидать их распространения, правильно? Тем не менее, это качественное суждение, а не количественное — если Х истинно, то Y истинно; если паранормальные способности полезны, то они могут распространиться. В «Эволюции неразумны» я привёл уравнение, которое определяет вероятность закрепления полезных мутаций: она примерно в два раза больше преимущества в приспособляемости (для преимущества в 3% получается вероятность в 6%). Скорее всего, только такое мышление — с помощью чисел — поможет нам понять, что вероятность распространения мутаций, которые полезны только изредка, крайне мала и что практически невозможно возникновение сложных адаптаций, если они не используются постоянно. Если бы паранормальные способности существовали, нам следовало бы ожидать, что они используются повсюду: не только потому, что они удивительно полезны, но и потому, что в противном случае они бы не развились и не распространились.

«Пока существуют ограниченные ресурсы и множество соревнующихся акторов, способных передавать характеристики, будет существовать давление отбора». Это качественное суждение. Насколько большим будет давление отбора?

Cуществует несколько кандидатов на звание самого важного уравнения в эволюционной биологии. Однако я бы назвал самым важным уравнение Прайса, которое в самой простой своей формулировке выглядит так:

$$ Δz=cov(v_i,z_i) $$

изменение в средней характеристике = ковариация (относительная приспособленность, характеристика)

Это очень-очень-очень мощная формула. Например, если в качестве характеристики Z мы возьмём вероятность наличия некоторого гена роста, то уравнение Прайса скажет нам, что изменение в вероятности обладания этим геном равняется ковариации этого гена с репродуктивной приспособленностью. А если в качестве характеристики Z рассмотреть «рост в целом», отдельно от каких-либо генов, то уравнение Прайса подскажет, что изменение в росте в следующем поколении будет равно ковариации между ростом и относительной репродуктивной приспособленностью.

(Во всяком случае, это верно пока рост наследуется напрямую. Если носители определённого генотипа становятся выше благодаря улучшенному питанию, в уравнение Прайса потребуется внести поправку. Если существуют сложные нелинейные связи между несколькими генами, потребуется добавить либо дополнительный член, либо усложнить уравнение настолько, что окажется не настолько понятным.)

Изучая разные формы и производные от уравнения Прайса, можно получить множество откровений. Например, уравнение гласит, что средняя характеристика меняется в соответствии с её ковариацией с относительной приспособленностью, а не с абсолютной приспособленностью. Это означает, что если ген Фродо спасёт весь вид от вымирания, характеристики Фродо не станут встречаться чаще, ведь от поступка Фродо выиграют в равной степени все генотипы, то есть характеристики Фродо не будет «ковариировать» с относительной приспособленностью.

Ходят слухи, что Прайс настолько тревожился из-за выводов, которые следовали из его уравнения по поводу альтруизма, что совершил самоубийство. Впрочем, возможно, это было связано с какими-то другими проблемами. («Overcoming Bias»2 не поддерживает совершение самоубийства после изучения уравнения Прайса.)

Также при изучении уравнения Прайса можно осознать, что для возникновения эволюции недостаточно «ограниченных ресурсов» и «множества соревнующихся акторов, способных передавать характеристики». «Способности к самовоспроизводству» — тоже недостаточно. Даже «соревнования между самовоспроизводящимися сущностями» недостаточно.

Эволюционируют ли корпорации? Они точно соревнуются. Время от времени у них появляются потомки. Их ресурсы ограничены. Иногда они умирают.

Но насколько потомок корпорации напоминает своих родителей? Значительная часть индивидуальности корпорации зависит от ключевых фигур, а директора не размножаются делением. Уравнение Прайса оперирует лишь характеристиками, которые наследуются в дальнейших поколениях. Если пра-правнуки почти непохожи на своих пра-прадедов, то в кумулятивный отбор у вас дадут вклад не больше четырёх поколений — всё, что произошло более чем четыре поколения назад, не будет играть никакой роли. Да, индивидуальность корпорации может повлиять на потомство — но в корпорациях нет никакого аналога ДНК — сущности, которую скорее стоит считать цифровой, а не аналоговой и каждый элемент которой передаётся в следующее поколение с вероятностью ошибки, равной $10^{-8}$.

ДНК наследуются на протяжении миллионов поколений. Чистая эволюция создала сложные адаптации именно благодаря этому. Цифровая ДНК сохраняется достаточно долго, и ген, добавляющий 3% преимущества может распространяться в течение 768 поколений, а после этого может возникнуть другой ген, зависящий от первого. Даже если бы корпорации могли повторять себя с цифровой точностью, на данный момент они представляли бы собой максимум десять поколений в мире РНК.

Корпорации, конечно же, подвержены отбору, в том смысле, что некомпетентные корпорации терпят крах. Таким образом, более вероятно наблюдать корпорации с характеристиками, способствующими компетентности. В том же смысле, посмотрев на ночное небо, вы с меньшей вероятностью заметите звезду, превратившуюся в сверхновую вскоре после формирования. Однако если случайность звёздной динамики заставит одну звезду гореть дольше, чем другую звезду, вероятность, что будущие звезды будут также гореть дольше, не увеличится — характеристики звезды, горевшей дольше, не скопируются в другие звезды. Крайне маловероятно, что астрофизики будущего обнаружат сложные внутренние особенности звёзд, которые будут выглядеть, словно они созданы специально, чтобы звёзды горели дольше. Механическая адаптация такого рода требует гораздо большего кумулятивного давления отбора, чем однократный отсев.

Подумайте над принципом, представленном в «Самоуверенности Эйнштейна». Чтобы Эйнштейн при создании ОТО обратил внимание на какое-то конкретное уравнение, потребовалось огромное количество свидетельств. Количество же свидетельств, которое было необходимо, чтобы это уравнение перешло со стадии «я его рассматриваю как гипотезу» на стадию «я уверен в нём на 99,9%», гораздо меньше. Аналогично сложные характеристики корпораций, описываемые сотнями бит информации, созданы в основном человеческим интеллектом, а не несколькими поколениями неразборчивой эволюции. В случае биологии мутации абсолютно случайны, а эволюция поставляет тысячи бит кумулятивного давления отбора. В случае корпораций тысячебитные сложные «мутации» создаются человеческим интеллектом, созданные интеллектом, а затем дальнейший отбор в виде «обанкротилась или нет?» отвечает за несколько дополнительных бит, объясняющих ваши наблюдения.

Продвинутая молекулярная нанотехнология — искусственный её подвид, а не биологический — должна уметь копировать себя с цифровой точностью на протяжении тысяч поколений. Будет ли здесь применимо уравнение Прайса?

Корреляция — это отношение ковариации и дисперсии, поэтому если А хорошо предсказывает B, то между ними может быть сильная «корреляция», даже если А варьируется от 0 до 9, а B только от 50,0001 и 50,0009. Уравнение Прайса работает с ковариацией характеристик, связанных с воспроизводством, а не с корреляцией! Если вы можете сжать дисперсию в характеристиках до небольших размеров, ковариация сильно снижается и с ней уменьшается кумулятивное изменение в характеристике.

Forsight Institute рекомендует (у него много разумных предложений) шифровать алгоритмы репликации любых наноустройств. Более того, шифровать таким образом, чтобы смена единственного бита зашифрованного алгоритма приводила к полной невозможности расшифровать его и использовать. Если все произведённые наноустройства являются точными молекулярными копиями и более того, любые ошибки на сборочной линии не наследуемы (ведь дети получили цифровую копию исходных зашифрованных алгоритмов для создания внуков) то наноустройства вряд ли смогут как-то эволюционировать.

Всё ещё придётся беспокоиться о прионах — самоповторяющихся ошибках сборки, не связанных с зашифрованными алгоритмами. Например, предположим, что рука робота промахивается и не захватывает атом углерода, используемый для создания собственной копии, а это приводит к тому, что рука потомка совершает точно такую же ошибку при попытке схватить атом углерода и так далее, хотя зашифрованные алгоритмы остаются неизменными. Но чему в такой ситуации будет равна корреляция между таким видом передаваемой ошибки и более высоким уровнем воспроизводства? Допустим наноустройство производит копию самого себя каждые 1000 секунд и новое наноустройство чудесным образом более эффективно (у него не просто есть прион, а это ещё и полезный прион) и оно копирует себя каждые 999,99999 секунд. Видите ли, ему нужно на один атом углерода меньше. Получается не так много дисперсии в воспроизводстве, а значит не такая уж и большая ковариация.

Как часто потребуется этим наноустройствам воспроизводиться? Если у них в свободном доступе будет не больше атомов, чем существует в Солнечной системе или, если уж на то пошло, в видимой Вселенной, то пройдёт лишь небольшое количество поколений, прежде чем они столкнутся с проблемой ресурсов. «Ограниченные ресурсы» не являются достаточным условием для эволюции, нужно ещё, чтобы эти ресурсы восстанавливались в результате регулярной смерти значительной доли популяции. На самом деле «поколения» это не столько число, сколько интеграл доли популяции, состоящий из вновь созданных элементов.

Как по мне, именно это и пугает в серой слизи или нанотехнологическом оружии больше всего: они съедят всю Землю и больше уже ничего не будет, ничего интересного больше не произойдёт. Алмаз более стабилен, чем белки, связанные силами Ван-дер-Ваальса, поэтому слизи потребуется лишь пересобрать некоторые кусочки самой себя в случае падения астероида. Даже если бы прионы оказались достаточно хороши для поддержания эволюции — эволюция и в случае цифровой ДНК достаточно медленна! - между пожиранием Земли слизью и смертью Солнца, скорее всего, прошло бы меньше 1,0 поколения.

Таким образом, если есть все следующие свойства:

  • Воспроизводящиеся сущности;
  • Достаточная дисперсия их характеристик;
  • Достаточная дисперсия их воспроизводства;
  • Устойчивая корреляция между характеристиками и воспроизводством;
  • Высокоточная наследуемость характеристик через многие поколения;
  • Частая рождаемость значительной доли популяции;
  • И всё остаётся истинным на протяжении множества итераций…

Тогда появится значительное кумулятивное давление отбора, достаточное для производства сложных адаптаций силами эволюции.

  • 1. Автор цитаты в оригинале использует отсылку к непереведённому на русский стихотворению Теннисона «In Memoriam». — Прим.перев.
  • 2. Блог, в котором Юдковский публиковал свои эссе до возникновения сайта lesswrong.com. — Прим.перев.

Перевод: 
sepremento, Alaric
Оцените качество перевода: 
Средняя оценка: 4.5 (10 votes)
  • Короткая ссылка сюда: lesswrong.ru/535