Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Один из инсайтов, к которому можно прийти, размышляя над уравнением Прайса, заключается в том, что «ограниченных ресурсов» и «множества конкурирующих агентов, способных передавать свои характеристики по наследству», недостаточно для запуска эволюции. Наличие «самовоспроизводящихся сущностей» — условие недостаточное. Даже «конкуренции между самовоспроизводящимися сущностями» еще недостаточно.

Эволюционируют ли корпорации? Они, безусловно, конкурируют. Время от времени они отпочковывают дочерние компании. Их ресурсы ограничены. Иногда они умирают.

Но насколько дитя корпорации похоже на своих родителей? Большая часть индивидуальности корпорации исходит от ключевых руководителей, а генеральные директора не могут размножаться делением. Уравнение Прайса работает лишь в той мере, в какой характеристики наследуются из поколения в поколение. Если праправнуки не слишком похожи на своих прапрародителей, вы не получите кумулятивного давления отбора дольше, чем на четыре поколения — все, что произошло более четырех поколений назад, просто размоется. Да, индивидуальность корпорации может повлиять на ее дочернюю компанию, но это совсем не похоже на наследуемость ДНК, которая является цифровой, а не аналоговой, и способна передаваться с погрешностью всего 10⁻⁸ ошибок на основание за поколение.

В случае с ДНК наследуемость сохраняется на протяжении миллионов поколений. Именно благодаря этому сложные адаптации могут возникать путем чистой эволюции: цифровая ДНК сохраняется достаточно долго, чтобы ген, дающий 3%-ное преимущество, успел распространиться за 768 поколений, а затем мог появиться другой ген, зависимый от него. Даже если бы корпорации воспроизводились с цифровой точностью, сейчас они прошли бы в РНК-мире максимум десять поколений.

Конечно, корпорации подвергаются отбору в том смысле, что некомпетентные корпорации разоряются. По логике вещей, из-за этого вы с большей вероятностью будете наблюдать корпорации с чертами, способствующими их компетентности. В том же смысле любая звезда, которая взрывается как сверхновая вскоре после своего образования, с меньшей вероятностью будет видна, когда вы посмотрите на ночное небо. Но если случайность звездной динамики заставляет одну звезду гореть дольше другой, это не повышает вероятность того, что будущие звезды также будут гореть дольше, — эта особенность не скопируется на другие звезды. Нам не стоит ожидать, что астрофизики будущего обнаружат сложные внутренние структуры звезд, которые словно созданы для того, чтобы помогать им гореть дольше. Подобная механическая адаптация требует гораздо более масштабного кумулятивного давления отбора, чем разовый отсев.

Вспомните принцип, описанный в эссе «Высокомерие Эйнштейна»: подавляющая часть свидетельств, необходимых для того, чтобы прийти к Общей теории относительности, ушла на то, чтобы поднять это конкретное уравнение до уровня личного внимания Эйнштейна; количество же свидетельств, потребовавшихся для его перевода из статуса осознанно рассматриваемой возможности в 99,9%-ную уверенность, было по сравнению с этим ничтожным. Точно так же сложные особенности корпораций, описание которых требует сотен бит, создаются прежде всего человеческим интеллектом, а не несколькими поколениями низкоточной эволюции. В биологии мутации совершенно случайны, а эволюция обеспечивает тысячи бит кумулятивного давления отбора. В корпорациях же люди предлагают сложные, разумно спроектированные «мутации» размером в тысячи бит, а дальнейшее давление отбора в виде вопроса «Обанкротилась компания или нет?» объясняет лишь считаные дополнительные биты в том, что мы наблюдаем в итоге.

Передовые молекулярные нанотехнологии — искусственные, а не биологические — должны быть способны копировать себя с цифровой точностью на протяжении тысяч поколений. Обретет ли благодаря этому силу уравнение Прайса?

Корреляция — это ковариация, деленная на дисперсию, поэтому если по A можно с высокой точностью предсказать B, между ними может быть сильная «корреляция», даже если A колеблется от 0 до 9, а B — всего лишь от 50,0001 до 50,0009. Уравнение Прайса работает на ковариации признаков с размножением — а не на корреляции! Если сжать дисперсию признаков в крошечный диапазон, ковариация резко упадет, а вместе с ней и кумулятивное изменение признака.

Институт Foresight предлагает (среди прочих разумных мер) шифровать инструкции по репликации для любых наноустройств. Причем шифровать так, чтобы изменение хотя бы одного бита в закодированных инструкциях полностью разрушало расшифрованный результат. Если все производимые наноустройства представляют собой точные молекулярные копии, и к тому же любые ошибки на сборочной линии не наследуются, поскольку потомок получает исходную цифровую зашифрованную копию инструкций для создания «внуков», то эволюционировать ваши наноустройства особо не будут.

Вам все равно придется беспокоиться о прионах — самореплицирующихся ошибках сборки, не связанных с зашифрованными инструкциями: например, если рука робота не сможет захватить атом углерода, используемый при сборке его собственного аналога, и это приведет к тому, что рука робота-потомка точно так же не сможет захватить атом углерода, и так далее, даже при полной неизменности зашифрованных инструкций. Но велика ли будет корреляция между подобной передающейся ошибкой и более высокой скоростью размножения? Допустим, одно наноустройство создает свою копию каждые 1000 секунд, а новое наноустройство волшебным образом оказывается более эффективным (у него не просто прион, а полезный прион) и копирует себя каждые 999,99999 секунды. Видите ли, ему требуется присоединить на один атом углерода меньше. Дисперсия в скорости размножения здесь ничтожна, а значит, и ковариация тоже будет крайне мала.

Да и как часто этим наноустройствам придется реплицироваться? Если только в их распоряжении нет большего числа атомов, чем существует в Солнечной системе (или, если уж на то пошло, в видимой Вселенной), пройдет совсем немного поколений, прежде чем они упрутся в ресурсный барьер. «Ограниченность ресурсов» — недостаточное условие для эволюции; необходима многократно повторяющаяся гибель значительной части популяции, чтобы высвободить эти ресурсы. В самом деле, «поколения» — это не столько целое число, сколько интеграл по той доле популяции, которую составляют вновь созданные особи.

Для меня это самый пугающий аспект «серой слизи» или нанотехнологического оружия: они могут поглотить всю Землю, и на этом всё — дальше ничего интересного происходить не будет. Алмаз стабильнее белков, удерживаемых силами Ван-дер-Ваальса, так что слизи нужно будет лишь пересобирать отдельные свои части при падении астероидов. Даже если бы прионы были достаточно мощным механизмом, чтобы вообще поддерживать эволюцию (а эволюция и с цифровой-то ДНК протекает крайне медленно!), между моментом, когда слизь поглотит Землю, и моментом, когда угаснет Солнце, может пройти менее 1,0 поколения.

Подведем итог: если у вас есть все следующие свойства:

Реплицирующиеся сущности;

Существенные различия в их признаках;

Существенные различия в скорости их размножения;

Устойчивая корреляция между признаками и размножением;

Высокоточная долгосрочная наследуемость признаков;

Частое рождение значительной части размножающейся популяции;

И всё это остается верным на протяжении многих итераций...

Тогда