Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

У кошек, конечно, есть мозг, который обучается в течение жизни; но в конце жизни кошки эта информация выбрасывается, поэтому она не накапливается. Поэтому кумулятивное влияние кошачьих мозгов на мир в качестве оптимизаторов относительно невелико.

Или возьмем мозг пчелы или бобра. Пчела строит ульи, а бобр строит плотины; но они не додумались до того, как строить их с нуля. Бобр не может сообразить, как построить улей, а пчела не может сообразить, как построить плотину.

Таким образом, мозги животных — вплоть до недавнего времени — не были главными действующими лицами в планетарной игре в оптимизацию; они были всего лишь фигурами, но не игроками. По сравнению с эволюцией, мозгу не хватало как универсальности оптимизационной силы (он не мог производить то удивительное разнообразие артефактов, которое создавала эволюция), так и кумулятивной оптимизационной силы (его продукты не накапливали сложность со временем). Подробнее об этом см. в эссе «Белковое подкрепление и ДНК-консеквенциализм».

Совсем недавно мозг некоторых животных начал демонстрировать как универсальность оптимизационной силы (производя поразительно широкий спектр артефактов в масштабах времени, слишком коротких для того, чтобы естественный отбор мог сыграть хоть какую-то значимую роль), так и кумулятивную оптимизационную силу (создавая артефакты возрастающей сложности в результате передачи навыков через язык и письменность).

У естественного отбора уходят сотни поколений на любые изменения и миллионы лет на создание сложных конструкций с нуля. Человеческие же программисты могут спроектировать сложную машину из сотни взаимосвязанных элементов за один день. И это неудивительно, ведь естественный отбор — это случайный процесс оптимизации, который, по сути, просто однажды начался сам собой, в то время как люди — это оптимизированные оптимизаторы, кропотливо созданные естественным отбором на протяжении миллионов лет.

Чудо эволюции не в том, насколько хорошо она работает, а в том, что она вообще работает без всякой предварительной оптимизации. Именно так оптимизация сама себя запустила во Вселенной — начав, как и следовало ожидать, с крайне неэффективного случайного процесса оптимизации. Которым, заметьте, был вовсе не случайный первый репликатор, а случайный первый процесс естественного отбора. Различайте объектный уровень и метауровень!

С самого зарождения оптимизации во Вселенной между естественным отбором и человеческим разумом сохранялось определенное структурное сходство...

Естественный отбор действует на уровне генов, но, вообще говоря, гены не разворачиваются обратно, чтобы оптимизировать сам естественный отбор. Изобретение половой рекомбинации является исключением из этого правила, как и появление клеток и ДНК. И вы можете оценить как силу, так и редкость подобных событий по тому факту, что эволюционные биологи выстраивают вокруг них целые истории жизни на Земле.

Но если сделать шаг назад и посмотреть с человеческой точки зрения — если подумать как программист, — то можно увидеть, что естественный отбор всё же устроен не так уж сложно. Попробуем связать разные гены вместе? Попробуем отделить хранение информации от движущихся механизмов? Попробуем случайным образом рекомбинировать группы генов? В абсолютном масштабе это те самые блестящие идеи, которые приходят в голову любому толковому хакеру в первые десять минут размышлений над архитектурой системы.

Поскольку естественный отбор изначально был настолько неэффективным (будучи совершенно случайным процессом), эта крошечная горстка улучшений на метауровне, полученная в виде обратной связи от репликаторов — и близко не сравнимая по сложности со структурой кошки, — структурирует эволюционные эпохи жизни на Земле.

И после всего этого естественный отбор всё ещё остаётся слепым безумным богом. Генофонды могут эволюционировать к вымиранию, несмотря на все клетки и секс.

Конечно, естественный отбор подпитывает сам себя в том смысле, что каждая новая адаптация открывает новые пути для дальнейшей адаптации; но это происходит на объектном уровне. Генофонд подпитывается собственной сложностью — но лишь благодаря защищённому интерпретатору естественного отбора, который работает на заднем плане и который сам не переписывается и не меняется в ходе эволюции видов.

Точно так же люди изобретают науки и технологии, но мы ещё не начали переписывать саму защищённую структуру человеческого мозга. У нас есть префронтальная кора, височная кора и мозжечок — точно так же, как и у первых изобретателей сельского хозяйства. Мы ещё не занялись генной инженерией самих себя. На объектном уровне наука подпитывает науку, и каждое новое открытие прокладывает путь для следующих открытий — но всё это происходит благодаря защищённому интерпретатору, человеческому мозгу, который работает нетронутым на заднем плане.

У нас есть изобретения метауровня, такие как наука, которые пытаются научить людей тому, как думать. Но первый человек, открывший теорему Байеса, не стал байесианцем; он не мог переписать себя, не обладая ни этими знаниями, ни этой силой. Наши важнейшие инновации в искусстве мышления, такие как письменность и наука, настолько могущественны, что структурируют ход человеческой истории; но они не могут соперничать по сложности с самим мозгом, и их влияние на мозг сравнительно поверхностно.

Текущий уровень развития в обучении рациональности недостаточно высок для того, чтобы превратить случайно выбранного смертного в Альберта Эйнштейна, что наглядно демонстрирует силу нескольких незначительных генетических особенностей в устройстве мозга по сравнению со всеми книгами по саморазвитию, когда-либо написанными в двадцатом веке.

Поскольку мозг невидимо трудится на заднем плане, люди склонны упускать из виду его вклад и принимать его как должное; они рассуждают так, словно простая инструкция «Проверяйте идеи экспериментом» или правило статистической значимости p < 0.05 вносят вклад того же порядка, что и весь человеческий мозг. Попробуйте сказать шимпанзе, чтобы они проверяли свои идеи экспериментом, и посмотрите, как далеко вы продвинетесь.

И теперь... некоторые из нас хотят разумно спроектировать интеллект, который был бы способен разумно перепроектировать самого себя, вплоть до уровня машинного кода.

Машинный код на первых порах, а позже законы физики были бы своего рода защищённым уровнем. Но этот «защищённый уровень» не содержал бы динамику оптимизации; защищённые уровни не структурировали бы работу. Человеческий мозг сам по себе проводит немало оптимизаций и сам по себе ошибается, что бы вы ни пытались втолковать ему в школе. Но у этого полностью замкнутого рекурсивного оптимизатора не было бы защищённого уровня, который занимался бы оптимизацией. Вся структура оптимизации сама подвергалась бы оптимизации.

И это колоссальный сдвиг, который полностью порывает со всем прошлым со времён первого репликатора, поскольку он ломает идиому защищённого метауровня.

История Земли до сих пор была историей оптимизаторов, крутящих свои колёса с постоянной скоростью и создающих постоянное давление оптимизации. И создающих оптимизированные продукты