Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски

Если вы посмотрите вокруг, то, возможно, увидите поблизости дерево или его остатки — к примеру, деревянную балку или пол.

Загадка: из какого материала строят себя деревья? Они начинают жизнь как крошечные семена, но способны вырасти в огромные массивы древесины и листвы. Откуда они берут всю эту материю?

Они тянут ее из земли? Отчасти: примерно половину веса дерева составляет вода, впитанная из-под земли. Но остальная половина — это в основном углерод, а в воде углерода нет. Откуда же берется все остальное дерево?

Из почвы? Или из солнечного света? Ни то ни другое невозможно: почва состоит в основном из неорганических соединений, а фотоны — это даже не материя. Но что же еще это может быть?

Деревья состоят в основном из воздуха. Они используют солнечный свет, чтобы отщеплять атомы углерода от молекул CO2 и превращать эти атомы в кору и ветви.

Физика допускает возможность существования технологии, которая использует солнечный свет, чтобы «прясть» дерево из воздуха. Мог бы сверхразум изобрести такую технологию? Почти наверняка. Деревья создаются путем пропускания нитей РНК через рибосомы для производства белков (в соответствующей клеточной среде). В человеческих лабораториях тоже умеют использовать рибосомы. Так что сложность создания биологических технологий по индивидуальному заказу заключается не столько в производстве инструментов для этого, сколько в понимании языка проектирования — ДНК и РНК.

Почему люди уже сейчас не могут создавать нити ДНК, которые позволяли бы вырастить дерево, чьими плодами были бы шмели? Главным образом потому, что трудно просчитать и предсказать, как именно синтезированные ДНК белки будут взаимодействовать с клеточной средой. Ученые сталкивались с колоссальными трудностями всякий раз, когда пытались решить эту задачу.

Как вы думаете, сколько времени потребовалось бы человеческой цивилизации, чтобы раскрыть тайны ДНК и дойти до уровня, на котором мы могли бы конструировать геномы для создания искусственных форм жизни? Относится ли эта технология к тем, что мы разблокировали бы к 3000 году, если бы наша цивилизация просуществовала так долго?

А сколько времени потребовалось бы искусственному сверхразуму? Для системы, работающей в 10 000 раз быстрее человека, тысяча лет размышлений займет около месяца. А если бы она работала еще быстрее? Если бы она была сопоставима с цивилизацией бессмертных Эйнштейнов, работающих в идеальной гармонии? Возможно, ее бы замедляла необходимость ждать результатов экспериментов, но на клеточном уровне эксперименты могут проходить очень быстро, если понимать, что делаешь. Молекулы быстры — это люди-исследователи медлительны.

Наше самое смелое предположение — на это не ушло бы и недели. Но в таких масштабах точное время не играет большой роли. И как только достаточно умная машина постигнет ДНК и научится синтезировать собственные цепочки, что ж — уже сейчас существуют лаборатории, синтезирующие ДНК на заказ: отправляешь им последовательность, они синтезируют результат и высылают его по указанному адресу за определенную плату. После этого останется лишь убедить кого-нибудь смешать содержимое пробирок.

Неужели и это чистая фантастика?

Еще в 2006 году я (Юдковский) набросал сценарий того, как сверхразум может победить человечество. Этот сценарий предполагал, что сверхразум постигнет ДНК, а затем спроектирует собственные аналоги биологических систем (как промежуточную ступень к последующим, еще более развитым технологиям).

Одним из обязательных шагов для сверхразума в этом сценарии было понимание того, как белки, закодированные в той или иной цепочке ДНК, «сворачиваются», что и определяет их поведение. Белки — это кирпичики жизни, и если вы не можете разобраться в форме этих кирпичиков, то из них трудно что-либо построить. Сверхразуму нужно было бы уметь предсказывать сворачивание определенных, тщательно отобранных белков, достаточных для создания того, что ему требуется.

В 2006 году сворачивание белков было огромной нерешенной научной проблемой. И в 2008 году (когда мой сценарий был опубликован в сборнике статей) люди возражали: Чистая фантазия — воображать, будто сверхразум способен решить эту задачу. Что, если без квантовых компьютеров это вообще невозможно? У эволюции ушли миллиарды лет проб и ошибок, и даже если вы можете работать в миллион раз быстрее, на это все равно потребуется тысяча лет экспериментов. С чего вы вообще взяли, что эта задача разрешима?

Я отвечал: Когда ДНК мутирует, новый белок зачастую должен быть очень похож на старый, ведь если бы мутации были абсолютно случайными, естественный отбор через мутации вообще бы не работал. А значит, в этой задаче должны быть свои закономерности, которые можно постичь с помощью разума.

Оппоненты же ссылались на статью, в которой утверждалось, что поиск форм сворачивания белка с наименьшей энергией доказанно является «NP-трудным» — а это значит, что компьютеры, скорее всего, не способны эффективно находить наилучший (с наименьшей энергией) способ сворачивания для каждого белка. Любой, у кого было достаточно технических знаний, сразу понимал, что эта статья бьет мимо цели. Законы физики, насколько известно, не решают NP-трудные задачи эффективно, так что из статьи следовало лишь то, что реальные белки далеко не всегда сворачиваются наилучшим образом.ii

Но сторонним наблюдателям тогда, в 2008 году, было очень трудно понять, прав ли я или правы скептики. С позиций 2008 года у меня были лишь аргументы о том, почему сверхразум сможет предсказывать сворачивание белков, а у скептиков — свои аргументы, да вдобавок еще и научная статья. Да и люди в 2008 году, как ни пытались, с трудом предсказывали формы сворачивания белков. Может, задача действительно была безумно сложной? Сверхразум — это всё-таки не магия.

Ни о каком консенсусе говорить не приходилось. Но чаще всего скептики сходились во мнении, что сверхразуму наверняка придется пройти через долгий, затяжной, постепенный процесс, измеряемый скорее месяцами, чем часами, чтобы предсказать…

…те самые формы сворачивания белков, которые сегодня без труда предсказывает AlphaFold 3. Google DeepMind решила проблему сворачивания белков в период между 2018 и 2022 годами (с помощью ИИ под названиями AlphaFold 1, AlphaFold 2 и AlphaFold 3). Именно за эту работу Демис Хассабис, сооснователь DeepMind, получил Нобелевскую премию по химии.

Может, мне просто повезло с прогнозом? Об этом всегда полезно задуматься, когда вы узнаете о ком-то главным образом благодаря его успешным прогнозам.

Но заметьте: то, что предсказывал я и в чем сомневались скептики, было гораздо скромнее того, что произошло в действительности.

Я предсказывал: колоссально превосходящий человека машинный сверхразум сможет решить частный случай сворачивания белков, при котором ему будет позволено намеренно выбирать самые простые для предсказания белки, пригодные для создания того, что ему требуется построить.

А на деле произошло вот