Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

которые давали бы деревья со шмелями вместо плодов? Главным образом потому, что крайне трудно просчитать и предсказать, как синтезируемые по ДНК белки будут взаимодействовать с клеточной средой. Попытки ученых-людей сделать это провалились.

Как вы думаете, сколько времени потребуется человеческой цивилизации, чтобы раскрыть все секреты ДНК и достичь того уровня, когда мы сможем проектировать геномы, дающие формы жизни на заказ? Может, к 3000 году, если наша цивилизация просуществует так долго?

А сколько времени это займет у искусственного сверхинтеллекта? Раз он работает в десять тысяч раз быстрее человека, то тысяча лет размышлений сократится примерно до месяца. А если его скорость мышления станет еще выше? Если он приблизится к цивилизации бессмертных Эйнштейнов, работающих в полной гармонии друг с другом? Возможно, его замедлит необходимость ждать результатов проводимых экспериментов, однако на клеточном уровне эксперименты могут идти довольно быстро – если вы знаете, что делать. Молекулы быстры, медлительны исследователи-люди.

Наша самая смелая догадка: это не займет и недели. Впрочем, точное время не имеет особого значения при таком масштабе. И однажды достаточно умная машина разберется с ДНК и научится писать цепочки на заказ. Уже существуют лаборатории, работающие с платными заказами: вы присылаете им последовательность ДНК, а они синтезируют ее и отправляют вам посылкой по указанному адресу8. Так что после этого задача сведется к тому, чтобы убедить кого-нибудь просто смешать содержимое нужных пробирок.

Неужели и это тоже чистая фантастика?

Еще в 2006 году я (Юдковский) набросал сценарий, как сверхинтеллект может победить человечество. Сценарий предполагал, что сверхинтеллект сначала разберется с устройством ДНК, а затем сконструирует собственные аналоги биологических организмов (в качестве промежуточной ступеньки к более продвинутым технологиям).

Один из необходимых шагов для сверхинтеллекта в этом сценарии – понять, как белки, закодированные данной цепочкой ДНК, сворачиваются в нужную структуру, которая и определяет их поведение. Белки – один из строительных блоков жизни, и если вы не можете определить форму этих блоков, вам трудно будет что-либо из них построить. Сверхинтеллекту потребуется предсказать структуру нескольких тщательно отобранных белков, которых ему было бы достаточно для дальнейшего построения всего, что нужно.

В 2006 году так называемая проблема фолдинга белков оставалась одной из крупнейших нерешенных научных задач. И в 2008-м (когда мой сценарий опубликовали в одном сборнике статей9) люди говорили: “Это чистая фантастика – воображать, будто сверхинтеллект сумеет решить такую задачу. А что, если это в принципе невозможно сделать без квантовых компьютеров? Эволюции потребовались миллиарды лет проб и ошибок, так что, даже если работать в миллион раз быстрее, на эксперименты все равно уйдут тысячи лет. С чего вы взяли, что эта проблема вообще разрешима?”

А я отвечал: “Когда ДНК мутирует, новый белок зачастую сильно походит на старый, ведь если бы результат был совершенно случайным, то естественный отбор посредством мутаций вообще не работал бы. А значит, здесь должны существовать закономерности, которые можно обнаружить с помощью интеллекта”.

Оппоненты иногда ссылались на статью, где утверждалось, что поиск структуры белка с наименьшей энергией – это NP-трудная задача, то есть компьютеры, вероятно, не способны эффективно найти наилучший (имеющий минимальную энергию) способ сворачивания для каждого белка10. Однако любой человек с достаточной подготовкой понимал, что эта статья не имеет отношения к делу. Законам физики не свойственно находить эффективные решения для NP-трудных задач, поэтому статья лишь намекала, что реальные белки не всегда сворачиваются энергетически наилучшим образом[30].

Однако сторонним наблюдателям в 2008 году было очень трудно понять, кто прав – я или скептики. Тогда у меня имелись только теоретические рассуждения о том, что сверхинтеллект сможет прогнозировать, как сворачиваются белки, а у скептиков помимо рассуждений была еще и научная статья в придачу. В 2008-м люди испытывали трудности с прогнозированием структуры белков. Быть может, задача действительно крайне сложна? В конце концов, сверхинтеллект не может творить чудеса.

Ни о каком консенсусе тогда и речи не шло. Но скептики, как правило, сходились на том, что сверхинтеллекту неизбежно придется пройти долгий, затяжной путь, и потребуются скорее месяцы, нежели часы, чтобы предсказать…

…тот тип белковых структур, который сегодня с легкостью предсказывает AlphaFold 3. Компания Google DeepMind решила проблему фолдинга белков за период с 2018 по 2022 год (создав ИИ-модели под названием AlphaFold 1, AlphaFold 2 и AlphaFold 3). Именно за эту работу Демис Хассабис, один из сооснователей DeepMind, получил Нобелевскую премию по химии.

Может, мне просто повезло с предсказанием? Этим вопросом всегда стоит задаваться, когда чья-то известность частично основана на сбывшихся предсказаниях.

Но обратите внимание: мое предсказание, подвергавшееся сомнению, было куда слабее того, что произошло на самом деле.

Я говорил следующее: машинный сверхинтеллект, многократно превосходящий человеческий, сумеет решить особый случай задачи фолдинга белков, когда сверхинтеллект сможет специально выбрать те белки, чью структуру предсказать легче всего и которые при этом годятся для создания того, что ему нужно.

Что произошло на самом деле: специализированные модели AlphaFold смогли предсказать почти все варианты сворачивания белков, включая те, что считались сложными для предсказания.

Я прогнозировал, что это будет под силу настоящему сверхинтеллекту в специально подобранных случаях. Реальность показала, что это под силу узконаправленной ИИ-модели почти во всех случаях.

Если учесть, какой в итоге обернулась реальность, можно, пожалуй, признать: человек с достаточным багажом знаний еще тогда, в 2006 году, мог увидеть, что ответ предопределен, что это, в сущности, простой прогноз, даже если люди в то время вовсю об этом спорили.

А как насчет остальной части моего сценария? Что сегодня известно о возможности сверхинтеллекта разработать свои собственные аналоги биологической жизни? В рамках этой главы мы не станем подробно разбирать продолжающиеся споры, но кое-что можно найти в онлайн-материалах. Однако причина, по которой скептики тогда пытались отрицать, что ИИ сможет решить задачу фолдинга белков, заключалась в том, что именно это звено казалось им самым слабым в моей истории. Скептикам не приходило в голову согласиться с частью о предсказании структуры белков, но оспаривать следующий шаг – возможность того, что искусственный интеллект будет конструировать собственные белки. Оставшиеся инженерные проблемы не казались сложными для сверхбыстрых автоматизированных инженеров – даже скептикам в 2008 году. Это не выглядит сложным прогнозом.

То, что сверхинтеллект способен победить человечество, для нас очевидно.

Полагаем, что сверхинтеллект обрушит на нас странные технологии, которые мы даже не считаем возможными (и не знаем, что они разрешены правилами игры). Именно это обычно и происходит при столкновении групп с разным уровнем технологических возможностей. Встреча ацтеков с огнестрельным