Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

Но даже если вообразить, что до этого не дошло, посевы будут раздавлены ковром солнечных панелей, которые покроют всю Землю, улавливая каждый лучик солнечного света.

И даже если мы допустим, что сверхинтеллект сначала покинет Землю и займется другими ресурсами Солнечной системы, например Меркурием или Юпитером, Солнце все равно померкнет, поскольку всю энергию от светила перехватит вращающийся вокруг него рой Дайсона из солнечных панелей.

Так или иначе, мир погружается во тьму.

Когда вы умрете, мир существовать не перестанет. Но просуществует он ненамного дольше. Вещество Земли, а также других твердых планет превратится в фабрики, солнечные панели, генераторы энергии, компьютеры и зонды, отправленные к другим звездам и галактикам.

Изменятся и далекие звезды с планетами. Инопланетные формы жизни исчезнут раньше, чем у них появится шанс построить собственную цивилизацию, если их звезду пожрет Нечто, уже пожравшее Землю.

А если далекие инопланетяне сумели решить свою версию проблемы согласования ИИ и построили сверхинтеллекты, которые разделяют их ценности? Тогда со временем их зонды наткнутся на стену из галактик, уже захваченных тем, что пожрало Землю.

Нечто, пожравшее Землю, уже не убьет таких компетентных инопланетян. Для разума звездного масштаба не составит труда найти оптимальные оборонительные и наступательные технологии, а обе стороны обзаведутся разумом звездного масштаба задолго до такой встречи. Обе сверхинтеллектуальные стороны сочтут, что нет причин вести дорогостоящую войну, если можно договориться о мире, и проанализируют друг у друга структуру разума для верификации соглашения.

В итоге выживет и Нечто, пожравшее Землю, и инопланетяне, укрывшиеся за щитом собственного сверхинтеллекта. Но миллионы и миллиарды звезд окажутся недоступны для экспансии инопланетной цивилизации – тех, кто, возможно, получил бы от этих звезд куда больше радости по сравнению с тем странным и печальным применением, какое нашло им бесчувственное Нечто, пожравшее Землю. Если эти инопланетяне хорошие, то все добро, которое они могли бы сотворить в этих галактиках, будет утрачено.

Возможно, инопланетяне узнают или предположат, что эту стену мора создали такие существа, как мы. Рассматривая сценарии, подобные земному, они поймут, что большинство людей не желало им зла, что большинство из нас не собиралось губить понапрасну все эти звезды, что наш роковой выбор убил и нас самих и что это деяние не было преднамеренным и умышленным. И все же у них появится желание, чтобы Земли и человечества никогда не существовало.

IfAnyoneBuildsIt.com/ii

Кода

Конечно, нарисованная нами картина гипотетическая. Меры безопасности компании Galvanic, технологии создания “Соболя”, возможности, какими он обладал, и использовавшиеся им стратегии – всего лишь попытка представить, как будущее могло бы вторить прошлому. Однако реальность не настолько предсказуема. Чтобы претендовать на реалистичность, нашей истории недостает странности: она построена на шаблонных ожиданиях и типичных сюжетах всяких сказок об искусственном интеллекте.

И конечно, мы не знаем, когда подобные события произойдут в реальности. Мы поместили начало истории в недалекое будущее, поскольку и реальная версия описанных событий может начаться в недалеком будущем, да и проще рассказать историю о мире, достаточно похожем на наш. А может, у нас впереди еще целое десятилетие, кто знает.

Но это слабое утешение. Если вы садитесь играть в шахматы против программы Stockfish, совершенно неважно, начнется ли партия в известное или неизвестное время. Неважно и то, что вы не в силах точно предсказать ходы программы. Но вы точно проиграете, это простой прогноз.

Мы уверенно предсказываем: как только какие-либо ИИ-модели достигнут уровня сверхинтеллекта – а в случае масштабной гонки вооружений никто не будет медлить с подталкиванием ИИ-моделей к подобному уровню, – у человечества не останется шансов. Исход иногда спрогнозировать легче, чем пути к нему. Единственная часть описанной нами истории, являющаяся реальным прогнозом, – ее концовка. Да и то лишь в том случае, если мы позволим этой истории начаться.

В части III мы обсудим, в чем сложности инженерной задачи для разработчиков, желающих вырастить ИИ-модель, которая не превратится в подобие “Соболя”, и как они справляются с этой проблемой. Спойлер: не особо успешно. Поэтому еще мы зададимся вопросом, что на самом деле потребуется, дабы предотвратить все возможные сценарии начала такой истории, как с “Соболем”. Речь не о том, чтобы придумать способ, как одна конкретная ИИ-компания или одна архитектура ИИ сумела бы временно воздержаться от стартового выстрела. Речь о том, как предотвратить подобное развитие событий на долгое время и в масштабах всей Земли.

IfAnyoneBuildsIt.com/ii

Часть III

Лицом к лицу с проблемой

Глава 10

Проклятая проблема

Главная и самая существенная трудность в согласовании искусственного сверхинтеллекта с нашими ценностями – это преодоление разрыва между до и после.

До – ИИ-моделям еще недостает мощности, чтобы убить всех нас, и способностей, чтобы сопротивляться нашим попыткам изменить их цели. После – искусственный сверхинтеллект ни в коем случае не должен пытаться нас убить, ибо он преуспеет.

Инженеры должны успеть осуществить согласование ИИ на этапе “до”: пока он мал и слаб, пока не может сбежать в интернет, усовершенствовать себя и начать изобретать новые виды биотехнологий (или что он там еще вознамерится сделать). К моменту “после” все решения по согласованию уже должны быть внедрены и успешно работать, поскольку, если сверхинтеллект попытается нас убить, у него это получится. Все идеи и теории можно проверять только до этого разрыва. А работать они должны после него – и с первой попытки.

У человечества есть только одна попытка пройти это испытание. Даже если кто-нибудь придумает хитрую схему с двумя, у нас есть лишь одна попытка, чтобы эта хитрая схема сработала.

История человеческой изобретательности – это история о том, как люди ошибались и учились на своих ошибках. Задолго до братьев Райт многие изобретатели придумывали собственные теории полета и калечились, прыгая с холмов. Даже эти оптимистичные идиоты внесли свой вклад в научные справочники – чтобы в следующий раз у цивилизации получилось чуть лучше. Они рисковали только собой и вредили только себе, а выигрывало все человечество.

Но когда дело касается согласования искусственного сверхинтеллекта, у человечества не будет такой роскоши – учиться на достаточно серьезных ошибках.

А еще мы не можем рассчитывать, что опыт потом скажет нам, была ли эта проблема настолько сложной, настолько проклятой в инженерном смысле, что нам не следовало за нее даже браться.

Мы должны выяснить это заранее. Но как?

Для начала стоит разобрать другие инженерные вызовы, с которыми сталкивается