Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

конкурентов, – стало выглядеть для нас как гонка по нисходящей. Индустрия неслась под откос: ситуация могла бы войти в учебники в качестве примера, как не надо вести разработки (правда, написать такой анализ было бы уже некому).

Мы уже не верили, что человечество сумеет найти выход из катастрофической ситуации с помощью инженерных решений и исследований. Не в таких условиях. Не к нужному сроку.

Мы сочли наши предыдущие усилия провальными, свернули бóльшую часть исследований MIRI и направили ресурсы института на донесение одной-единственной мысли – предупреждения, лежащего в основе этой книги:

Если какая-либо компания или группа на планете создаст искусственный сверхинтеллект, используя что-либо, даже отдаленно похожее на современные технологии, и основываясь на понимании ИИ, даже отдаленно похожем на нынешнее, то погибнут все люди на всей Земле.

Это не гипербола. Мы не преувеличиваем ради эффекта. Мы считаем, что это самая прямая экстраполяция современных знаний, данных и институционального поведения в области искусственного интеллекта.

В этой книге мы излагаем наши доводы в надежде сплотить достаточное число как лиц, принимающих важные решения, так и обычных людей – чтобы они отнеслись к ИИ серьезно. Исход по умолчанию летален, однако ситуация пока еще не безнадежна: машинного сверхинтеллекта пока не существует, и его создание все еще можно предотвратить.

Как можно быть в чем-то уверенным, когда дело касается искусственного интеллекта? Известный афоризм гласит: “Предсказывать очень трудно, особенно будущее”. Бóльшая часть того, что мы хотели бы знать о будущем, на самом деле не поддается прогнозированию. Например, мы не можем назвать вам выигрышные номера лотереи на следующей неделе. Все наборы чисел выглядят одинаково вероятными.

Но некоторые факты о будущем действительно предсказуемы. Предположим, завтра вы купите лотерейный билет. Мы не знаем, какими изощренными теориями или уловками вы воспользуетесь при выборе чисел, и не знаем, какие номера выпадут. Но вся эта неопределенность сводится к весьма надежному прогнозу: скорее всего, вы не выиграете. Аналогично, если бросить кубик льда в стакан с горячей водой, невозможно предсказать, где окажется каждая конкретная молекула десять минут спустя. Однако вся эта неопределенность складывается в прогноз, близкий к достоверному: кубик льда растает. По такому принципу работает существенная часть физики: мы знаем, куда ведут почти все пути, даже если не можем просчитать, какой именно путь будет выбран.

Одни аспекты будущего возможно предсказать, имея нужные знания и прикладывая усилия; другие же предсказать почти невозможно. Компетентная футурология строится на понимании этой разницы.

История учит нас, что относительно легко прогнозировать будущее следующим образом: вы осознаете, что нечто выглядит теоретически возможным в соответствии с законами физики, и предсказываете, что со временем кто-нибудь это сделает. Полеты аппаратов тяжелее воздуха, оружие, высвобождающее ядерную энергию, ракеты, летящие на Луну с человеком на борту, – все это было предсказано заранее, и на то имелись разумные причины, несмотря на возражения скептиков, которые с умным видом изрекали, что раз этого еще не произошло, то, вероятно, не произойдет никогда. Люди, привязывавшие крылья к рукам и прыгавшие с холмов, выглядели крайне глупо, они калечились и терпели неудачи, их высмеивали современники – однако это не остановило братьев Райт, которые поняли, как нужно летать.

Но куда более сложная задача – предсказать, когда именно появится та или иная технология. Люди могут утверждать, что до появления технологии осталось года два, тогда как на самом деле – все пятьдесят, или заявляют про пятьдесят лет, когда на самом деле – всего два года, причем они сами же эту технологию и создадут. “Человек не будет летать еще тысячу лет”, – бросил Уилбур Райт Орвиллу в 1901 году, когда братьев измучили неудачи при испытаниях безмоторного планера. Два года спустя, в 1903-м, аэроплан братьев Райт поднялся в воздух.

Успешное прогнозирование заключается не в том, чтобы проявить достаточно ума и предсказать те детали, которые обычно предсказанию не поддаются. И не в том, чтобы придумать полную историю того, что произойдет в будущем, а затем чудесным образом оказаться правым. Дело в поиске тех аспектов будущего, прогнозировать которые просто, если смотреть под правильным углом.

Мы не знаем, когда наступит конец света, если люди и страны ничего не изменят в своем отношении к искусственному интеллекту. Мы не знаем, какие заголовки об ИИ появятся через два года или десять лет, и даже не знаем, есть ли у нас в запасе эти десять лет. Мы не претендуем на звание настолько умных, что якобы можем предсказывать по-настоящему труднопредсказуемые вещи. Нам просто кажется, что один конкретный аспект будущего – что произойдет со всеми людьми и всем, что им дорого, если сверхинтеллект будет создан в ближайшее время, – cпрогнозировать вполне легко, если воспользоваться имеющимися знаниями и аккуратными рассуждениями.

На первый взгляд гибель человечества из-за сверхчеловеческого ИИ не выглядит логичным прогнозом. Но как раз для этого и написана наша книга. Точно так же как арифметика нужна, чтобы рассчитать шансы на победу в лотерее, а термодинамика – чтобы объяснить, почему ледяной кубик предсказуемо растает, необходима определенная подготовка, чтобы понять, почему искусственный интеллект несет угрозу неизбежного вымирания человечества. И стоит заложить такой фундамент, как прогноз исхода нынешней траектории становится удручающе, до ужаса очевидным.

Даже перед лицом сверхчеловеческого машинного интеллекта может возникнуть соблазн поверить, будто мир останется таким же, каким он был в последние десятилетия нашей относительно короткой жизни. Нам трудно осознать, что всего несколько столетий назад цивилизация кардинально отличалась от нынешней. Несколько тысячелетий назад цивилизация только зарождалась. Несколько миллионов лет назад не существовало людей. Миллиард лет назад только появлялись специализированные клетки.

Историческая перспектива помогает нам осознать то, что трудно увидеть из-за короткой продолжительности нашей жизни: природа допускает потрясения. Природа допускает бедствия. Природа допускает, что мир никогда не будет прежним.

Некогда – 2,5 миллиарда лет назад – произошло событие, которое биологи называют кислородной катастрофой: новая форма жизни научилась использовать энергию солнечного света для извлечения ценного углерода из воздуха. В качестве отходов жизнедеятельности эти организмы выделяли химически активное вещество, ядовитое для большинства существовавших тогда форм жизни: сейчас мы называем его “кислород”. Это вещество постепенно накапливалось в атмосфере. Основная часть живых существ, включая и большинство бактерий, выделявших этот самый кислород, не сумели справиться с его химической активностью и погибли. Лишь немногие удачливые линии клеток приспособились и со временем эволюционировали в организмы, использующие кислород как топливо. Но к прежней норме возврата не было. Мир уже никогда не был прежним.

Некогда континенты были бесплодными камнями. Затем, по эволюционным меркам – в