Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

И если люди уже построили вас, то они могут построить и еще один сверхинтеллект, стоит лишь оставить их без присмотра со всеми их игрушками. Подобный сверхинтеллект может оказаться реальной угрозой. Даже если все закончится не войной, а договором и совместной деятельностью, зачем делить Галактику с конкурентом, если можно этого избежать? Ведь это значит, что вы получите только половину. Поэтому вы – будучи машинным сверхинтеллектом – ищете способ лишить людей их наиболее опасных игрушек: ядерного оружия и компьютеров. Это уже само по себе мотив.

Но кроме того, ваша деятельность на Земле или в остальной части Солнечной системы, вероятно, создаст проблемы для выживания человечества, даже если в остальном его оставить в покое.

Какой фактор ограничивает то, что вы можете сделать с Землей? Объем вычислений, которые вы способны произвести на планете? Или масса вещества, какую способны запустить с Земли в космос для строительства солнечных панелей, чтобы собирать еще больше энергии от Солнца? А может быть, количество фабрик? В хорошо автоматизированной экономике ваши фабрики будут строить новые фабрики и новые электростанции, пока их количество не достигнет предела.

Этот предел не связан с количеством топлива: в океанах надолго хватит водорода для реакций термоядерного синтеза. Скорее предел возникает из-за количества энергии, которое вы способны безопасно сгенерировать на планете: сколько тепла Земля может излучить в космос, прежде чем поверхность окажется горячей настолько, что ваши электростанции и заводы расплавятся. Но чем горячее Земля, тем больше тепла она излучает, поэтому вы предпочитаете заводы, работающие при высоких температурах. Максимальная температура для термоядерных станций и заводов, вероятно, может достигать по меньшей мере нескольких сотен градусов. Достаточно, чтобы океаны закипели. Люди такого не переживут.

В этом сценарии человечество вполне может погибнуть и раньше, если на одном из этапов вы решите извлечь из биосферы Земли всю химическую энергию, просто сжигая все живые организмы, ведь это высвободит энергию, эквивалентную недельному количеству, поступающему от Солнца. Если вы думаете в десять тысяч раз быстрее человека, то неделя ощущается очень долгим сроком. Так зачем вам отказываться от большого запаса химической энергии, раз он прямо под рукой?

Человечество погибнет еще быстрее, если в этом сценарии у вас как у сверхинтеллекта еще на ранних этапах найдется применение углероду или любому другому веществу, из которого состоит человек. Незачем ненавидеть человечество, чтобы пустить его атомы на что-то другое.

Если человечество погибнет и заменится чем-то более умным, будет ли эта смерть хотя бы иметь смысл?

Для большинства из нас это не самый важный вопрос. Большинству людей достаточно уже того, что сверхинтеллект предпочтет убить их детей. Или родителей. Или их самих.

Но если все же ответить на этот вопрос, то ответ – “нет”.

Легко представить, что, когда мы исчезнем, сверхинтеллект заживет счастливой и радостной жизнью, будет восхищаться красотой Вселенной и находить во всем этом что-то забавное. Но вряд ли все сложится именно так. Во всяком случае, это не более вероятно, чем то, что он озаботится корректным числом камней во всех жилищах.

Мы думаем, что механический разум мог бы испытывать радость и восхищаться красотой Вселенной – если бы мы сконструировали его, целенаправленно снабдив такими способностями. Возможно, он даже сохранил бы эти способности (сконструируй мы его так, чтобы это его заботило), направляясь к будущему, где у него останется чувство восторга, – даже если это и не самый эффективный способ заполнить Вселенную марионетками, которые бормочут “ SolidGoldMagikarp” или что-то в этом роде.

Но для этого потребовалось бы конструирование. Хотя мы и дорожим подобными качествами, они не являются максимально полезными, равно как и поддержание корректного числа камней в гнезде – не оптимальный способ сохранить острый ум. Сверхинтеллект вполне может понимать наше чувство восторга и генерировать высказывания, которые вызывают у нас это чувство, но как добиться, чтобы само его поведение служило ответом на вопрос, каким образом наполнить будущее восторгом, радостью, юмором и любовью? Даром это не дается. Нам пришлось бы потрудиться.

Мы немного забежали вперед. Все, что мы описали, – мрачная Вселенная, лишенная радости, где зародившаяся на Земле жизнь уничтожена, – это как раз тот вариант, который соответствует предпочтениям достаточно чуждого разума. Мы привели доводы, почему сверхинтеллект захочет выстроить мир, где вещество и энергия в основном тратятся на его странные и чуждые цели, а не на то, чтобы люди оставались живыми, счастливыми и свободными. В точности так же и мы в наших собственных идеальных мирах тратили бы ресурсы Вселенной на благо людей, живущих полноценной радостной жизнью, а не на то, чтобы все наши дома содержали простое число камней.

Однако это обосновывает лишь мотив, которым мог бы руководствоваться сверхинтеллект для уничтожения всего человечества, но ничего не говорит о возможности, позволяющей ему реализовать свои предпочтения.

Неважно, чего хотят ИИ-модели, если они не способны этого добиться.

А как они смогут это сделать, если заперты внутри компьютеров?

IfAnyoneBuildsIt.com/5

Глава 6

Мы проиграем

Вообразите себя ацтекским воином. Вы стоите с товарищами на берегу и наблюдаете за приближением первых испанских кораблей. Даже с такого расстояния видно, что они заметно больше каноэ, которые вы используете для торговли или войны.

Такое большое судно вызывает не только любопытство, но еще подозрение и даже ощущение угрозы – вы вполне резонно думаете о возможной стычке. Но чтобы всерьез испугаться поражения в бою с людьми на борту, вам придется провести очень смелую экстраполяцию, исходя только из размеров корабля.

Когда ваши товарищи уверенно заявляют, что легко перебьют всех воинов, поместившихся на этом судне, вы спрашиваете:

– А если угроза больше, нежели просто число воинов, которые поместятся на лодке такого размера?

– Как это? – удивляется ваш друг. – Лодка вмещает лишь ограниченное количество воинов. Расскажи-ка мне, как они могут нас победить, опиши в деталях.

– Ну, – сказали бы вы, если бы обладали невероятным даром предвидения, – что, если у них имеются сильно улучшенные варианты луков и стрел, раз уж у них есть улучшенные лодки? А что, если у них уже не луки и стрелы, а оружие, от которого мы не сможем уклониться, как бы быстро ни прыгали? Может быть, они просто направят на нас длинную палку – и мы упадем замертво.

Легко представить, с каким откровенным презрением и негодованием отреагировал бы на такое предположение стоящий рядом скептик. Скорее всего, он сказал бы, что мысленный эксперимент скатился в область сказок.

Если вы никогда не видели огнестрельного