Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски

К сожалению, в числе 100 000 нет ничего магического. Мы не знаем, безопасны ли 99 999 графических процессоров. Никто не знает, как рассчитать это фатальное число. Поэтому самым надёжным решением было бы установить низкий порог — скажем, на уровне восьми самых современных графических процессоров образца 2024 года — и объявить незаконным владение девятью процессорами такой мощности в своём гараже без надзора со стороны международных органов.

Смогло бы человечество выжить, танцуя ещё ближе к краю пропасти? Возможно. Стоит ли человечеству пытаться танцевать так близко к краю пропасти, как только возможно? Нет.

Практически каждый год учёные создают новые, более изящные и эффективные алгоритмы ИИ, которые позволяют за меньшие деньги обучить новую модель ИИ, не уступающую по мощности лидеру прошлого года, причем зачастую требуя буквально 10 или даже 1 процент от прежнего объёма вычислительной мощности.

Поэтому дальнейшая публикация исследований в области более эффективных и мощных методов ИИ должна быть объявлена вне закона — человечество, скорее всего, не выживет, если это по-прежнему будет легально.

Вся технологическая революция, которая привела к созданию ChatGPT и других популярных LLM, началась с научной статьи 2018 года, представившей оригинальную организацию вычислений внутри графического процессора — алгоритм «трансформер», который легче поддавался обучению методом градиентного спуска для выполнения сложных задач.ii Трансформеры оказались удивительно универсальными и открыли огромный спектр новых областей применения, с которыми ИИ раньше просто не справлялся. Именно поэтому ИИ теперь может разговаривать как человек.

Следующая подобная статья может просто-напросто погубить мир. А может, и нет! Мы не знаем, сколько ещё таких статей отделяет человечество от вымирания.

Поэтому это нужно запретить законом. Такие законы не остановят исследования полностью, но они помогут и дадут нам гораздо больше времени. Большинство людей не пытаются совершать противозаконные действия, которые могут по-настоящему разозлить международные правоохранительные органы и спецслужбы.

Нам вовсе не в радость говорить это. Но мы не знаем, как иначе человечество сможет выжить.

Эффективные глобальные действия по остановке эскалации ИИ потребуют от ряда ведущих мировых держав серьёзного отношения к этой проблеме. Им необходимо понять, почему создание машинного интеллекта, значительно превосходящего человеческий, убьёт всех, и действовать соответствующим образом.

Представьте, что США, Великобритания, Китай и Россия начали относиться к этому вопросу со всей серьёзностью. Но предположим гипотетически, что какая-то другая ядерная держава считает всё это детским лепетом, а передовой ИИ, по её мнению, сделает всех богатыми. И вот эта страна начинает строить дата-центр, намереваясь использовать его для дальнейшего наращивания возможностей ИИ. Что тогда?

Нам кажется, что при таком сценарии остальные державы должны дать понять, что этот дата-центр их пугает. Они должны потребовать, чтобы дата-центр не строился. Они должны чётко заявить, что если дата-центр всё-таки будет построен, им придётся его уничтожить — с помощью кибератак, саботажа или обычных авиаударов. Они должны дать понять, что это не угроза с целью принуждения к подчинению, а проявление искреннего ужаса за собственные жизни и жизни своих детей. Союзники должны дать понять, что даже если эта держава пригрозит ответить ядерным ударом, им всё равно придётся использовать кибератаки, саботаж и обычные удары для уничтожения дата-центра, поскольку дата-центры могут убить больше людей, чем ядерное оружие. Им не следует пытаться понизить статус этой мирной державы в мировом порядке; они должны предложить ей присоединиться к договору на равных условиях, чтобы эта держава предоставила свои графические процессоры для мониторинга с теми же самыми правами и обязанностями, что и любой другой участник. Существующая политика нераспространения ядерного оружия показала, что здесь можно сделать.

Предельная ясность в общении — залог успеха. В крайних случаях государства могут прибегать к диверсиям, налётам или обычным ударам для срыва программ создания ядерного оружия. Мир живёт в страхе перед глобальной ядерной войной, поэтому мировые лидеры прилагают серьёзные усилия для предотвращения распространения ядерного оружия.

Иногда мы встречаем людей, которые абсолютно уверены, что лидеры ни одной крупной страны никогда не смогут осознать угрозу машинного сверхразума, а потому подобные договоры и дипломатия попросту невозможны. Возможно, время покажет их правоту.

Но мы в этом не уверены. Люди порой делают вещи, которых обычно не делают, если понимают, что на кону стоит их свобода или образ жизни, не говоря уже о самом их выживании.

Страны антигитлеровской коалиции во Второй мировой войне мобилизовали, вероятно, от 60 до 80 миллионов человек. Они задействовали 600 000 самолётов, 200 000 танков, тысячи военных кораблей. Одни только Соединённые Штаты выставили более 2 миллионов грузовиков. Это обошлось примерно в 341 миллиард долларов в ценах 1942 года, или в 6 триллионов долларов на сегодняшние деньги. Для многих из тех, кто в этом участвовал, угроза со стороны стран Оси даже не представляла непосредственной опасности для жизни.

Всякий раз, когда кто-то говорит вам, что мир ни за что не справится с такой сложной задачей, как ограничение исследований в области ИИ, он на самом деле утверждает, будто точно знает, что государствам на это всегда будет наплевать. Они утверждают, будто государства и их лидеры ни за что не станут беспокоиться об этой проблеме хотя бы на один процент от того, насколько важной для них была борьба во Второй мировой войне.

Мы понимаем, что то, что мы описываем — нелегко. Мы знаем, что это недёшево. Мы знаем, что создание и наделение полномочиями любого нового органа власти сопряжено с моральными рисками и потенциальными злоупотреблениями — как это было и во времена Второй мировой войны.

Но мы не знаем, как иначе человечество сможет выжить.

Решения, которые мы только что предложили, бесконечно далеки от тех мер, которые предлагают другие обеспокоенные люди. Мы видели самые разные предложения: от запрета дипфейковiii до требования к ИИ-компаниям предоставлять ежегодные отчёты о том, как они планируют решать свои проблемы с безопасностью.iv По той или иной причине эти люди не заявляют прямо: «Если кто-то его создаст, все умрут». Они преуменьшают угрозу, осторожничают, указывают на то, как менее развитый ИИ повлияет на общество, и предлагают регулировать его соответствующим образом, попутно вставляя пункты, которые закладывают основу для регулирования того типа ИИ, который действительно способен нас уничтожить.

Мы уже довольно давно наблюдаем за подобным развитием событий, когда люди не называют истинных причин своих предложений или того, почему, по их мнению, их необходимо принять так