Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

Африке, Азии и Тихоокеанскому региону, пытаясь завоевать бóльшую часть мира (а может, и весь мир) и установить тоталитаризм. Если бы завоеватели не встретили сопротивления, это не стало бы концом человечества, но это стало бы концом свободного человечества.

Препятствовать странам Оси было, откровенно говоря, довольно хлопотно. Странам-союзницам пришлось пойти на значительные неудобства: проводить мобилизацию, нормировать распределение строительных материалов и выдавать еду по карточкам. Они посылали на смерть солдат, у которых были семьи и любимые.

Союзные державы все равно пошли на все эти трудности, поскольку не позволить тоталитаризму покорить мир казалось делом первостепенной важности.

Правительствам стран-союзниц пришлось максимально сосредоточить власть, чтобы бороться с тоталитарными державами Оси. Им пришлось брать займы, вводить налоги, тратить огромные суммы денег и в спешке заключать государственные контракты. Циничный и скептически настроенный человек мог бы назвать это не заслуживающей доверия затеей, грандиозной махинацией, мошенничеством, аферой, злоупотреблением. Да, часть денег, безусловно, была растрачена впустую, а некоторыми полномочиями действительно злоупотребили. Но союзники все равно пошли по этому пути, и вердикт истории гласит, что они поступили правильно в соответствии с их собственными высшими ценностями.

Пожалуй, странновато сваливать в одну кучу державы Оси, страны-союзницы и остальные государства мира, называя их одним словом “человечество”. Но все же, глядя на то, чем все закончилось, можно сказать: человечество оказалось на высоте и осталось свободным.

Что потребуется сделать, чтобы мир не погиб?

Просто и дешево не получится. Нам ужасно жаль, что приходится это говорить.

Нельзя просто закрыть какую-то одну безрассудную ИИ-компанию.

Нельзя просто создать технические регламенты и проверять их соблюдение, чтобы обеспечить безопасные ИИ-модели.

Нельзя просто устроить так, чтобы в гонке лидировала одна “хорошая” компания или одна “хорошая” страна. Машинный сверхинтеллект не ограничится послушным исполнением намерений своих создателей.

Нельзя просто объявить сверхинтеллект вне закона конкретно в вашей стране, чтобы она оказалась в безопасности, когда за ее границами будет бушевать хаос. Сверхинтеллект – это не локальная проблема, потому что его влияние не локально. Если его создадут где угодно, погибнут все и везде.

А значит, мир должен измениться. Для большинства людей эти изменения не будут радикальными. На повседневную жизнь большинства людей почти не повлияет тот факт, что несколько безумных ученых останутся без работы.

Но небольшие перемены должны произойти – во многих местах и странах. Нужно по всей Земле запретить ИИ-компаниям рваться вперед в разработках искусственного интеллекта, как они делают сейчас. Если это останется законным в Сингапуре, кто-то создаст сверхинтеллект в Сингапуре. Если это останется законным в ЮАР, кто-то создаст сверхинтеллект в ЮАР. Для решения проблемы достаточно небольших изменений. Сложность будет в том, чтобы обеспечить повсеместное соблюдение запрета.

Оставим пока в стороне вопрос, может ли достаточно обеспокоенная группа достаточно крупных государств обеспечить достаточно строгое соблюдение запрета по всему миру.

Что на самом деле должно произойти для таких перемен?

Мы не специалисты в создании международно-правовых механизмов. В дискуссиях, где мы принимаем участие, наши знания чаще всего в тот момент оказываются полезны, когда оппонент предлагает идею попроще, подешевле и поудобнее, утверждая с высоты своего политического опыта, что она гораздо реалистичнее. Вот тут вступаем мы и отвечаем, что этот более дешевый вариант все равно позволяет ИИ-модели развиться до сверхинтеллекта, а в этом случае, мы уверены, погибнут все.

Мы стараемся четко разграничивать области, в которых обладаем экспертными знаниями, и те, в которых не обладаем, и не притворяемся, будто разбираемся во всем. Когда дело касается суждений о детальных международных соглашениях, мы подходим к границам своей компетентности.

Но мы можем достаточно уверенно утверждать: если человечество хочет остаться в живых, нельзя позволить Северной Корее заполучить 100 000 графических процессоров, построить дата-центр и экспериментировать со все более мощными ИИ-системами. Мы не утверждаем, что именно эта ступенька окажется смертельной. Но для нас очевидно, что Северной Корее нельзя разрешать подниматься по лестнице эскалации ИИ, поскольку если это позволить Северной Корее, то и другие страны не будут себя сдерживать.

И это, к нашему сожалению, относится не только к Северной Корее. Это справедливо для любой страны. Это также справедливо для любых миллиардеров, которые вполне могут купить себе 100 000 графических процессоров. Им тоже нельзя позволять размещать столько графических процессоров где бы то ни было на Земле и продвигать развитие ИИ все дальше и дальше.

Нельзя позволять этого ни военным США, ни военным Великобритании, ни военным Китая. Никто не знает, как решить проблему согласования искусственного сверхинтеллекта.

Поэтому мы считаем, что первый шаг должен быть таким: все вычислительные мощности, на которых можно обучать или запускать новые, более мощные ИИ-модели, должны быть сосредоточены в местах, доступных для наблюдателей от нескольких государств, подписавших договор. Это необходимо для гарантии, что графические процессоры не будут использоваться для обучения или запуска новых, более мощных моделей[57]. Если разведслужбы засекут необъяснимо большой расход электроэнергии, который может указывать на скрытый дата-центр с неучтенными чипами, и это государство не позволит международной группе наблюдателей провести проверку, оно получит суровое предупреждение от нескольких ядерных держав с описанием дальнейших шагов.

К сожалению, 100 000 – не какой-то магический порог. Мы не знаем, безопасны ли 99 999 графических процессоров. Никто не знает, как высчитать роковое число. Следовательно, надежнее всего было бы установить низкий порог – скажем, на уровне восьми лучших графических процессоров 2024 года – и объявить незаконным наличие в вашем гараже уже девяти мощных процессоров без надзора международного органа.

Сможет ли человечество выжить, танцуя все ближе к краю обрыва? Возможно. Стоит ли человечеству пытаться танцевать настолько близко к краю обрыва, насколько это возможно? Нет.

Практически ежегодно появляются более новые, изощренные и эффективные ИИ-алгоритмы, благодаря которым можно куда дешевле обучить модель той же мощности, что и прошлогодний лидер, причем зачастую используя в десять, а то и в сто раз меньше вычислительных ресурсов.

Подобные исследования и публикация результатов по созданию все более эффективных и мощных ИИ-алгоритмов должны стать незаконными. Если они продолжатся и дальше, человечество, вероятно, не выживет.

Всю технологическую революцию, которая привела к созданию ChatGPT и других популярных LLM, запустила статья 2018 года, где была предложена новая схема арифметических операций на графических процессорах – алгоритм “трансформер”, легче поддающийся обучению методом градиентного спуска для решения сложных задач[58]. Этот алгоритм оказался удивительно полезным и открыл огромный спектр применений в областях, где раньше ИИ-модели не справлялись. Именно поэтому теперь они могут разговаривать как люди.

Следующая статья подобного рода может попросту прикончить мир. А