Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски

Вы можете говорить об этом. На маршах протеста, в разговорах с социологами, проводящими опросы по телефону, или просто в кругу друзей и семьи.

Если множество людей во многих странах в один голос заявят, что они не хотят погибнуть по вине искусственного сверхинтеллекта и предпочли бы международный договор, — что ж, само по себе это не предотвратит катастрофу. Предотвратить ядерную войну было куда сложнее, чем просто собрать множество людей, выступающих против неё. Но то, что граждане открыто выражают протест, помогает. Президентам и дипломатам гораздо проще действовать, когда у них есть открытая поддержка избирателей.

А когда вы сделаете всё, что в ваших силах? Просто живите хорошей жизнью.

Мы не первые, кто живёт под тенью уничтожения. Прошлые поколения знали об этом куда больше нашего. Как писал К. С. Льюис:

«Как нам жить в атомный век?» Меня так и подмывает ответить: «Да точно так же, как вы жили бы в шестнадцатом веке, когда чума навещала Лондон почти каждый год, или как вы жили бы в эпоху викингов, когда налётчики из Скандинавии могли высадиться на берег и перерезать вам горло в любую ночь; или, в конце концов, точно так же, как вы уже живёте в век рака, век сифилиса, век паралича, век воздушных налётов, век железнодорожных аварий, век автомобильных катастроф».

Если уж нам всем суждено погибнуть от атомной бомбы, пусть эта бомба застанет нас за разумными и человеческими делами — за молитвой, работой, обучением, чтением, слушанием музыки, купанием детей, игрой в теннис, за дружеской беседой за пинтой пива и партией в дартс, а не сбившимися в кучу, словно испуганные овцы, и думающими только о бомбах.

К. С. Льюис вовсе не пытался убедить своего читателя, что бояться нечего, поскольку ядерное оружие — выдумка и погибнуть от него нет никаких шансов. Он не просил читателя искажать свои убеждения в угоду страху. Он просто говорил: «Да, это ужасно. Но дрожать от страха бессмысленно. Вам всё равно нужно проживать свою жизнь».

Если бы каждый внёс свой вклад, одних только выборов, протестов и открытого выражения позиции было бы достаточно. Если бы в одно прекрасное утро все проснулись, разделяя хотя бы четверть наших убеждений, и при этом знали, что остальные думают так же, люди вышли бы на улицы и закрыли дата-центры, а солдаты и полицейские шагали бы плечом к плечу с матерями и отцами. Если бы они верили хотя бы в шестнадцатую долю того, во что верим мы, то уже в течение месяца появились бы международные договоры, устанавливающие систему мониторинга и контроля за передовыми компьютерными чипами.

Сможет ли Земля уцелеть, если лишь некоторые внесут свой вклад? Возможно; а возможно, и нет.

Мы слышали от многих, что остановить развитие ИИ прямо сейчас невозможно, что человечество никогда не возьмётся за ум. Возможно, это и так. Но поразительно много выборных должностных лиц признавались нам, что сами прекрасно видят опасность, но не могут сказать об этом вслух, опасаясь последствий. Разве не нелепо будет, если на самом деле практически никто из людей, принимающих решения, не хочет погибнуть по этой причине, но при этом каждый считает, что он один так думает?

Пока есть жизнь, есть надежда. Примечания

i Если вы чувствуете вину, возможно, стоит обратить внимание на некоммерческие организации, которые подают справедливые, пусть и сложные, судебные иски против ИИ-компаний, и жертвовать им столько же, сколько вы тратите на сервисы ИИ, в качестве компенсации.

ii Даже если вы в отчаянии, мы предостерегаем от насилия или разрушений. Мы не думаем, что это сработает. Противозаконное поведение лишь крайне усложняет работу политическим силам, пытающимся создать международную коалицию, которая могла бы реально отменить предначертанную нам участь.

ЗАКЛЮЧИТЕЛЬНОЕ СЛОВО.

Время от времени люди спрашивают нас, чувствуем ли мы, что наша правота подтвердилась, когда видим, как сбываются наши прошлые предсказания и как к нам и к этой проблеме привлекается всё больше внимания.

И потому в конце мы возносим эту молитву:

Да окажемся мы неправы, и да будем мы посрамлены за то, насколько чудовищно ошибались, и да канем в безвестность, забытые всеми, разве что как пример того, как думать не следует, — и да живет человечество долго и счастливо.

Но мы не станем уповать на бездействие как на свою последнюю веру и надежду. И потому наша истинная последняя молитва такова:

Окажись на высоте, человечество, и победи.

БЛАГОДАРНОСТИ. С признательностью:

Аэлле и Гретте, «книжным вдовам» и «повитухам». Джо, Митчу, Робу, Джерри, Алексу, Дункану, Мало, Харлану и всей остальной команде поддержки MIRI за их упорный труд. Джону Беннетту, Кайле Гэмин, Дейву Кастену, Джейсону Грин-Лоу, Юсуфу, Томасу и другим за ранние отзывы и дельные советы. Ронни, Джеффри, Оливеру, Келси, Рэйфу и остальным за проверку фактов и другую особую помощь. Ваниверу, Алексу Алтаиру, Роберту Херру, Скайлеру, Бену, Лоре и многим другим за оперативные отзывы и полезные замечания. Александру — за долгие дни и поздние ночи редактуры; и многим другим.

Работали всем миром.

Найдите свою следующую отличную книгу.

Получайте ознакомительные фрагменты, рекомендации книг и новости о любимых авторах.

Нажмите здесь, чтобы узнать больше.

ОБ АВТОРАХ.

ЭЛИЕЗЕР ЮДКОВСКИЙ — один из основоположников исследований в области согласования ИИ, которая изучает то, как мыслят, ведут себя и к каким целям стремятся интеллектуальные системы, превосходящие человека. Как сооснователь некоммерческого Научно-исследовательского института машинного интеллекта (MIRI), Юдковский дал толчок ранним научным исследованиям этой проблемы и сыграл ключевую роль в формировании общественной дискуссии о превосходящем человека ИИ. Он вошел в список 100 самых влиятельных людей в сфере ИИ по версии журнала Time, стал одним из двенадцати общественных деятелей, представленных в материале New York Times «Кто есть кто у истоков современного движения в сфере искусственного интеллекта», и одним из семи идейных лидеров, отмеченных в публикации Washington Post «Противоборствующие фракции ИИ». Он выступал на главной сцене конференции TED в 2023 году, а материалы о нем или интервью с ним публиковали New