Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

Стоя одной ногой в шлюпке № 6, а другой на палубе, Лайтоллер начал сзывать женщин и детей. Его призывы были встречены без энтузиазма. К чему менять ярко освещенные палубы “Титаника” на несколько часов непроглядной тьмы в гребной шлюпке? Даже Джон Джейкоб Астор нашел идею об эвакуации смехотворной: “Мы здесь в большей безопасности, чем на борту этой маленькой шлюпчонки”.

Когда миссис Дж. Стюарт Уайт забралась в шлюпку № 8, ее окликнула приятельница: “Для возвращения вам понадобится какой-нибудь пропуск. Завтра утром вас ни за что не пустят обратно без пропуска!”[52]

Когда катастрофа выглядит немыслимой, когда авторитетные лица уверенно настаивают, что такого просто не может случиться, когда ситуация не вписывается в обычные сценарии, людям трудно поверить в беду даже после того, как она уже произошла, – даже когда корабль у них под ногами погружается в воду.

Именно так человечество обычно учится справляться с вызовами: сначала мы отрицаем проблему, затем реальность наносит нам чувствительный удар, и только после этого мы начинаем относиться к проблеме с должной серьезностью. “Титаник” затонул, и большинство людей на борту погибли. Но в наши дни на пассажирских судах достаточно спасательных шлюпок, и если капитан прикажет садиться в них, вы сядете. Мы больше не называем корабли непотопляемыми. Ошибка, совершенная в первый раз, помогает нам во второй.

Вот только с искусственным сверхинтеллектом второго раза не будет.

Когда руководители ИИ-компаний говорят: есть всего лишь один шанс из пяти17, что разрабатываемая модель убьет буквально всех (а именно так они и говорят), они обманывают себя меньше, чем советские управленцы, отрицавшие чернобыльскую катастрофу уже после того, как она произошла18. Почему же тогда создатели ИИ-моделей так спешат?

Одна из причин – стимулы. Ни одна отдельная компания или исследователь не в силах остановить развитие всей области. Если прекратят работу они лично, дело подхватит кто-то другой. Попутно же они могут еще заработать денег и снискать славу.

Но дело не только в корыстных мотивах. Эта область полна еще и великих надежд. Если допустить, что возможно развивать искусственный интеллект, не убив при этом всех людей, то потенциальные выгоды с каждым шагом кажутся все колоссальнее. Только представьте: термоядерные реакторы, гораздо более высокий уровень жизни при гораздо меньшем объеме работы, чудодейственные лекарства, созданные благодаря полному пониманию работы человеческого организма. В той несбыточной мечте, где сверхинтеллект, выращенный методом градиентного спуска, каким-то образом и вправду исполняет чью-то задумку – и задумка эта благая, – человечество достигло бы предела технологических возможностей и смогло бы колонизировать звезды.

Многие люди из сферы ИИ признаются, что лелеют подобные мечты[53]. Самые благородные из них грезят о том, чтобы избавить мир от болезней. Не только от болезни Альцгеймера, но и от рака и даже от старения. Они мечтают о модели ИИ, которая сможет вывести человечество к звездам и показать ему Вселенную. Мечтают о галактиках, наполненных радостью, – с процветающими цивилизациями, где будут жить не только люди, но и те существа, какими мы сами захотим стать. Мечтают об искусственных разумах, наделенных добротой, способностью удивляться и чувством юмора.

Мы знаем это, потому что сами когда-то были такими. Юдковский в 2000 году основал Институт исследований машинного интеллекта именно в погоне за этой мечтой – построить искусственный сверхинтеллект, ведь это, несомненно, было бы здорово. Но, поразмышляв какое-то время, Юдковский понял, что возникнет проблема согласования сверхинтеллекта. А поизучав ее, понял, что она окажется чертовски сложной.

Однажды у человечества появятся немыслимые блага – если мы все выживем. Но не стоит совершать коллективное самоубийство в попытке обрести божественное могущество и богатство уже в этом десятилетии. Не стоит даже бежать дальше по минному полю ИИ, надеясь, что каждый следующий шаг не станет смертельным, пока в какой-то момент один из них нас не прикончит. У нас больше шансов добраться до чудесного будущего, если мы будем продвигаться медленнее. Скорость зачастую дает преимущества, но проблема искусственного интеллекта отличается от всего, с чем мы сталкивались ранее. Если неверный шаг убивает всех, нельзя просто нестись сломя голову, допуская “неизбежные на первых порах” промахи.

Существует масса причин, почему человек, одержимый прекрасной мечтой, не желает верить, что она может обернуться крахом. Эптон Синклер однажды заметил: “Трудно заставить человека понять что-либо, если ему платят зарплату за то, что он этого не понимает”. А ведь у инженеров и руководителей ИИ-компаний на кону стоит гораздо больше, нежели зарплата. И даже оставив в стороне их возвышенные мечты, которые рассыпались бы в прах при честном признании текущих рисков, надо помнить: они посвятили этому делу всю свою профессиональную жизнь и не пожелают верить, будто оно ставит под удар все, что они знают и любят.

Безусловно, можно еще напридумывать причин, почему людям нравится бояться искусственного интеллекта или извлекать выгоду из страхов других. Мы не призываем вас отметать любые доводы только потому, что озвучивший их человек может иметь какой-то свой интерес. Мы лишь говорим: нет ничего невозможного или удивительного в предположении, что некоторые заинтересованные лица в сфере ИИ оказались чрезмерными оптимистами.

И это повод еще больше уважать таких ученых, как лауреат Нобелевской премии Джеффри Хинтон, который оставил свой пост в Google, чтобы иметь возможность свободнее говорить об опасностях19. Некоторые люди меняют свое мнение даже вопреки краткосрочным стимулам[54].

В сфере искусственного интеллекта много настоящих идеалистов, искренне верящих, что трудятся на благо всей цивилизации. Конечно, нетрудно и разыгрывать из себя такого идеалиста, но мы считаем, что это реальная позиция многих людей. К сожалению, даже самого искреннего идеализма недостаточно, чтобы помешать искусственному сверхинтеллекту убить нас всех. Для этого требуется зрелая наука.

На ранних стадиях развития любой области чрезмерный оптимизм научного сообщества – вполне естественное явление. Специалисты по ИИ демонстрируют необычно высокий уровень ответственности уже потому, что хотя бы открыто говорят о наличии проблемы. С исторической точки зрения неудивительно, что люди рвутся вперед, невзирая на опасности, неудивительно, что рискуют причинить вред другим ради собственной выгоды, неудивительно, что находят оправдания для своих действий. Необычность ситуации – не в оптимизме на начальных этапах, а в последствиях провала.

Частично проблема с искусственным интеллектом заключается в том, что многие отрицают сложность задачи согласования. Частично – в том, что некоторые специалисты преуменьшают риски, не желая прослыть паникерами. А еще в том, что бóльшая часть мира за пределами сферы ИИ просто не в курсе происходящего.

Большинство людей просто не обращают на это