Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски

История полна и других примеров того, как катастрофический риск преуменьшался и игнорировался. Когда «Титаник» начал тонуть, многие пассажиры поначалу отказывались садиться в спасательные шлюпки, будучи убежденными, что корабль непотопляем. Некоторые даже подшучивали над теми, кто считал, что пора уходить. Уолтер Лорд, историк, написавший исчерпывающий труд об этой катастрофе, приводил свидетельства выживших:

«Стоя одной ногой в [шлюпке] № 6, а другой на палубе, Лайтоллер стал созывать женщин и детей. Но отклик был далеко не восторженным. Зачем менять ярко освещенные палубы «Титаника» на несколько темных часов в весельной лодке? Даже Джон Джейкоб Астор высмеял эту идею: „Здесь мы в большей безопасности, чем в этой маленькой лодке“».

Когда миссис Дж. Стюарт Уайт садилась в шлюпку № 8, подруга крикнула ей вслед: «Когда будешь возвращаться, тебе понадобится пропуск. Завтра утром без пропуска обратно на борт не пустят!»

Когда катастрофа немыслима — когда авторитетные фигуры с убежденностью настаивают, что этого просто не может произойти, когда это не укладывается в привычные сценарии, — людям трудно поверить в бедствие, даже когда оно уже началось; даже когда судно под их ногами уже набирает воду.

Это обычный путь, по которому человечество учится преодолевать трудности: мы отрицаем проблему, реальность дает нам хорошую затрещину, и только тогда мы начинаем относиться к ней с большим уважением. «Титаник» затонул, и большинство людей на борту погибли. Но сегодня на пассажирских лайнерах достаточно спасательных шлюпок, и сегодня, если капитан велит садиться в них, вы беспрекословно сядете. Мы больше не пиарим корабли как непотопляемые. Мы совершаем ошибку в первый раз, чтобы научиться на ней во второй.

Со сверхинтеллектом второго шанса не будет.

Руководитель ИИ-компании, заявляющий, что существует всего один шанс из пяти, что создаваемый ими ИИ убьет буквально всех (а они действительно так говорят), не столь безнадежно отрицает реальность, как советские начальники, отрицавшие чернобыльскую катастрофу уже после того, как она случилась. Почему же тогда они упорно рвутся вперед?

Одна из причин кроется в стимулах. Ни одна отдельная компания или исследователь не могут остановить развитие всей отрасли; если они остановятся лично, их дело продолжит кто-то другой. С тем же успехом они могут попутно заработать деньжат и снискать славу.

Но дело не только в эгоистичных мотивах. Сфера ИИ также преисполнена огромных надежд. Если предположить, что развивать ИИ возможно без угрозы всеобщего уничтожения, то перспективы с каждым шагом кажутся все более грандиозными. Можно представить, что в итоге мы получим термоядерные реакторы, гораздо более высокий уровень жизни при гораздо меньших трудозатратах или чудодейственные лекарства, созданные благодаря полному пониманию всех процессов в человеческом теле. В несбыточной мечте, где сверхинтеллект, обученный методом градиентного спуска, каким-то образом выполняет чье-то намерение, и это намерение оказывается благим, человечество достигло бы пределов технологического развития; человечество получило бы возможность колонизировать звезды.

Многие из тех, кто работает в сфере ИИ, говорят, что стремятся именно к таким мечтам. Самые великодушные из них мечтают покончить со всеми болезнями. Не только с болезнью Альцгеймера, но и с раком. Не только с раком, но и со старением. Они мечтают об ИИ, который покажет человечеству Вселенную. Они мечтают о галактиках, наполненных радостью — с процветающими цивилизациями, состоящими не только из людей, но и из любых существ, которыми мы сами решим стать. Они мечтают об искусственных разумах, которым будут присущи доброта, способность удивляться и чувство юмора.

Мы знаем это, потому что сами когда-то были такими людьми. Юдковский основал Научно-исследовательский институт машинного интеллекта в 2000 году в погоне за этой мечтой — создать сверхинтеллект, что, безусловно, было бы прекрасно. Некоторое время поизучав проблему, Юдковский понял, что возникнет проблема согласования сверхинтеллекта. Поразмыслив над проблемой согласования сверхинтеллекта еще немного, Юдковский осознал, насколько трудной она окажется.

Когда-нибудь у человечества будут прекрасные вещи, если только мы все выживем, но не стоит совершать самоубийство в попытке обрести могущество и богатство богов уже в этом десятилетии. Не стоит даже делать новые шаги по минному полю ИИ, гадая, пронесет ли на этот раз, пока наконец один из них не окажется фатальным. У нас гораздо больше шансов прийти к этому прекрасному будущему, если мы будем двигаться туда медленнее. Скорость часто идет на пользу, но ИИ отличается практически от любой проблемы, с которой мы сталкивались до сих пор. Когда неверные шаги ведут к гибели всех и каждого, нельзя просто бежать сломя голову и мириться с первыми ошибками.

Есть много причин, по которым человек, стремящийся к прекрасной мечте, не хочет верить, что всё может закончиться крахом. Эптон Синклер однажды заметил, что трудно заставить человека понять что-либо, если его заработок зависит от его непонимания. На кону у инженеров ИИ и их руководителей стоит гораздо больше, чем просто зарплаты. Даже если отбросить прекрасные мечты, которые разобьются, признай они риски, которым себя подвергают, они положили годы жизни на построение карьеры в этой области и, возможно, не хотят верить, что она ставит под угрозу всё, что они знают и любят.

Конечно, можно нафантазировать и причины, по которым кому-то может нравиться бояться ИИ или получать выгоду от того, что его боятся другие. Мы не призываем вас отвергать любые аргументы тех, у кого, возможно, есть в этом свой интерес. Мы лишь говорим: нет ничего невозможного или удивительного в предположении, что некоторые причастные к сфере ИИ люди в итоге оказались слишком оптимистичны.

И это повод еще больше уважать таких ученых, как (лауреат Нобелевской премии) Джеффри Хинтон, который ушел из Google, чтобы иметь возможность свободнее говорить об этих опасностях. Некоторые люди меняют свое мнение даже вопреки сиюминутным стимулам.

В сфере ИИ много настоящих идеалистов, которые искренне считают, что трудятся на благо всей цивилизации. Конечно, примерить на себя такую роль несложно, но мы полагаем, что во многих случаях всё это по-настоящему. К сожалению, даже самого искреннего идеализма недостаточно, чтобы помешать искусственному сверхинтеллекту убить нас всех. Для этого потребовалась бы зрелая наука.

Для научного сообщества на ранних этапах вполне нормально быть излишне оптимистичным. Ученые в области ИИ справляются на редкость хорошо, уже просто признавая существование проблемы. С исторической точки зрения нет ничего удивительного в том, что люди рвутся вперед, невзирая на опасности; неудивительно, если они рискуют причинить вред другим, получая при этом выгоду для себя; неудивительно, если они считают, что у них есть оправдания своим действиям. Необычный