Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски

задача столь же сложна, как проектирование космических зондов, ядерных реакторов и кибербезопасность вместе взятые, а люди, которые сейчас рвутся вперед, все еще находятся на стадии алхимии.

Неважно, кто стоит у руля, потому что эта задача человечеству не по зубам. Нам нужно отступить и найти какой-то другой способ реализовать наши мечты об изобильном будущем. Если его создаст хоть кто-то, погибнут все.

Примечание

i Руководитель ИИ-компании может мрачно полагать, что его проект — наименьшее из зол среди множества плохих вариантов. Но такой человек должен четко и непреклонно заявить, что было бы еще лучше закрыть вообще все ИИ-проекты, включая его собственный. Это была бы последовательная и искренняя позиция.

ГЛАВА 13

ОСТАНОВИТЕ ВСЁ.

ЭТА ПРИТЧА, КАК И ПРЕДЫДУЩАЯ, ПРОИЗОШЛА НА САМОМ ДЕЛЕ.

Давным-давно, в период, который иногда датируют 1939–1945 годами, страны Оси бросили свои армии на Европу, Северную Африку, Азию и Тихий океан, стремясь установить тоталитарный режим и завоевать большую часть мира, а возможно, со временем и весь мир. Если бы странам Оси не оказали сопротивления, это не стало бы концом человечества, но это стало бы концом свободного человечества.

Не дать странам Оси завоевать эти континенты было, прямо скажем, делом весьма хлопотным. Странам-союзникам пришлось пойти на самые разные неприятные меры, чтобы не допустить этого. Союзники ввели всеобщую воинскую повинность, нормировали продукты питания и строительные материалы. Они отправляли на смерть солдат, у которых были семьи и близкие.

И всё же страны-союзники пошли на все эти трудности, потому что не позволить тоталитаризму завоевать мир казалось важным делом.

Правительствам союзников пришлось сосредоточить власть в собственных руках, чтобы бороться с тоталитарной Осью. Им приходилось брать взаймы, вводить налоги, тратить огромные средства и в спешке заключать государственные контракты. Кто-то цинично и скептически настроенный мог бы назвать это подозрительным делом, грандиозной схемой, махинацией, жульничеством, моральным риском. И какие-то деньги наверняка были потрачены не по назначению, а некоторые чрезвычайные полномочия использовались во вред. И тем не менее союзники пошли по этому пути, почти без споров, и вердикт истории гласит, что с точки зрения их собственных высших ценностей они поступили правильно.

Возможно, покажется странным объединять страны Оси, союзников и весь остальной мир и называть всех их одним словом — «человечество». Но всё же о том, как всё в итоге обернулось, можно сказать так: человечество оказалось на высоте положения и осталось свободным.

ЧТО ПОТРЕБУЕТСЯ, ЧТОБЫ МИР НЕ ПОГИБ?

Ничего простого или дешёвого. Нам очень, очень жаль это говорить.

Проблема не в том, что какая-то одна ИИ-компания ведёт себя безрассудно и её нужно закрыть.

Дело не в простых инженерных правилах, соблюдение которых регулирующие органы могли бы проверить и которые сделали бы ИИ безопасным.

Дело не в том, чтобы какая-то одна компания или страна оказалась самой добродетельной и чтобы всё было хорошо до тех пор, пока лучшая фракция способна мчаться вперёд достаточно быстро, обгоняя всех остальных. Машинный сверхинтеллект не станет просто делать то, чего от него хотели создатели.

Дело не в том, чтобы запретить сверхинтеллект в границах вашей собственной страны, сделав её безопасной, пока снаружи бушует хаос. Сверхинтеллект — это не региональная проблема, потому что у него не может быть региональных последствий. Если кто-то где угодно создаст сверхинтеллект, погибнут все повсюду.

Поэтому миру нужно измениться. Для большинства людей эти изменения не будут такими уж радикальными. В повседневной жизни большинства мало что изменится от того, что несколько безумных учёных останутся без работы.

Но жизнь всё же должна измениться на эту самую малость, причём во многих местах и странах. По всей Земле ИИ-компаниям должно быть запрещено рваться вперёд в разработке искусственного интеллекта, как они делают сейчас. Если это останется законным в Сингапуре, кто-то сделает это в Сингапуре. Если это останется законным в Южной Африке, кто-то сделает это в Южной Африке. Небольшие изменения могут решить проблему; трудность будет в том, чтобы обеспечить их соблюдение повсеместно.

Отложим пока вопрос о том, возможно ли для достаточно обеспокоенной группы достаточно крупных держав обеспечить соблюдение достаточно жёсткого запрета по всему миру.

Что должно произойти на самом деле, чтобы эти изменения наступили?

Мы не эксперты в разработке международных механизмов регулирования. В дискуссиях на эту тему, в которых мы участвовали, наш опыт оказывается полезен главным образом тогда, когда кто-то предлагает более простую, дешёвую и удобную идею, утверждая, основываясь на собственном политическом опыте, что она гораздо более осуществима. И тогда мы отвечаем, что эта более дешёвая идея всё равно позволяет ИИ эволюционировать до сверхинтеллекта, а в этом случае, мы практически уверены, погибнут все.

Мы стараемся разграничивать то, в чём являемся относительными экспертами, а в чём нет, и не притворяться знатоками во всём. Когда дело доходит до оценки подробных международных проектов, мы уже приближаемся к пределу своей компетентности.

Но кое о чём, как нам кажется, можно судить с уверенностью: если человечество хочет жить, нельзя позволить Северной Корее украсть 100 000 графических процессоров, оборудовать дата-центр и экспериментировать со всё более мощными архитектурами ИИ. Мы не утверждаем, что именно эта ступень обязательно окажется той самой, которая нас убьёт. Но нам кажется, что Северной Корее нельзя позволять подниматься по лестнице эскалации ИИ, потому что, если это будет позволено ей, ни одна другая страна не станет себя сдерживать.

И это — с сожалением приходится признать — касается не только Северной Кореи. Это верно для любой страны. Это верно для любого миллиардера, который может позволить себе 100 000 графических процессоров. Им тоже нельзя позволять размещать эти процессоры где бы то ни было на Земле и продвигать ИИ всё дальше и дальше.

Этого нельзя позволять ни американским военным, ни британским, ни китайским. Никто не знает, как решить проблему согласования сверхинтеллекта (ASI).

Поэтому первым шагом, на наш взгляд, должно стать следующее решение: все вычислительные мощности, которые могли бы обучать или запускать новые, более мощные ИИ, должны быть сосредоточены в местах, где за ними могут наблюдать инспекторы из нескольких стран, подписавших договор, дабы гарантировать, что эти графические процессоры не используются для обучения или запуска новых, более мощных систем ИИ.i Если спецслужбы обнаружат огромное, необъяснимое потребление электроэнергии, которое могло бы указывать на скрытый дата-центр с неучтёнными чипами, а соответствующая страна откажется впустить международную группу наблюдателей для проверки,