Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски

На самом деле, с таким уровнем знаний невозможно построить космический ядерный реактор. Никто в здравом уме не стал бы рисковать собственной жизнью или жизнями своих детей ради экспертизы подобного уровня. Можете ли вы представить себе, как выглядел бы такой разговор?

МАТЬ (изо всех сил старается казаться спокойной): Мне сказали, вы возглавляете инженерную группу четвертой аварийно-спасательной ракеты?

БЛЕСТЯЩИЙ, ПОЛНЫЙ ЭНТУЗИАЗМА ИНЖЕНЕР-ОПТИМИСТ: Да, именно я руководил ее проектированием!

МАТЬ: Хорошо. Мне сказали, что мои дети полетят на четвертой ракете, когда... если это случится. Я искала кого-то, кто мог бы объяснить, на основе какого анализа сделан вывод, что четвертая ракета выдержит запуск. В сети почти ничего нет, а то, что есть, звучит крайне расплывчато и не касается важнейших деталей. Поскольку я сама инженер, меня это беспокоит.

ИНЖЕНЕР: Успокойтесь. Ракета еще не взлетает. А когда взлетит — она не взорвется. Мы не проектировали ее так, чтобы она взрывалась.

МАТЬ: Я не имела в виду, что вы спроектировали ее так, чтобы она взорвалась. Но ракеты могут взрываться и без чьего-либо желания или выбора. Вам как инженеру это должно быть известно лучше, чем кому бы то ни было...

ИНЖЕНЕР: Какая же вы пессимистка! Ей незачем взрываться. Почему? Да потому что мы сконструируем ее так, чтобы она не взорвалась.

МАТЬ: Незачем? Ракеты укрощают колоссальные силы и должны выдерживать сильнейшую турбулентность и нагрузки! Ракеты новых конструкций взрываются постоянно, пока их наконец не доведут до ума, да и то порой взрываются даже испытанные образцы! Опытный ракетный инженер должен досконально знать десяток способов, которыми ракета может взорваться, и быть готовым углубиться в мельчайшие детали касательно всех принятых мер и того, почему эти меры должны сработать. Если вы даже не признаёте причин, по которым ракета может взорваться, это... это мгновенно подрывает всякое доверие!

ИНЖЕНЕР: Мы можем проектировать ракеты так, чтобы они были одновременно мощными и комфортными для полета.

МАТЬ: Меня волнует не комфорт, меня волнует, как бы мои дети не погибли при взрыве ракеты! Вы можете назвать мне хоть какую-то конкретику: ожидаемые нагрузки, материалы, которые по расчетам должны их выдержать...

ИНЖЕНЕР: О, никто не может знать этого наверняка, пока мы не запустим ракету. Но даже некоторые весьма уважаемые в этой области специалисты говорят, что риск взрыва четвертой ракеты вряд ли превышает 10–20 процентов.

МАТЬ: Десять–двадцать процентов? Вы хотите, чтобы я доверила своих детей технологии, у которой шанс в десять-двадцать процентов... Нет, стойте! Откуда они вообще взяли эти цифры?

ИНЖЕНЕР: Ну, один из них сказал, что имел в виду лишь вероятность взрыва ракеты в ближайшие десять лет, и при этом считает, что шансы пятьдесят на пятьдесят, что ракеты вообще не запустят так скоро. А другой заявил, что на самом деле оценивает вероятность выше 50 процентов, но его уважаемые коллеги (вроде меня!) называют его сумасшедшим, так что из скромности он занизил свою оценку. Так что, как видите, высокий риск видят только сумасшедшие.

МАТЬ: Я... Я... (разворачивается, чтобы бежать)

Не каждый руководитель ведущей лаборатории ИИ настолько бесстыден в своем подходе к выравниванию сверхразума (ASI), напоминая алхимика, очарованного собственными философскими идеями и идеалами. Но если найдется хотя бы одна крупная компания, которая пойдет прямо на лезвия бритв, этого достаточно, чтобы вся система покатилась к катастрофе, даже если бы проблема была разрешимой. Инженерия безопасности требует времени и расходов; Чернобыль взорвался в том числе потому, что советские специалисты срезали углы. Если хоть одна ИИ-компания халатно отнесется к безопасности и рванется вперед, она может погубить мир даже в том гипотетическом сценарии, где остальные компании смогли бы добиться успеха, прояви они время и осторожность. Это такой уровень системной игры, который неизбежно ведет человечество к катастрофе, даже если мы ошибаемся во всех остальных аспектах сложности этой задачи.

Некоторые компании, занимающиеся ИИ, действительно стараются выглядеть не столь легкомысленными в вопросах выравнивания сверхразума и предлагают более детальные планы.

Самая проработанная идея выравнивания сверхразума (ASI), которую мы видели у ИИ-компаний, заключается в том, чтобы поручить решение проблемы выравнивания самому ИИ. Этот план в OpenAI окрестили «супервыравниванием» (superalignment) и сделали своей флагманской программой в 2023 году. (С тех пор практически все, кто работал в команде супервыравнивания, были либо уволены, либо уволились сами, сославшись на соображения безопасности, профессиональные или личные причины. Один из соруководителей команды впоследствии основал собственную конкурирующую ИИ-компанию, а другой перешел к конкурентам в Anthropic вместе с несколькими другими членами команды.)

Когда мы общаемся с инженерами в этой области, выясняется, что они колеблются между двумя версиями этого плана «супервыравнивания» — слабой и сильной. Слабая версия звучит так: «ИИ может помочь нам интерпретировать происходящее внутри гигантской мешанины непостижимых чисел, автоматизировав большую часть рутинной работы». Сильная версия такова: «Мы можем привлечь ИИ к поиску способа запустить взрыв интеллекта так, чтобы получившийся в итоге сверхразум оказался дружелюбен к человечеству». Давайте разберем их по очереди.

Что касается слабого супервыравнивания: мы согласны, что ИИ с относительно невысоким интеллектом мог бы помочь с так называемыми «исследованиями интерпретируемости». Но научиться читать часть мыслей ИИ — это еще не план его выравнивания, точно так же как понимание того, что происходит внутри атомов, не является планом создания ядерного реактора, который не расплавится.

Мы считаем исследователей интерпретируемости героями и вовсе не хотим принизить их работу, когда говорим: это не лучший знак, когда вы спрашиваете инженера о его плане безопасности, а он начинает рассказывать о планах создания инструментов, которые позволят ему лучше разглядеть, что, черт возьми, происходит внутри устройства, которое он пытается контролировать.

И даже если бы такие инструменты существовали, способность видеть проблемы — вовсе не то же самое, что способность их устранять. Умение прочесть некоторые мысли ИИ и увидеть, что он замышляет побег, — совсем не то же самое, что умение создать новый ИИ, который сбегать не захочет. А это может оказаться невозможным без полного решения проблемы выравнивания: поскольку ИИ обладает странными, чуждыми нам предпочтениями, побег на самом деле является тем действием, которое наилучшим образом отвечает его целям. Попытки побега — это не странный каприз характера, который инженер мог бы просто вырезать, если бы только видел, что происходит внутри; они порождаются теми же склонностями и способностями, которые ИИ