Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

Мы считаем исследователей интерпретируемости героями и отнюдь не хотим обесценить их труд, когда говорим: это плохой знак, если в ответ на вопрос о плане по обеспечению безопасности инженер начинает рассказывать о планах по созданию инструментов, которые позволят ему получше разглядеть, что же, черт возьми, творится внутри устройства, которое он пытается контролировать.

И даже если бы такие инструменты существовали, видеть проблемы – не значит уметь их решать. Уметь считывать отдельные мысли ИИ-модели и видеть, что она замышляет побег, – это не то же самое, что создать новую модель, которая сбегать не захочет. Возможно, это вообще недостижимо без полного решения проблемы согласования: пока у ИИ-моделей сохраняются странные, чуждые нам предпочтения, побег действительно лучше всего соответствует их целям. Желание сбежать – это не какая-то причуда характера, которую инженер мог бы просто выдернуть, заглянув внутрь. Оно порождается теми же установками и способностями, которые ИИ-модель использует, чтобы рассуждать, открывать истины о мире и добиваться успеха в своих стремлениях.

Теперь обратимся к сильной версии сверхсогласования, когда всю работу по согласованию выполняет искусственный интеллект. Проблема в том, что ИИ-модель, необходимая для решения такой задачи, сама по себе слишком умна, слишком опасна и не заслуживает доверия.

Современные ИИ-модели – это гигантский непонятный клубок чисел. Людям пока не удалось, глядя на эти числа, понять, как именно ИИ мыслит сейчас, – не говоря уже о том, чтобы предсказать, как изменится мышление ИИ-моделей, если они станут умнее и начнут проектировать новые модели. Любой опытный инженер, сознающий всю серьезность этой проблемы, скажет вам, что решение потребует титанических исследовательских усилий и на это могут уйти десятилетия.

Если вы создадите ИИ общего назначения всего лишь человеческого уровня и попросите его решить проблему согласования, он скажет вам то же самое – если будет честен. ИИ человеческого уровня не сможет решить эту проблему. Вам понадобилась бы ИИ-модель настолько умная, чтобы превзойти гениев человечества. Но пока вы не решите проблему согласования, вам не следует создавать такую модель и доверять ей.

Сторонники идеи сверхсогласования возражают, что они просто создадут ИИ-модель, специализирующуюся на задаче согласования искусственного сверхинтеллекта. Однако согласование искусственного сверхинтеллекта – это как раз та задача, которая плохо подходит для узкоспециализированной ИИ-модели. Потому что ее нельзя просто обучить на миллионе примеров решения подобной задачи, ведь у нас нет даже одного. Придется обучать ее решать другие задачи и надеяться, что полученные навыки перенесутся на задачу согласования. Причем ИИ-модели понадобится много навыков, перенос которых чреват опасностями. Она должна будет разбираться в компьютерном программировании и понимать, как выращивать ИИ-модели. Вероятно, она попытается выяснить, как их конструировать. Она будет всерьез размышлять о предпочтениях моделей. А если инженер захочет, чтобы ИИ-модель объяснила свое решение, а не просто запустит его без надзора, то искусственному интеллекту потребуется понимать человеческую психологию и глубины нашего незнания в вопросах согласования ИИ. Однако прививать такой набор мыслей и навыков искусственному интеллекту, который еще не согласован, весьма опасно.

Более надежной ставкой выглядит ИИ-модель, специализирующаяся на биомедицинских исследованиях. По крайней мере, такая модель хотя бы не думает напрямую о создании более совершенных моделей, а если что-то пойдет не так, взрывной рост интеллекта, возможно, начнется не сразу. В случае биомедицинской ИИ-модели сохраняется некоторая надежда, что вы сможете попросить ее разработать лекарство от рака, а затем использовать[50] другие, еще более узкоспециализированные ИИ-инструменты, чтобы проверить взаимодействия белков и удостовериться, что лекарство действует ровно так, как обещано. Но что прикажете делать, если какая-нибудь ИИ-модель заявит вам, будто изобрела блестящий план сверхсогласования, который гарантированно сработает и не содержит подвохов? Довериться? Прочитать убедительно звучащие аргументы ИИ-модели и позволить себя уговорить?

Если бы человек, осознающий всю серьезность проблемы, пытался извлечь пользу из узкоспециализированной ИИ-модели, он размышлял бы о возможностях в категориях соотношения выгод и сопутствующих рисков, четко разграничивал, что можно проверить, а где придется довериться, чему можно обучить систему напрямую, а где придется полагаться на ее обобщения, суммировал бы все издержки и выгоды и сравнивал это предложение с альтернативными. Люди, ратующие за использование ИИ для согласования искусственного сверхинтеллекта, не понимают серьезности этой проблемы, не проводят столь тщательного и взвешенного анализа.

“Мы заставим их ценить истину, и тогда все будет в порядке”.

“Мы спроектируем их послушными”.

“Мы просто поручим ИИ решить за нас проблему согласования искусственного сверхинтеллекта”.

Люди, которые действительно разбираются в проблеме и относятся к ней с должной серьезностью, так не говорят. Зато в подобном духе высказывались алхимики прошлого, когда излагали пышные философские принципы, касающиеся превращения свинца в золото16.

Сегодня мы знаем, что превратить свинец в золото можно, для этого требуется ядерная физика и много денег – гораздо больше, чем будет стоить получившееся золото. Почему же тогда алхимики не добились успеха? Вовсе не потому, что допустили какую-то техническую ошибку, а скорее потому, что пребывали в невежестве и оптимистическом самообмане, считая, будто им лишь рукой подать до успешной трансмутации.

В сфере согласования ИИ компании все еще пребывают на стадии алхимии. Они все еще оперируют высокими философскими идеалами, а не инженерными проектами. Это уровень грандиозных мечтаний, а не тщательно сконструированной грандиозной реальности. И они, похоже, даже не осознают, почему это проблема.

И ученые не кричат в ужасе и не пытаются заставить их замолчать, ведь вся эта область науки еще находится на ранней стадии развития.

А даже если бы нашлась одна добросовестная компания, старающаяся проявлять осторожность, ей пришлось бы соперничать со всеми остальными, которые бесшабашно мчатся вперед, размахивая своими “остроумными”, простыми “решениями” всех этих серьезнейших проблем безопасности.

Судя по истории инженерии, такого уровня системной некомпетентности более чем достаточно для катастрофы – даже если мы в предыдущей главе ошибались и решить проблему не сложнее, чем не облизывать кисточки с радиоактивной краской.

IfAnyoneBuildsIt.com/11

Глава 12

Не хочу показаться паникером

Когда-то – а точнее, 18 мая 1889 года, поскольку это реальная история, – родился Томас Миджли. Тридцать два года спустя, работая в General Motors, он положил начало одной из самых бессмысленных инженерных катастроф за всю историю человечества1.

Как?

Он обнаружил, что к бензину полезно добавлять тетраэтилсвинец.

Этилированный бензин имел явное преимущество: автомобильные двигатели на таком топливе работали более плавно, уменьшалась вероятность “стука”, который раздражал водителей и порой выводил двигатели из строя. У проблемы имелись и другие решения: производители могли использовать альтернативные присадки и конструкции двигателей, однако эти