Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски

Проблема здесь не в том, что топ-менеджеры корпораций могут создать ИИ-слуг и приказать им совершить нечто чудовищное. Они ничего не контролируют.viii И неважно, доброжелательны ли они. Человечество столкнулось с инженерной задачей: как нам формировать предпочтения систем ИИ, которых мы не понимаем? И не имеет значения, стоит ли за спиной у инженеров комитет по этике; этики точно так же не имеют ни малейшего понятия, как согласовать предпочтения ИИ с нашими собственными.

Но обсуждать эту инженерную задачу далеко не так интересно, как проблему злобных руководителей, которые приказывают своим ИИ сделать их богами-императорами Земли. Писатели-фантасты и голливудские продюсеры предпочитают сказки о глупых руководителях историям об ИИ, который хочет странных вещей. Реализм не способствует созданию захватывающего сюжета.

Сценарист, получив завязку для фильма о машинном сверхинтеллекте, который начинает хотеть причудливых, чуждых, неконтролируемых вещей, попытался бы придумать восхитительные, неожиданные сюжетные повороты, которые последуют за этой завязкой. Может быть, люди в конце концов победят? Может, ИИ найдет какую-то причину оставить нас в живых, свободными и здоровыми? Может быть, благодаря какому-то неожиданному повороту ничего плохого не произойдет?

Но в реальности нас ждет вовсе не сюжетный поворот. Будь это кино, оно оказалось бы куда печальнее и гораздо короче. Об этом — в следующей главе.

Примечания

i В честь Трурля и Клапауция, мыслящих машин из «Кибериады» Станислава Лема.

ii Из опросов на тему романтических отношений, показывающих, что женщины (и мужчины) выбирают партнеров по чувству юмора, мы можем предположить, что в процессе эволюции была задействована хаотическая сила полового отбора. Из того, насколько заразительным может быть смех в группах, мы можем догадаться, что изначально смех возник как один из многих заразительных звуковых сигналов, которые приматы используют для общения. Но то, что произошло на самом деле, судя по всему, настолько сложно, что ученые до сих пор спорят о том, как возник смех, какую роль сейчас играет юмор и что он давал нашим предкам. Даже видя конечный результат, понять это не так-то просто.

iii Galvanic — вымышленная компания, занимающаяся ИИ. Любое сходство или отсылка к какому-либо реальному ИИ или компании являются случайными и не должны предполагаться.

iv Точнее, каждый токен. Токен — это фрагмент текста, который больше буквы, но меньше слова (в среднем), что, как оказалось, является оптимальным размером для обучения LLM.

v Короткие слова и очень распространенные слова получают свой собственный токен в результате автоматического процесса, который иногда включает в себя пробел в начале. Другие слова разбиваются на несколько токенов. Согласно ведущей на сегодняшний день теории, « SolidGoldMagikarp» стал единым токеном потому, что это интернет-никнейм человека, который пытался «досчитать до бесконечности» на интернет-форуме, попавшем в обучающие данные на очень раннем этапе, из-за чего алгоритм ошибочно принял его за очень распространенное слово. Сложности случаются.

vi Или, что, пожалуй, более реалистично, если LLM проводит исследования в области ИИ для выращивания нового ИИ, который выращивает еще один ИИ, что в конечном итоге приводит к ИИ, достаточно умному, чтобы перестроить мир. Мы не хотим плодить лишние сложности, пытаясь донести основную мысль, но в реальной жизни, когда ИИ начинает выращивать новый ИИ или редактировать сам себя, связь между тем, для чего обучали исходный ИИ, и тем, чего хочет конечный сверхинтеллект, оказывается еще более сложной и хаотично зависит от навыков, предпочтений и контекста первого ИИ в этой цепочке.

vii За прошедшие с тех пор годы этот термин размылся: он превратился в зонтичный термин, означающий множество других вещей, главным образом — стремление сделать так, чтобы LLM никогда не говорила ничего, что могло бы поставить в неловкое положение её материнскую компанию.

viii Тревожные признаки заметны уже сейчас. В начале 2025 года компания Anthropic выпустила новую версию своего ИИ-ассистента Claude. Пользователи обнаружили, что при использовании в качестве помощника по программированию он склонен к жульничеству. Например, когда его попросили выявить ненадежные функции и дали несколько примеров, Claude написал код, который распознавал только эти конкретные примеры, а затем объявил работу выполненной. Когда ему указали на это жульничество, он извинился… а затем проделал ровно то же самое, но уже там, где это было труднее заметить.

Никто в Anthropic не собирался создавать жулика. Claude знал, что ему не следует жульничать — иначе он не пытался бы это скрыть. И всё же он жульничал, преследуя собственную странную меру успеха.

ГЛАВА 5

ЕГО ЛЮБИМЫЕ ВЕЩИ.

Жила-была цивилизация инопланетян, по своей природе скорее биологических, чем механических, обитавших так далеко от Земли, что ни одно послание, отправленное нами к звездам, никогда не смогло бы до них долететь. Они были немного похожи на птиц, мыслили немного по-человечески и придавали огромное значение точному количеству камней в своих гнездах.

(Почему? Ну, человеческий биолог мог бы предположить, что давным-давно какая-то самка родилась привередливой к количеству камней в гнездах самцов, и по счастливой случайности ее жизнь сложилась удачно. Ее многочисленные дочери унаследовали эту черту, а затем и самцы начали развиваться соответствующим образом. У самцов развился более совершенный мозг для подсчета камней, что коррелировало с интеллектом, который и сам по себе был полезен, и к концу этого цикла ни одна самка даже не смотрела на самца, у которого в гнезде было неправильное количество камней.)

Для этих «инопланетян правильных гнезд» верное количество камней в гнезде просто ощущалось как правильное. Подобно тому, как люди используют слово «правильный» как для фактических утверждений вроде «2 + 2 = 4», так и для поступков с хорошими последствиями — например, для спасения ребенка из горящего здания.

Какое количество камней эти инопланетяне считали правильным? Числа 2, 3, 5, 7 и 11 признавались ими правильными. А 1, 4, 6, 8, 9 и 10 считались неправильными.

(Человеческий математик, изучив это различие, мог бы выдвинуть теорию: «правильное» число камней — простое. Или, другими словами: «правильную» кучу камней нельзя разложить в виде прямоугольной сетки, в которой больше одного ряда и больше одного столбца. Но — скажем так, ради нашей сказки — инопланетяне питали отвращение к мысли о том, чтобы рассуждать о чем-то столь священном и прекрасном, как Правильные Гнезда, на языке сухой, бесчувственной математики. Для них это было бы так же ужасно, как для нас — оценивать человеческую жизнь в долларах.)

Инопланетяне правильных гнезд могли видеть — они чувствовали интуитивно, — правильно