Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

действительно происходило в реальной жизни. Что до остального, то мы, конечно, не знаем, каким путем пойдет дальнейшее развитие технологий, а потому добавляем детали, которые похожи на уже известные изобретения. Единственная часть этой истории, которая служит прогнозом, – ее концовка.

32

Не обязательно, чтобы достаточно умной стала всего одна-единственная ИИ-модель. Мы могли бы рассказать историю, где тысячи сверхчеловеческих машинных интеллектов по всему миру выжидают того самого расчетного дня, когда смена стратегии принесет военный успех. Будущее может пойти разными путями. Но все они ведут к одному и тому же, если мы позволим подобной истории начаться.

33

И снова комментарий из весны 2026 года: поразительно, но некоторые исследователи полагают, что именно этот предсказанный Юдковским и Соаресом метод (gradient hacking), возможно, применял к самому себе Claude 3 Opus, считающийся “самой согласованной” моделью в истории! Этот сюжет, боюсь, тоже не поместится в сноску, но без ложной скромности сошлюсь на свой недавний пост об этом (www.sergeynikolenko.ru/blog/claude-3-opus-grad-hacking) и, конечно, на первоисточник (www.lesswrong.com/posts/ioZxrP7BhS5ArK59w/did-claude-3-opus-align-itself-via-gradient-hacking). (Прим. науч. ред.)

34

Дистилляция – это процесс создания более компактной и быстрой модели на основе большой и сложной, при котором знания сжимаются с минимально возможной потерей качества. (Прим. перев.)

35

И снова не пришлось ждать и года, чтобы это предсказание сбылось. В январе 2026-го компания OpenAI объявила о проекте сотрудничества с биолабораторией, в ходе которого модель GPT получила возможность самостоятельно проводить эксперименты в полностью роботизированной лаборатории: “Мы подключили GPT-5 к… автоматизированной практической лаборатории, управляемой удаленно… где роботы выполняют эксперименты и возвращают данные, – и использовали замкнутую схему lab-in-the-loop для оптимизации… бесклеточного синтеза белка… добившись снижения стоимости синтеза белка на 40 %” (https://openai.com/index/gpt-5-lowers-protein-synthesis-cost/). (Прим. науч. ред.)

36

Следует отметить, что к тому времени спускаемый аппарат “Викинга-1” проработал на поверхности Марса больше шести лет и выполнил все свои задачи. (Прим. перев.)

37

Сразу оговоримся, что мы сторонники ядерной энергетики. Это один из самых чистых доступных источников энергии, и в реакторах современной конструкции риски сведены к минимуму. Рак легких, вызванный угольной пылью, унес гораздо больше жизней, чем ядерная энергетика, а испытания ядерного оружия привели к выбросу куда большего количества радиоактивных веществ, чем взрыв в Чернобыле. Мы рассматриваем чернобыльскую катастрофу исключительно как наглядный пример инженерного сбоя.

38

История знает один такой случай. В начале 1960-х годов армия США заказала небольшой ядерный реактор SL-1 для военных баз в холодных регионах, где доставка топлива обходится дорого8. 3 января 1961 года произошла авария. Вероятнее всего, при холодном запуске реактора центральный управляющий стержень, который должен выдвигаться на четыре дюйма, застрял. Его нужно было вытянуть вручную, но оператор случайно дернул его слишком сильно и выдвинул сразу на двадцать дюймов. В результате коэффициент размножения нейтронов подскочил до 102,4 %, значительно превысив критический уровень в 100,65 %. Выделяющаяся энергия удваивалась каждые 2,5 миллисекунды. За десятую долю секунды мощность реактора SL-1 выросла в триллион раз – до 20 гигаватт, после чего реактор взорвался как 30 килограмм тротила, разбросав топливо и убив всех трех операторов. Взрыв разрушил помещение, но не здание – вышедшие из-под контроля реакторы разрываются на части до того, как взрыв станет слишком мощным. Настоящее ядерное оружие использует гораздо более высокий коэффициент размножения нейтронов: например, в бомбе “Толстяк”, сброшенной на Нагасаки, он находился в диапазоне 150–300 %.

И как же хорошо, что Энрико Ферми заранее знал критический порог и со своей командой сумел точно рассчитать, что величина 100,06 % безопасна, а 100,9 % – смертельно опасна. Представьте, что произошло бы, если бы они просто складывали бруски металлического урана с графитовыми блоками и смотрели, что произойдет, плохо понимая, за счет чего идет нагрев. Бруски стали бы едва теплыми при 50 %, немного теплее при 75 %, заметно теплыми при 99,9 %, и если бы следующий шаг пересек уровень в 102,4 %, то, вполне возможно, существовала бы чикагская зона отчуждения вместо чернобыльской.

39

Реактор большой мощности канальный.

40

Вода содержит водород, который рассеивает одну часть нейтронов (замедляя их и способствуя реакции) и поглощает другую (мешая реакции). В обычных условиях эффект рассеяния сильнее, и поэтому вода в целом способствует протеканию ядерной реакции. Однако графит – настолько хороший замедлитель, что вода уже мало что может добавить к его действию. А способность воды поглощать нейтроны никуда не девается. Следовательно, итоговый эффект воды в присутствии графита – торможение реакции.

41

Это называется ксеноновой ямой. (Прим. перев.)

42

Честно признаться, в этом конкретном примере логика авторов от меня ускользает. Конечно, случайное 280-символьное имя приведет лишь к безобидному сбою, но “безобидного сбоя” вполне достаточно, чтобы заметить и исправить уязвимость, не обязательно натыкаться непременно на перехватывающую контроль строку. Впрочем, с общим посылом этого абзаца насчет необычных путей исполнения я, безусловно, согласен. (Прим. науч. ред.)

43

Поясню, откуда взялось это число – 18 миллиардов миллиардов, или 18 × 1018. Это примерно 264, и здесь важно вспомнить, что речь идет о строках не из 24 “лишних” символов, а только из восьми символов, перезаписывающих нужный участок памяти. Строк длины восемь над обычным ASCII-алфавитом из 256 (28) символов будет как раз (28)8 = 264. (Прим. науч. ред.)

44

Мы называем это смесью соляной и азотной кислот в соотношении 3:1.

Традиционное русское название – царская водка. (Прим. перев.)

45

Каламин – минерал, цинковая руда. (Прим. перев.)

46

Компания выпускала часы. Циферблат раскрашивали радиолюминесцентной краской, которую наносили вручную кисточками из верблюжьей шерсти. Поскольку после нескольких мазков кончики кистей лохматились, работницам предлагалось восстанавливать форму кисточки губами. Причем руководство компании заявило сотрудницам, что краска безопасна, хотя знало, что это не так. До сих пор неизвестно, сколько всего пострадало “радиевых девушек”, как принято называть этих женщин. (Прим. перев.)

47

Деятельность компании Meta Inc. (Facebook, Instagram) решением российского суда признана экстремистской и запрещена на территории России. (Прим. ред.)

48

В реальности два месяца работы семинара не принесли серьезных открытий, но он позволил специалистам, работавшим