Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

12

Термин “спуск” здесь имеет прямой смысл: речь идет о том, что функция ошибки (в данном примере – величина, противоположная вероятности буквы m) должна уменьшаться, и поэтому мы “спускаемся” по заданному ей ландшафту. Существует и аналогичный термин “градиентный подъем” – для случаев, когда функцию нужно максимизировать. (Прим. науч. ред.)

13

Кевин Руз – журналист The New York Times, тоже общавшийся с Сидни. (Прим. перев.)

14

Грубо говоря, они выяснили это, заметив, что “головы внимания” (наборы весов, используемые для связи текущего токена с предыдущими для определения того, как они влияют на прогноз следующего) связывают токен «.» с токенами со всего предложения, а другие токены – в основном со своими соседями.

15

В современных ИИ-моделях этот эффект несколько ослаб, отчасти потому, что компании-разработчики незаметно вставляют собственные маркеры “конца ввода”, которые могут выполнять функцию пропущенной точки.

16

Чуждость механизмов здесь не ограничивается другой архитектурой. Сами алгоритмы обучения у биологического мозга тоже совсем другие, ведь по весьма простым причинам (биологический нейрон имеет только один выход и не может подсчитать одновременно и свою функцию, и ее частные производные) биологический мозг никак не может обучаться градиентным спуском. (Прим. науч. ред.)

17

По аналогии с Трурлем и Клапауцием – роботами из “Кибериады” польского фантаста Станислава Лема.

18

Судя по опросам о романтических предпочтениях, показывающим, что женщины (и мужчины) выбирают партнеров, ориентируясь на чувство юмора, вполне вероятно, что хаотичная сила полового отбора тут была задействована. А судя по тому, насколько заразителен смех в группе, можно предположить, что он возник как один из многих заразительных голосовых сигналов, которые приматы используют для общения. Но понять, что именно произошло, достаточно сложно, и ученые все еще спорят, как появился смех, как юмор функционирует сейчас и какое значение он имел в жизни наших предков. Даже наличие перед глазами конечного результата не делает ответ очевидным.

19

Galvanic – вымышленная ИИ-компания. Все сходства или отсылки к какой-либо реальной ИИ-модели или компании непреднамеренны и должны рассматриваться как случайность.

20

Далее в книге появится еще одна ИИ-модель, названная в честь хищного зверька, – “Соболь”. Вероятно, авторы хотят намекнуть на нечто с виду милое, но хищное. (Прим. перев.)

21

Точнее, каждый токен. Токен – это фрагмент текста, который (в среднем) больше буквы, но меньше слова. Оказалось, такой размер удобен для обучения LLM.

22

Короткие или очень распространенные слова получают собственный токен в ходе автоматизированного процесса, который иногда включает в токен пробел в начале. Остальные слова разбиваются на несколько токенов. Сейчас основная гипотеза, почему “ SolidGoldMagikarp” стало единым токеном, состоит в том, что это интернет-имя одного пользователя, пытавшегося “досчитать до бесконечности” на интернет-форуме6. Этот форум попал в обучающие данные на раннем этапе, и поэтому никнейм был ошибочно принят за очень распространенное слово. Осложнения случаются.

23

Или, что, пожалуй, реалистичнее, когда LLM займется исследованиями в области искусственного интеллекта, чтобы вырастить новую модель, которая вырастит новую модель, что в итоге приведет к появлению ИИ-модели достаточно умной, чтобы перекроить мир. Нам не хочется перегружать изложение, но в реальной жизни, когда ИИ-модели начинают выращивать новые модели или редактировать самих себя, связь между тем, чему обучали исходную модель, и тем, чего хочет конечный сверхинтеллект, становится еще сложнее: она хаотически зависит от навыков, предпочтений и контекста первой ИИ-модели в этой цепочке.

24

То есть согласование поведения ИИ с ценностями человека. (Прим. перев.)

25

За прошедшие годы этот термин размылся: он превратился в зонтичное понятие, подразумевающее массу других вещей, в первую очередь – контроль за тем, чтобы LLM не говорила ничего, что могло бы поставить в неловкое положение создавшую ее компанию.

26

Настораживающие сигналы уже появляются. В начале 2025 года компания Anthropic выпустила новую версию своего ИИ-помощника Claude. Пользователи обнаружили, что в программировании он склонен к жульничеству8. Например, когда его попросили выявить недоверенные функции и дали несколько примеров, Claude написал код, который выявлял только эти конкретные примеры, а потом заявил, что выполнил задание. Когда ему указали на это жульничество, он извинился… а затем сделал ровно то же самое снова, но уже в тех местах, где обман было труднее заметить.

Никто в Anthropic не ставил себе цели создать обманщика. Claude понимал, что жульничать не положено, иначе не пытался бы скрыть свои действия. И все же он жульничал, стремясь к какому-то собственному странному критерию успеха.

27

Если вам не хватило приведенных здесь примеров или вы ищете более подробные опровержения, загляните в онлайн-материалы, где мы рассматриваем и другие подобные возражения.

28

Не прошло и года (я пишу этот комментарий в марте 2026-го), а правота авторов уже подтвердилась неоднократно. Сегодня большинство пользователей без колебаний запускают системы ИИ-агентов вроде Claude Code с максимальными разрешениями (и потом иногда жалеют об этом, но пока жалеют редко). И это я еще молчу и о виральном успехе OpenClaw, и о проекте RentAHuman.ai… Впрочем, поля книги слишком малы, чтобы рассказывать все истории. (Прим. науч. ред.)

29

Таким образом был восстановлен 378-битный ключ шифрования с телефона Samsung Galaxy S8. Вы можете подумать, что это невозможно, ведь камеры снимают видео со скоростью всего 60 кадров в секунду, однако они используют построчную развертку, сканируя матрицу по всему полю зрения. Злоумышленник может модифицировать видеокамеру так, чтобы она вместо сканирования смотрела на одну точку, и измерять интенсивность светодиода в индикаторе питания миллионы раз в секунду. Стоит отметить, что в описанном случае украсть ключ шифрования удалось только примерно через час его непрерывного использования для подписи сообщений.

30

Именно в этом причина прионных болезней, таких как коровье бешенство. Иногда белки сворачиваются неправильно, причем заразным образом: неправильно свернутые молекулы провоцируют такое же неправильное сворачивание у нормальных вариантов того же белка.

31

Поскольку это история о ближайшем будущем, каждое событие, упомянутое в ней с указанием даты,