Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

49

Мы снимаем шляпу перед безумными изобретателями, которые рискуют своей жизнью ради науки, – но при условии, что они не ставят под удар жизни других людей. Доктор Барри Маршалл выпил культуру бактерий Helicobacter pylori, чтобы доказать: язва желудка вызывается бактериями, а не стрессом. Все человечество извлекло пользу из его риска, но он подвергал опасности только себя. Исследователи радиоактивности Мария и Пьер Кюри не знали, как действуют на них красиво светящиеся вещества, но понимали, что имеют дело с чем-то незнакомым и странным, и не подсовывали светящиеся породы другим людям без их ведома. Десятилетия спустя Мария умерла от анемии, вызванной, вероятно, этими экспериментами. Человечество усвоило урок и продолжило свой путь.

50

Обращаю внимание читателя: здесь, как и в оригинале, неясно, имеется ли в виду, что “вы сами сможете использовать другие инструменты” или что “вы сможете попросить ИИ-модель их использовать”. Думаю, это намеренная двусмысленность, а наш мир все стремительнее движется от того, чтобы по умолчанию читать эту фразу первым образом, к тому, чтобы читать вторым… (Прим. науч. ред.)

51

И даже не одно. Постепенный отказ от топлива с этой присадкой начался в середине 1970-х, а последняя страна отказалась от этилированного бензина только в 2021 году. (Прим. перев.)

52

Уолтер Лорд, “Последняя ночь «Титаника»”, перевод Г. Дмитриева.

53

Самые известные из таких мечтателей – Дарио Амодеи и Сэм Альтман. Рекомендую читателям эссе Дарио Амодеи “Машины любви и благодати” (Machines of Loving Grace; https://darioamodei.com/essay/machines-of-loving-grace), вышедшее в октябре 2024 года. Такие тексты устаревают только в деталях, но не по духу. (Прим. науч. ред.)

54

Я бы добавил к этому обсуждению один весьма циничный аргумент: если вы верите, что развитие ИИ дает вам 20 %-ный шанс в ближайшие годы победить старение и рак, но 80 %-ный шанс погибнуть, для вас лично это может звучать не так уж плохо, ведь старение рано или поздно убьет вас гарантированно. Так что для подобной “сделки с дьяволом” может хватить всего лишь крайнего эгоизма (утилитаризм же здесь будет за осторожность, ведь вы рискуете не только нынешним, но и всеми будущими поколениями людей).

Я делаю эту сноску именно здесь, чтобы еще раз восхититься Джеффри Хинтоном. Он родился в 1947 году. (Прим. науч. ред.)

55

Это уже происходит. Еще в 2024 году вышла статья (https://arxiv.org/abs/2406.07358), демонстрирующая, что намеренное занижение способностей (sandbagging) было отмечено у тогдашних LLM именно в таком контексте: LLM догадывались, что их тестируют, и специально отвечали неправильно на вопросы о “нежелательных” темах вроде оружия массового поражения. В течение 2025 года ряд исследований показал, что способности к такому поведению у последующих LLM только растут, хотя есть и прогресс в методах распознавания подобного поведения. (Прим. науч. ред.)

56

Возможно, этот руководитель ИИ-корпорации сочтет, что их проект наименее плох среди множества плохих вариантов. Но такой человек должен четко и твердо заявить, что еще лучше было бы остановить все ИИ-проекты, включая его собственный. Это была бы последовательная и честная позиция.

57

Для того чтобы облегчить, проверить и обеспечить соблюдение подобного рода договоренностей, существуют или разрабатываются различные технологические решения1. Подробнее об этом рассказано в онлайн-материалах.

58

Мы упоминали его, хотя и без названия, во второй главе, когда описывали архитектуру Llama 3.1 405B – LLM, которая была самой передовой в середине 2024 года.

Не вполне корректно называть трансформер “алгоритмом”: это архитектура нейросети, способ ее устройства, и “алгоритм” это только в довольно нестандартном, формальном смысле. Кроме того, странно говорить, что трансформеры “легче поддаются обучению”: обучение больших трансформеров требует не меньше и не больше инженерного мастерства, чем обучение других архитектур. Но трансформеры действительно оказались невероятно успешной архитектурой: они с меньшим числом весов достигают более высоких результатов после обучения, а главное, рост этих результатов продолжает масштабироваться при росте числа весов в трансформере на много порядков. Именно поэтому современные ИИ-компании строят многомиллиардные дата-центры: они заранее уверены, что если сделать модель на порядок больше, то она станет умнее даже без новых математических идей, реализованных в ее устройстве, или новых алгоритмов (на этот раз – действительно алгоритмов) обучения. (Прим. науч. ред.)

59

Есть разумные причины бороться с дипфейками: например, для предотвращения мошенничества или для наработки опыта в регулировании ИИ. Мы полагаем, большинство сторонников запрета дипфейков – если не все – считают, что выгоды стоят сопутствующих издержек. Однако, по нашему опыту, некоторые сторонники этой идеи предпочитают размытые формулировки, которые в будущем могли бы помочь остановить ИИ в более широком масштабе. Например, предлагаются режимы ответственности, которые впоследствии можно будет истолковать как фактический запрет на свободное распространение весов ИИ-моделей. Законодатели способны заметить, когда предлагаемые регуляторные механизмы оказываются шире, чем того требует главная цель. Сами по себе дипфейки не дают достаточных оснований для запрета на свободную разработку ИИ.

60

Первые проекты закона Калифорнии “О безопасных и надежных инновациях для передовых моделей искусственного интеллекта” (SB-1047) включали положения, которые можно было истолковать как наделение генерального прокурора штата правом обращаться в суд с гражданским иском, если он подозревает опасность. По мере доработки законопроекта эти положения ослабили, поскольку заявленные основные опасения были признаны недостаточными для предоставления генеральному прокурору такого рода полномочий. (Законопроект в ослабленной форме приняли, однако губернатор Гэвин Ньюсом все равно позже наложил на него вето.)

61

И даже будь это возможно, мы, честно говоря, не желаем такого будущего нашему виду. Мы верим, что жизнь, зародившаяся на Земле, должна выйти в космос и наполнить звезды радостью и чудесами. Здесь нельзя торопиться: самоубийственно пытаться сделать это в ближайшие годы, однако не следует и просто прозябать на Земле, дожидаясь, когда наше Солнце умрет.

62

Кто-то воспринимает борьбу против роботов-убийц как естественную часть общего “анти-ИИ пакета”. Это отталкивает тех людей, которые считают, что роботы повысят безопасность и позволят избежать человеческих жертв в ходе войн. Мы не высказывали собственного мнения, стоит ли использовать нынешние ограниченные ИИ-возможности для управления военными дронами, и в этой книге вы его не найдете.