Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

Вот почему их следует признать нелегальными. Такие законы не остановят исследования полностью, но благодаря им у нас появится гораздо больше времени. Большинство людей не пытаются совершать противозаконные действия, которые вызывают недовольство у международных правоохранительных организаций и спецслужб.

Нам не доставляет удовольствия говорить эти слова. Но мы не знаем, как иначе человечество может выжить.

Для осуществления эффективных общемировых действий по остановке эскалации ИИ потребуется, чтобы ряд крупных государств серьезно отнесся к проблеме. Им необходимо будет понять, почему создание сверхчеловеческого машинного интеллекта убьет всех, и действовать соответствующим образом.

Представьте, что США, Великобритания, Китай и Россия всерьез озаботились этим вопросом. Но предположим – чисто гипотетически, – что какая-то другая ядерная держава считает все это детским лепетом и верит, что продвинутая ИИ-модель просто сделает всех богатыми. Эта страна начинает строить дата-центр, намереваясь использовать его для дальнейшего наращивания возможностей ИИ-моделей. И что тогда?

Нам кажется, что в таком сценарии остальные государства должны ясно дать понять, что этот дата-центр их пугает. Они должны потребовать прекращения его строительства. Должны ясно дать понять, что, если дата-центр будет построен, им придется его уничтожить – с помощью кибератак, диверсий или авиаударов. Должны ясно дать понять, что это не просто угроза ради подчинения: ими движет страх за собственную жизнь и жизнь своих детей. Должны ясно дать понять, что, даже если эта страна пригрозит ответить ядерным оружием, им все равно придется прибегнуть к кибератакам, диверсиям и авиаударам, чтобы уничтожить этот дата-центр, ведь дата-центры могут убить больше людей, чем ядерное оружие. Государствам-союзникам не следует пытаться силой оттеснить эту страну на более низкие позиции в мировом порядке, а следует предложить ей присоединиться к договору на равных условиях: передать свои графические процессоры под контроль, обретая точно такие же права и обязанности, как и все прочие государства, подписавшие соглашение. История сдерживания распространения ядерного оружия показала, что подобные механизмы действенны2.

Решающее значение здесь играет четкая коммуникация. В крайних случаях государства могут прибегать к диверсиям, рейдам или ударам с применением обычных вооружений, чтобы сорвать программы создания ядерного оружия. Мир живет в страхе перед глобальной ядерной войной, поэтому мировые лидеры прилагают серьезные усилия, чтобы предотвращать распространение такого оружия.

Иногда нам встречаются люди, твердо уверенные, что лидеры крупных стран никогда не признают угрозу, исходящую от машинного сверхинтеллекта, а следовательно, договоры и дипломатия такого рода невозможны. Может, они и правы.

Но у нас такой уверенности нет. Люди порой совершают поступки, которые им обычно не свойственны, если осознают, что на карту поставлена их свобода или образ жизни, не говоря уже о выживании.

Во время Второй мировой войны союзники мобилизовали от 60 до 80 миллионов человек. Они построили 600 000 самолетов, 200 000 танков, тысячи боевых кораблей. Одни только Соединенные Штаты выпустили более двух миллионов грузовиков3. Это обошлось примерно в 341 миллиард долларов в ценах 1942 года (или 6 триллионов в сегодняшних)4. Причем жизни многих вовлеченных в это людей не подвергались непосредственной опасности.

Каждый раз, когда какой-то человек говорит вам, что мир не в силах справиться с такой сложной задачей, как ограничение исследований искусственного интеллекта, он фактически утверждает, что страны никогда не сочтут эту проблему важной, не проявят и сотой доли той решимости, с какой они сражались во время Второй мировой войны.

Мы знаем, что предлагаемый нами путь нелегок. Знаем, что он недешев. Знаем, что создание и применение любых новых властных полномочий несет моральные риски и чревато злоупотреблениями – как происходило и во время Второй мировой.

Но мы не знаем, как иначе человечество может уцелеть.

Предлагаемые нами меры разительно отличаются от тех, что предлагают другие обеспокоенные люди. Мы встречались с различными идеями: от запрета дипфейков[59]5 до требования, чтобы ИИ-компании представляли ежегодные отчеты, как они планируют решать проблемы безопасности[60]6. По той или иной причине эти люди не решились сказать прямо: “Если кто-то создаст сверхинтеллект – все погибнут”. Они преуменьшают значимость проблемы, осторожничают. Они указывают способы, какими менее продвинутые ИИ-модели повлияют на общество, и предлагают регулировать их соответствующим образом, а попутно протаскивают пункты, закладывающие основу для регулирования того типа моделей, который способен убить нас всех7.

Мы уже не первый год наблюдаем одно и то же: люди не называют истинных обоснований для своих предложений и не объясняют, почему же их нужно принять так срочно. И мы видели, как вполне разумные законодатели, почуяв неладное, заворачивали весь пакет предложений целиком.

Может, наши друзья в политических кругах понимают правила игры лучше, чем мы, и их работа понемногу привлекает внимание к проблеме, так чтобы в будущем стало возможно принять более смелые законы. Может, рекомендованные ими требования к отчетности в итоге будут приняты и заработают, а затем какой-нибудь чиновник заметит тревожные признаки в развитии ИИ и поднимет тревогу на самом верху. Но лично мы начали терять надежду, что вся эта стратегия успеет сработать вовремя.

Кто-то заявляет, что сегодня все равно ничего сделать нельзя и остается лишь ждать какого-то крупного, заметного события, способного переломить ситуацию: мощного прорыва или ИИ-катастрофы меньшего масштаба, которая встряхнет политиков и заставит их действовать. Но сверхинтеллект не обязан делать нам честное предупреждение и давать паузу для ответа, а исследования ИИ могут тихо, вне публичного поля перейти к стадии, когда машинный интеллект начнет проводить свои собственные исследования. Возможно, появится какой-то масштабный предупреждающий знак, на который люди отреагируют разумно. Что-то подобное произошло, когда все заговорили о ChatGPT, и политики получили возможность выразить свою обеспокоенность, как бы они ни пытались смягчить свои высказывания тысячей оговорок, дабы не выглядеть паникерами. Но нам кажется весьма вероятным, что человечество уже не получит намного больше предупреждений, чем есть, или что после появления очередного тревожного сигнала почти ничего не изменится.

Есть такое выражение: “Если не сейчас, то когда?” И оно обретает зловещую силу, когда нет такого момента времени, который все сочли бы подходящим, а есть лишь длительный дискомфорт от неудобной необходимости действовать прямо сейчас.

Прекращение ИИ-исследований – лишь первый шаг на пути к выживанию. Мы не утверждаем, что таймер, отсчитывающий время до появления сверхчеловеческого разума, можно остановить навсегда[61].

Каков второй шаг? Когда будут остановлены исследования и разработки ИИ, каким образом человечество продолжит двигаться к желанному изобильному будущему?

Если бы вы спросили нас, то мы бы порекомендовали заняться когнитивным