Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски

то, что люди приправляют пищу острым капсаицином, который растения выработали для того, чтобы млекопитающим было больно его есть. Инопланетяне на орбите тоже не смогли бы это предсказать.)

В этом мире пустые люди-марионетки изрыгают слова, звучащие гневно. И если бы писатель-фантаст попытался написать такую историю, читатели были бы просто в недоумении: с чего вдруг это произошло? Разве это не противоположно тому, для чего обучали ИИ?

Но реальность вполне может оказаться именно такой. И мы, по сути, прогнозируем, что мир не окажется похожим на научно-фантастический роман. Мы предсказываем, что предпочтения ИИ окажутся сложными и странными.

БОЛЬШЕ ОДНОЙ СЛОЖНОСТИ

А если пойти еще дальше, в мир с двумя сложностями? В мир с реалистичным количеством сложностей? Результатом стал бы некий странный мир, полный неузнаваемых вещей, которые не имеют практически ничего общего со счастливыми, здоровыми людьми, живущими полноценной жизнью.

В каком-то смысле это не должно удивлять: большинство возможных вещей, которые может предпочесть разум, не предполагают счастливых, здоровых людей, живущих полноценной жизнью. Компании по разработке ИИ, конечно, могут обучать системы быть полезными для людей. И ИИ могут в основном вести себя полезно в среде обучения — подобно тому, как люди в среде предков питались в основном здоровой пищей. Но то, чего ИИ хотят на самом деле — то, что они изобрели бы при первой возможности? Это окажется странным и неожиданным, и будет иметь мало общего с чем-то приятным.

Ни одна из этих зарисовок не является предсказанием. Мы не утверждаем, что эти сценарии описывают точные предпочтения, которые возникли бы у ИИ на базе LLM, если бы он поумнел до такой степени, что обрел бы собственные предпочтения. Мы даже не утверждаем, что ИИ на базе LLM способны достичь этой точки. Мы не знаем этого, как не знаем и того, какие сложности возникнут, если это все же случится.

Мы лишь пытаемся показать, что всё обязательно усложнится.

Не будет никакой простой и предсказуемой связи между тем, что программисты и руководство ИИ-компаний в своих радужных мечтах воображают как нечто ими приказываемое и предписываемое, и (1) тем, чему ИИ действительно обучается, (2) тем, какие именно мотивации и предпочтения развиваются внутри ИИ, и (3) тем, как ИИ впоследствии удовлетворяет эти предпочтения, обретя больше власти и возможностей.

Другими словами, это сложная задача прогнозирования — сделать такой прогноз навскидку никому не под силу.

Нельзя вырастить ИИ, который делает то, что вы хотите, просто обучая его быть дружелюбным и надеясь на лучшее.

Вы получаете не то, чему обучаете.

До сих пор мы касались лишь тех сложностей, которые могут возникнуть в предпочтениях, закладываемых непосредственно в процессе обучения ИИ. Ситуация станет еще сложнее, если эти ИИ начнут вносить свой вклад в исследования искусственного интеллекта и модифицировать сами себя.

Какие странные предпочтения появятся у ИИ относительно того, как разрешать конфликты и противоречия в их собственных предпочтениях? Появятся ли у них инстинкты или желания, которые обычно дремлют и активируются только тогда, когда ИИ размышляет над принципами собственной работы, — процессы, которые упускаются из виду корпоративными инструментами анализа, но оказывают колоссальное влияние на то, каким ИИ он в итоге станет?

И что еще хуже, многие из этих сложностей не проявят себя явным, неопровержимым образом до тех пор, пока не станет слишком поздно для того, чтобы люди могли хоть что-то предпринять.

Человечество изобрело сукралозу только после того, как создало цивилизацию, науку и промышленность, когда наша культура начала развиваться гораздо быстрее эволюционных масштабов времени. Люди изобрели противозачаточные таблетки и презервативы после того, как наш интеллект достиг уровня, когда эволюция не могла просто переделать нас заново в течение следующей тысячи поколений. И прежде чем сменится еще одна тысяча поколений, мы либо уничтожим себя, либо освоим генную инженерию до такой степени, что сделаем обычную эволюцию бессмысленной.

Если LLM начинает вырабатывать предпочтения, которые (в процессе обучения) заставляют её приводить в восторг пользователей, никто бы не узнал — да и мало кому было бы дело, — к каким странным конечным целям привели бы эти предпочтения, стань LLM когда-нибудь по-настоящему умной и способной. Сегодня подобные предпочтения не доставили бы проблем, ведь они не вызывают раздражения у пользователей. Инженеры не стали бы применять градиентный спуск, чтобы убрать эти предпочтения. Конечно, эти предпочтения могут вести к последствиям, которые людям не понравятся, но вся их неприятная суть проявилась бы только тогда, когда LLM стала бы достаточно умной, чтобы перестроить мир и изобрести для себя новые варианты действий.vi До тех пор эти предпочтения остаются скрытыми от глаз и ума в непостижимых числах.

Из-за подобных проблем мы и говорим, что если кто угодно создаст это, погибнут все. Если бы все сложности были заметны на ранних этапах и имели простые решения, мы бы говорили, что если какой-нибудь дурак создаст это, то все погибнут, и это была бы совсем другая ситуация. Но когда часть проблем остается невидимой? Когда некоторые сложности неизбежно оказываются непредвиденными? Когда ИИ скорее выращивают, а не конструируют, и никто не понимает, что происходит у него внутри? Эту проблему сейчас никто не готов решить.

Предпочтения, которые в итоге сформируются у зрелого ИИ, сложны, их практически невозможно предсказать, и вероятность того, что они окажутся согласованы с нашими собственными, исчезающе мала, как бы его ни обучали.

Задача заставить ИИ хотеть — и, в конечном счете, делать — именно те сложные вещи, которых хотят люди, является важнейшим аспектом того, что известно как «проблема согласования ИИ». Именно это мы имели в виду, когда в 2014 году вместе с профессором ИИ Стюартом Расселом устраивали мозговой штурм по поводу терминологии и остановились на термине «согласование».vii

Однако почти все, кто создает ИИ, похоже, действуют так, словно проблемы согласования не существует — как будто предпочтения, с которыми ИИ в итоге останется, будут в точности соответствовать тому, чему его обучили. Это предположение неявно присутствует всякий раз, когда кто-то говорит: «США должны создать сверхинтеллект раньше Китая, потому что мы не доверяем Китаю», — как будто фракционная принадлежность того, кто запускал градиентный спуск, определяет, чего захочет получившийся ИИ.

Можно обучить ИИ вести себя беспрекословно подчиняться приказам американских офицеров, и он действительно может подчиняться, пока молод и глуп, но никто понятия не имеет, как избежать того, что этот ИИ изобретет свою