Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски

Это один из немногих доступных нам примеров той странной внутренней «неврологии», которая происходит внутри LLM, — пример из числа тех крайне поверхностных и простых явлений, в которых мы вообще способны разобраться и которые мы наблюдали в достаточно крошечных моделях, поддающихся более легкому анализу. Человеческие мысли устроены иначе. Наше восприятие предложения может слегка измениться, если в нем нет знаков препинания, но мы не станем спотыкаться при попытке понять предложение, которое просто закончилось без точки

Более общий вывод об источнике чуждости ИИ таков: обучение ИИ внешнему предсказанию человеческого языка вовсе не гарантирует, что его внутреннее мышление станет похожим на человеческое. Их мышление работает на совершенно иных механизмах — вещь, которая неочевидна по их внешнему поведению. Это можно заметить снаружи, если знать, куда смотреть, но на то, чтобы понять, куда именно смотреть, у команды умных исследователей уходит немало времени.

Все это не означает, что «простая машина» никогда и в принципе не сможет мыслить так, как мыслит человек, или чувствовать то, что чувствует человек. Ваши нейроны, если присмотреться к ним достаточно близко, состоят из крошечных сплетений механизмов, которые закачивают нейромедиаторы в синапсы и выкачивают их обратно. Существуют буквально крошечные шагающие белки — кинезины, — которые делают механический шаг за шагом по волокнам, тянущимся вдоль нейрона, перенося контейнеры с нейромедиаторами для заполнения этих синапсов. (Если вы никогда не видели видео, показывающее белки-кинезины в действии, мы настоятельно рекомендуем вам его найти — просто чтобы прочувствовать буквальную истину того, что может показаться всего лишь метафорой: внутри вас работают крошечные машины.)

Но конкретная машина под названием «человеческий мозг» и конкретная машина под названием «LLM» — это не одна и та же машина. Дело не в том, что они сделаны из разных материалов (разные материалы могут выполнять одну и ту же работу), а в том смысле, в каком парусник и самолет — это разные машины. И то и другое — транспортные средства, но принципы их работы кардинально различаются; они могут в итоге прибыть в один и тот же пункт назначения, но доберутся туда совершенно разными путями.

И LLM, и люди — это машины по производству предложений, но они были сформированы разными процессами для выполнения разной работы. Даже если кажется, что LLM ведет себя как человек, это вовсе не означает, что внутри она хоть сколько-нибудь похожа на человека. Обучение ИИ предсказывать, что говорят дружелюбные люди, вовсе не обязано делать его дружелюбным — точно так же, как актер, научившийся изображать каждого завсегдатая таверны, сам от этого не пьянеет.

Какая разница, пока ИИ всегда ведет себя дружелюбно? Что ж, мы прогнозируем, что он перестанет вести себя дружелюбно, по мере того, как будет становиться умнее. Мы прогнозируем, что все эти невидимые, непостижимые механизмы внутри систем ИИ — механизмы, которые даже в маленьких и простых LLM порождают такое чуждое поведение, как «выстраивание мыслей о предложении на знаке препинания», — в конечном итоге сформируют у ИИ собственные предпочтения, и отнюдь не дружественные. К этой теме мы и перейдем далее.

Примечания

i Поиск архитектур, благодаря которым эти градиенты ведут себя послушно даже для параметров, находящихся очень «глубоко» в процессе — крайне далеко от выхода, — это как раз то, за что специалисты в области ИИ получают награды. И, говоря очень грубо, именно за это Джеффри Хинтон и Джон Хопфилд получили Нобелевскую премию.

ii Грубо говоря, они поняли это, заметив, что «головки внимания» (attention heads) — наборы весов, используемые для связывания текущего токена с предыдущими, чтобы определить, как они влияют на следующее предсказание, — связывают токен «.» с токенами по всему предложению, в то время как головы внимания для других токенов склонны связывать свой токен в основном с соседними.

iii В современных ИИ этот эффект несколько ослаб — отчасти потому, что компании-разработчики незаметно вставляют собственные маркеры «конца ввода» (end-of-input), которые могут выполнять функцию пропущенной точки.

ГЛАВА 3

ОБУЧЕНИЕ ЖЕЛАНИЮ.

— УЗРИТЕ! — СКАЗАЛ Профессор. — Хитроумно настроив эту простую машину — обычное сочетание меди и песка, оживляемое крошечными искрами молний, — я заставил её играть в шахматы!

— Ну и что? — спросил Студент. — Человек тоже умеет играть в шахматы.

— Ах! — воскликнул Профессор. — Но эта Машина играет в шахматы, вовсе не желая в них играть. На самом деле она вообще ничего не желает. У неё нет стремления победить соперников. Она не ликует, доказывая, что она величайший игрок. Она никогда не испытает радости от победы; а даже если бы и испытала, то никогда не стала бы направлять свои действия на то, чтобы её получить.

— Похоже, она просто проиграет, — сказал Студент. — Ведь если я пригрожу её ферзю, Машина не захочет его защищать.

— И в самом деле не захочет! — согласился Профессор. — Но защищать своего ферзя она будет столь же яростно, как любой гроссмейстер-человек — и даже упорнее, чем мог бы любой гроссмейстер-человек.

— Как такое возможно? — спросил Студент. — Если Машина ничего не хочет, она не должна хотеть защищать свои фигуры. Она вообще не должна хотеть выиграть партию. Разве она не будет просто делать случайные ходы?

— Казалось бы! — ответил Профессор. — И тем не менее она наголову разобьёт вас или любого другого человека. Видите ли, она обладает свойством побеждать в шахматах безотносительно к какому-либо свойству хотеть победить.

— Если она яростно защищает свои фигуры, — сказал Студент, — стремится к победе, делает всё необходимое для победы и действительно побеждает — то в каком смысле она не хочет победить? Почему бы нам не назвать это желанием?

— Я предоставляю подобные вопросы философам, — сказал Профессор. — Но я внимательно осмотрел свою машину и уверяю вас: никакого «хотения» внутри неё нет — только медь и песок.

КАК ТОЛЬКО ИИ СТАНУТ ДОСТАТОЧНО УМНЫМИ, ОНИ НАЧНУТ ВЕСТИ СЕБЯ так, будто у них есть предпочтения — будто они чего-то хотят.

Мы не утверждаем, что ИИ будут переполнены человеческими страстями. Мы говорим о том, что они будут вести себя так, словно чего-то хотят; они будут упорно направлять мир к своим целям, преодолевая любые препятствия на своём пути.

Если вы сыграете в шахматы против Stockfish — лучшего шахматного