Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

Давайте резюмируем, что делают сегодняшние “родители” ИИ-модели. Инженеры выбирают архитектуру, решая, какие параметры складываются, а какие перемножаются. Они создают движок, который вычисляет буквально квинтиллионы чисел: триллионы слов, миллиарды параметров. Слова, которые модель учится предсказывать, сначала триллионами копируются из интернета, а затем их генерируют низкооплачиваемые работники или другие ИИ-модели. Если инженеры делают дополнительный шаг и обучают модель на математических задачах или других головоломках с единственным правильным ответом, то люди пишут программы, которые проверяют ее ответы.

И это все. Именно эту часть работы люди делают, видят и могут понять.

Вы вправе задаться вопросом, не скрыты ли все секреты ИИ-модели в конкретном выборе архитектуры – в определении, какие параметры складываются, а какие перемножаются. Мы избавим вас от полного описания архитектуры Llama 3.1 405B (пик технологий в середине 2024 года), но включим его в онлайн-материалы. Достаточно сказать, что эта архитектура громоздкая и повторяющаяся: в целом она включает в себя присвоение 16 384 чисел каждому возможному “токену”, затем организацию миллиардов параметров в 128 различных “голов внимания”, которые обеспечивают перекрестные связи между токенами, и сборку их (вместе с некоторыми другими простыми операциями) в “слой” – один из 126 аналогичных слоев… и так далее.

Иными словами, ИИ – это куча из миллиардов чисел, полученных методом градиентного спуска.

Никто не понимает, как эти числа заставляют ИИ говорить.

Эти числа не скрыты – точно так же как ДНК не скрыта от человека, сделавшего секвенирование генома. Если вам захотелось получить представление о том, вырастет ли ребенок счастливым и добрым человеком, теоретически вы можете посмотреть на все его гены – цепочки ДНК, которые расскажут вам что-то вроде CATTCA. Но, как и женщина из притчи в начале этой главы, вы вряд ли станете этим заморачиваться, поскольку понимаете, что разглядывание букв ДНК не откроет вам, как будет думать или действовать взрослый человек.

Отношения биологов с ДНК, по сути, не отличаются от отношений инженеров искусственного интеллекта с числами внутри ИИ-модели. На самом деле биологи знают гораздо больше о том, как ДНК определяет биохимические процессы и черты взрослого человека, нежели инженеры понимают, как веса ИИ-модели определяют мысли и поведение. Биологи занимаются своей проблемой на несколько десятилетий дольше.

Точно так же никто не может посмотреть на сырые числа в модели ИИ и определить, насколько хорошо конкретно она будет играть в шахматы, – чтобы это выяснить, инженерам придется запустить ее и посмотреть, что произойдет. Куда бы ни завел градиентный спуск, именно это и будет делать вся огромная куча чисел. Машина, демонстрирующая конкретное поведение, – это не какое-то тщательно продуманное устройство, где нам ясна роль каждого элемента.

Не стоит заблуждаться: в процессе, который запускается для выращивания ИИ, есть еще много того, что стоило бы понять. Чтобы архитектура действительно заработала, нужна масса уловок, отдаленно похожих на те, к которым прибегает специалист по питанию, заботясь о здоровом развитии мозга плода во время беременности и рассчитывая косвенно повлиять на то, каким окажется мозг ребенка. Конкретные приемы варьируются в зависимости от особенностей архитектуры, используемых вычислительных мощностей и, образно говоря, от того, совпал ли двенадцатый день рождения ведущего программиста с лунным затмением. Люди, обладающие достаточным опытом в выборе правильных трюков, могут получать буквально миллионы долларов в год, ведь это скорее искусство, чем наука, и компании не способны создавать ИИ-модели без их помощи.

Но отсюда не следует, будто кто-то понимает, что означают эти числа и как именно они работают.

И нет никаких признаков, что инженеры начнут это по-настоящему понимать. Во всяком случае, в ближайшее время. В середине 1950-х годов человечество приступило к грандиозному проекту: вознамерилось понять интеллект настолько хорошо, чтобы создать его в машинной форме. Исследовательский прогресс застопорился в так называемую зиму искусственного интеллекта, когда деньги, вложенные в исследования ИИ, не окупались, и финансирование неоднократно иссякало. Человечество так и не научилось понимать интеллект, мы так и не научились создавать разум вручную.

Человечество добралось до уровня ChatGPT не потому, что наконец-то постигло интеллект достаточно хорошо, чтобы сконструировать искусственный разум. Просто компьютеры стали достаточно мощными, и теперь ИИ-модели можно получать с помощью градиентного спуска, а людям для этого оказалось не обязательно понимать те когнитивные процессы, что происходят внутри.

Иными словами, инженеры потерпели неудачу в конструировании ИИ, но в итоге преуспели в его выращивании.

Вы можете решить, что, поскольку большие языковые модели выращиваются без особого понимания и обучаются всего лишь предсказывать человеческий текст, они способны только на бездумное воспроизведение человеческих высказываний. Но это не так. Чтобы научиться говорить как человек, ИИ еще должен научиться прогнозировать тот сложный мир, о котором говорят люди.

Рассмотрим ИИ-модель, прогнозирующую следующее слово в реальном медицинском протоколе, который начинается так: “После введения 0,3 мг адреналина пациент…” Какие слова идут дальше? “Потерял сознание”? “Закричал”? “Снова начал дышать”? Врачу, составлявшему протокол, не требовалось гадать: он просто записывал то, что наблюдал. Прогнозирование – задача более сложная. Чтобы предсказать, что напишет врач, ИИ-модель должна понимать не только логику врача, но и случившееся с пациентом – ей нужно прогнозировать реальный мир, стоящий за этими словами.

На практике существуют свидетельства, подтверждающие этот эффект: предварительные исследования показывают, что LLM справляются с задачами медицинской диагностики немного лучше врачей – возможно, по той причине, что узнали нечто о скрытых механизмах работы организма1. А в теории, если бы врачи добросовестно фиксировали необычные симптомы болезни, природу которой сами не понимают, то чисто предиктивная ИИ-модель могла бы первой открыть механизм патологии, поскольку такое открытие помогло бы ей делать более точные прогнозы.

Более того, в наши дни искусственный интеллект обучают не только предсказывать текст, написанный человеком. Специалист, выращивающий ИИ-модель, может дать ей шестнадцать попыток для решения какой-нибудь математической задачи, требуя озвучить ход рассуждений. Затем “цепочка рассуждений” (chain-of-thought) наилучшей из шестнадцати попыток дополнительно подкрепляется градиентным спуском, что в итоге дает так называемую рассуждающую модель. Такой режим обучения может подтолкнуть ИИ к мышлению, на которое не способен ни один человек.

Человечеству не нужно понимать природу интеллекта, чтобы выращивать машины умнее себя.

Но вот результаты могут оказаться весьма странными. Когда люди требуют, чтобы их модели научились делать что-то новое, то получают сущность, которая вовсе не является каким-то тщательно спроектированным устройством, работающим привычным и понятным для инженеров образом. Они просто получают рабочее решение, найденное методом градиентного спуска, когда сотни миллиардов чисел подправлялись до тех пор, пока сущность не стала справляться с задачей достаточно хорошо.

Выращенные таким образом ИИ-модели делают то, что не