Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

– Разумеется, не захочет! – ответил профессор. – Однако она будет защищать своего ферзя так же яростно, как любой гроссмейстер-человек, а на деле даже упорнее.

– Но как это возможно? – спросил ученик. – Если машина ничего не желает, она не должна хотеть защищать свои фигуры. Она вообще не должна хотеть выиграть партию. Разве она не станет делать просто случайные ходы?

– Логично думать именно так! – воскликнул профессор. – И все же она разнесет в пух и прах вас или любого другого человека. Видите ли, у нее нет свойства хотеть выиграть, но у нее есть свойство выигрывать.

– Но если она яростно защищает свои фигуры, – удивился ученик, – и стремится к победе, и делает то, что нужно для победы, и действительно выигрывает, то в каком смысле она не хочет выигрывать? Почему бы нам не назвать это желанием?

– Вопросы такого рода я оставляю философам, – буркнул профессор. – Но я хорошо изучил свою машину и уверяю вас: в ней нет никакого желания, есть только медь и песок.

Как только модели ИИ станут достаточно умными, они начнут вести себя так, будто у них есть предпочтения – будто они чего-то хотят.

Мы не имеем в виду, что ими начнут двигать человеческие страсти. Мы имеем в виду, что они будут вести себя так, словно чего-то хотят, они будут упорно направлять мир к своим целям, преодолевая любые препятствия на своем пути.

Попробуйте сыграть в шахматы против Stockfish, лучшей шахматной ИИ-модели на момент написания этой книги, и вы увидите, что он не разбрасывается ферзем. “Хочет” ли Stockfish защитить своего ферзя? “Хочет” ли он выиграть шахматную партию?

Это вопрос вашего восприятия и вашего лексикона. Что касается нас и нашей книги, то, когда ИИ-модель, подобная Stockfish, защищает свои фигуры, расставляет ловушки, пользуется брешами в вашей защите и в итоге побеждает, мы будем описывать это как “желание” победить. Мы не пытаемся сказать, есть у машины чувства или нет. Нам просто нужно какое-то слово для описания внешнего поведения, нацеленного на победу, и слово “желание” кажется наиболее подходящим.

Если обучать разум, ориентируя его на успех, он может обрести желания. Пример этого принципа – сами люди. Естественный отбор отдавал предпочтение тем нашим предкам, которые умели выполнять задачи вроде выслеживания добычи или решать проблемы вроде поиска укрытия от стихии. Естественному отбору было безразлично, как наши предки выполняли эти задачи и решали эти проблемы. Он не говорил: “Неважно, сколько у организма детей, – хотел ли он их на самом деле?” Он отбирал по репродуктивной успешности и в качестве побочного эффекта получал существ с полным набором предпочтений.

Ибо желание – эффективная стратегия для действия.

Тот гоминид, который хотел еды получше и упорно преследовал антилопу, имел больше детей, чем тот, кто целый день бездельничал на камне, ожидая, пока антилопы придут к нему сами. Желание получить антилопу – достаточное, чтобы отправиться искать ее, найти, напасть, а затем настойчиво обыскивать все места, где могло спрятаться раненое животное, – это часть процесса получения еды получше.

А что еще, собственно, остается делать живому существу? Сдаваться при первом же намеке на трудности? С такой стратегией далеко не уйдешь. Неважно, работает ли разум на биологии или на электричестве: если его обучают добиваться успеха, его тем самым обучают желать.

Но как эти желания на самом деле возникают? Знать наверняка мы не можем, потому что никто не умеет читать те дебри чисел, из которых состоят современные ИИ-модели. Однако мы изложим некоторые теоретические построения и подкрепим их примерами работы современных моделей.

Представьте, что вы обучаете ИИ-модель ориентироваться на улицах какого-нибудь цифрового города. Там сотни возможных пунктов назначения, и каждый день она должна прокладывать маршрут между случайно выбранными точками. Каждый раз, когда она справляется с задачей, вы методом градиентного спуска усиливаете все веса, которые способствовали этому успеху, – пропорционально скорости выполнения задачи.

Вы можете решить, что после множества тренировок модель попросту запомнит все возможные маршруты. “Чтобы добраться от парка до театра, нужно пройти три квартала на запад, затем повернуть налево у бензоколонки… и так далее”.

А теперь поместите эту модель в другой город. Все заученное окажется бесполезным. Она почти так же беспомощна, как в первый день обучения.

Почти, но не совсем. В море весов могут найтись закономерности, которые полезны как в первом, так и во втором городе. Возможно, есть схема, которая обнаруживает, если модель сделала петлю, и заставляет ее двигаться другим маршрутом, а не бродить по кругу. Такая схема одинаково полезна в обоих городах, поэтому градиентный спуск усиливает ее, тогда как заученные маршруты стираются.

Теперь поместите эту модель в третий город. В четвертый. В сотый. Она осваивает навык создавать ментальные карты любых городов и прокладывать по ним ментальные маршруты.

Создание карты – более полезный навык, нежели запоминание маршрутов, ведь его можно использовать для различных сценариев, то есть он более универсален. Модели больше не нужно бродить наугад, пока она случайно не окажется в пункте назначения, а затем запоминать только этот конкретный маршрут.

Чтобы научиться создавать карты, пригодные для любого города, ИИ-модель должна овладеть несколькими независимыми навыками. Ей нужно уметь строить карту того места, где она в данный момент находится (чтобы затем использовать ее для прогнозирования структуры города), и уметь прокладывать и держать курс в соответствии с имеющейся у нее картой (тем самым используя ее для управления движением по городу). Такое разделение навыков – один из механизмов повышения универсальности интеллекта.

Да, эти навыки ИИ-модели сложнее освоить, чем, скажем, запомнить, что нужно повернуть налево у бензоколонки, чтобы добраться от парка до театра. Зато эти отдельные навыки полезны даже в той среде, которую модель никогда раньше не видела.

И вместе с этими отдельными навыками появляется первое маленькое “протожелание”, крошечный фрагмент “желаниеподобного” поведения. Модель ИИ, которая составляет карту в своей голове, но никогда не использует ее, чтобы куда-то добраться, не получает подкрепления этих картографических мыслей, ведь составленная карта не помогает ей добиться успеха. Модель ИИ, которая формирует карту в голове и использует ее для управления движением, будет лучше справляться с данной задачей, а градиентный спуск впоследствии подкрепит нужные тенденции. Иными словами, отдельные навыки полезны, но их может освоить только та модель, которая использует их “желаниеподобным” образом.

Итак, та ИИ-модель, которая пользуется картами, хранящимися в ее голове, и продолжает искать другой путь от парка к театру, даже когда дороги перекрыты, начинает вести себя так, словно она хочет оказаться