Создатель ChatGPT: История Сэма Альтмана - Кич Хэйги

находить правильные ответы с помощью разума. Но со временем термин стал обозначать целое движение, которое, по словам интеллектуального наследника Юдковского Скотта Александера, включает «редукционизм, материализм, моральный антиреализм, утилитаризм, борьбу со смертью и трансгуманизм». Хотя сам Александер шутит, что на самом деле суть этого учения – вера в то, что «Элиезер Юдковский – истинный халиф»[176].

В работе 2004 года «Когерентная экстраполированная воля» Юдковский утверждал: дружественный ИИ нужно создавать не на основе наших сиюминутных желаний, а исходя из того, что действительно пойдет нам на пользу. «Задача разработчиков – понять, чего “хочет” человечество. А точнее, какие решения мы бы принимали, если бы знали больше, думали быстрее, были теми, кем хотим быть, и стали более сплоченным видом», – писал он. В той же статье он впервые использовал запоминающуюся метафору: если запрограммировать ИИ на производство канцелярских скрепок, то без должных ограничений он может в конечном итоге заполнить скрепками всю Солнечную систему. Годы спустя Бостром превратит этот пример в главный символ необходимости элайнмента – согласования ИИ с человеческими ценностями[177].

В 2005 году Юдковский попал на закрытый ужин в одном из ресторанов Сан-Франциско, организованный Институтом предвидения – аналитическим центром, основанным в 1980-х для продвижения нанотехнологий. Многие из его первых участников были выходцами из Общества L5, которое добивалось создания космической колонии в точке Лагранжа между Землей и Луной и успешно лоббировало отказ США от подписания Лунного соглашения 1979 года – там был пункт о запрете терраформирования небесных тел. Среди гостей был Тиль, развлекавший соседей по столу рассказом о приятеле, служившем своеобразным антииндикатором рынка: каждый раз, когда тот считал какую-то инвестицию перспективной, вскоре она обваливалась. Юдковский, понятия не имевший, кто такой Тиль, подошел к нему после ужина: «Чтобы ваш друг служил надежным сигналом грядущего падения актива, он должен обладать некой когнитивной способностью, позволяющей переиграть эффективный рынок, – только в этом случае его прогнозы могут стабильно коррелировать с падением акций». По сути, Юдковский сослался на гипотезу эффективного рынка: все факторы риска уже учтены в рыночных ценах, что не оставляет возможности заработать ни на чем, кроме инсайдерской информации. Тиль был очарован.

Тиль и Юдковский стали периодически ужинать вместе. «Со временем я начал воспринимать Тиля как своего наставника», – признавался Юдковский. К 2005 году их отношения переросли в деловое партнерство: Тиль взялся финансировать Институт сингулярности Юдковского, а годом позже они вместе с Рэем Курцвейлом, чья книга «Сингулярность близка» как раз стала бестселлером, организовали Саммит сингулярности в Стэнфорде. За шесть лет форум превратился в одну из главных площадок для футуристов, трансгуманистов, экстропианцев, исследователей ИИ и писателей-фантастов. Среди участников были Бостром, Мор, Хэнсон, стэнфордский профессор ИИ Себастьян Трун, основатель XPRIZE Питер Диамандис и геронтолог Обри де Грей, утверждающий, что человечество способно победить старение. Сооснователь Skype Яан Таллинн так вдохновился идеями Юдковского, что стал одним из главных спонсоров исследований экзистенциальных рисков ИИ: сначала он финансировал OpenAI, а позже переключился на поддержку их конкурента – Anthropic.

Другой участник саммита, физик Макс Тегмарк, впоследствии основал Институт будущего жизни.

На одном из мероприятий появился даже сам Вернор Виндж в очках в стиле Уолтера Уайта и с аккуратной седой бородкой, которые вместе делали его похожим на школьного учителя химии. «Когда наступит сингулярность, рулить будем не мы», – бодро напомнил он аудитории[178].

В 2010 году среди приглашенных докладчиков оказался Шейн Легг – новозеландский математик, информатик и танцор балета. Он на протяжении 10 лет был одержим идеей создания сверхразума – с тех пор, как Юдковский открыл ему глаза на эту возможность[179]. Легг работал в нью-йоркском стартапе IntelliGenesis, который основал информатик Бен Герцель с амбициозной целью создать первый в мире ИИ. Их главным продуктом был WebMind – программный комплекс для прогнозирования тенденций на фондовом рынке. Герцель, доктор математических наук, годами активно участвовал в экстропианской рассылке, ведя дружеские споры с Юдковским о трансгуманизме и либертарианстве (первое он поддерживал, а второе – не особенно)[180]. Еще в 2000 году Юдковский выступал в компании Герцеля (которая обанкротилась через год). Легг называет эту встречу моментом, когда он начал серьезно относиться к идее сверхинтеллекта, выйдя за рамки стереотипных представлений из фильмов[181]. Именно тогда Герцель и Легг начали использовать термин «общий искусственный интеллект».

Легг защитил диссертацию о машинном сверхинтеллекте, в которой предупреждал об экзистенциальной угрозе технологии, а позже прошел постдокторантуру в подразделении вычислительной нейробиологии Гэтсби при Университетском колледже Лондона – лаборатории, объединявшей исследования в области нейронауки, машинного обучения и ИИ. Там он познакомился с Демисом Хассабисом – вундеркиндом из Лондона, сыном сингапурки и грека-киприота. В свое время Хассабис занимал второе место в мировом рейтинге шахматистов младше 14 лет. Теперь он мечтал создать ИИ по образу и подобию человеческого мозга. Легга и Хассабиса объединяла крайне непопулярная в то время идея. «Стоило заговорить об общем ИИ, как собеседники начинали закатывать глаза, – рассказывал Легг журналисту Кейду Метцу. – В лучшем случае тебя считали чудаком, в худшем – антинаучным фантазером»[182]. Легг думал, что прорыв возможен в академической среде, но Хассабис, уже обжегшийся на одном стартапе, знал: единственный путь – коммерческая разработка. И был очевидный инвестор, к которому стоило обратиться прежде всего: Питер Тиль.

На Саммит сингулярности 2010 года Легг и Хассабис приехали не столько ради своих выступлений, сколько в надежде познакомиться с Тилем, славившимся привычкой приглашать участников мероприятия в свой особняк в Сан-Франциско. В первый день саммита, который теперь проходил в отеле в центре города, Хассабис представил свое видение искусственного интеллекта, работающего по тем же принципам, что и человеческий мозг. На следующий день Легг выступил с докладом о необходимости измеримых критериев для оценки прогресса в разработке ИИ. После выступлений их пригласили на коктейльную вечеринку в дом Тиля в районе Марина, откуда открывались впечатляющие виды на мост Золотые Ворота и Дворец изящных искусств. К своей радости, на одном из столиков они заметили шахматную доску. Пробравшись сквозь толпу гостей, они нашли Юдковского, который представил их Тилю. Стараясь не выдать волнения, Хассабис отложил обсуждение деловых вопросов и заговорил о шахматах, зная увлечение Тиля этой игрой. Он отметил, что шахматы выдержали испытание временем благодаря увлекательному противостоянию коня и слона – фигур равной ценности, но с принципиально разными возможностями. Тиль предложил им вернуться на следующий день и рассказать о своем стартапе[183].

Наутро они презентовали свой проект Тилю, только что вернувшемуся с тренировки, прямо за завтраком. Хассабис рассказал, что они создают общий искусственный интеллект по образцу человеческого мозга, будут тестировать прогресс через компьютерные игры и уверены, что рост вычислительных мощностей обеспечит прорыв. Поначалу Тиль колебался, но через несколько недель согласился вложить 2,25 миллиона долларов, став