Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Я не стал устраивать из этого грандиозную эмоциональную драму. Это лишь свело бы на нет силу удара, превратив его в банальные слезы.

В тот же миг я понял, чего старательно избегал последние шесть лет. Я не обновлял свои убеждения.

И я понял, что должен наконец их обновить. На самом деле изменить то, что я планировал делать, изменить то, что я делал сейчас, заняться вместо этого чем-то другим.

Я понял, что должен остановиться.

Остановиться, расплавиться и загореться.

Сказать: «Я не готов». Сказать: «Я еще не знаю, как это сделать».

В области ОИИ произнести эти слова невероятно трудно. И обывателей, и ваших коллег-исследователей ОИИ интересует код, проекты с работающими программистами. В отсутствие этого они могут выдать вам некий кредит доверия, если вы скажете: «Я готов писать код, только дайте мне финансирование».

Но скажите: «Я не готов писать код», — и ваш статус рухнет, как шарик из обеднённого урана.

Что тогда отличает вас от шести миллиардов других людей, которые не знают, как создать общий искусственный интеллект? Если у вас нет красивого кода (который, разумеется, делает что угодно, кроме демонстрации человеческого разума — но это хотя бы код) или как минимум собственного стартапа, который начнет писать код, как только получит финансирование, — то кто вы вообще такой и что делаете на нашей конференции?

Возможно, позже я напишу о том, откуда берется подобное отношение — об исключенном третьем между «Я знаю, как построить ОИИ!» и «Я работаю над узким ИИ, потому что не знаю, как построить ОИИ», об отсутствии самого понятия «Я пытаюсь перейти от неполной карты Дружественного ИИ к полной карте Дружественного ИИ».

Но такое отношение действительно существует, и потому потеря статуса из-за слов «Я не готов писать код» очень велика. (Если кто-то в этом сомневается, пусть назовет мне еще хоть кого-нибудь, кто одновременно заявляет: «Я намерен построить общий искусственный интеллект», «Прямо сейчас я не могу построить ОИИ, потому что не знаю X» и «В настоящее время я пытаюсь разобраться в X».)

(И уж тем более не стоит поминать деятелей из сферы ОИИ, которые уже привлекли венчурный капитал, пообещав прибыль через пять лет.)

Отсюда и огромное нежелание говорить «стоп». Нельзя просто сказать: «О, я переключусь обратно в режим исследования X», потому что такого режима не существует.

Крылось ли за этим нежеланием в моем случае что-то еще, кроме потери статуса? Элиезер-2001, возможно, также отпрянул от перспективы замедлить свое кажущееся движение вперед, навстречу интеллектуальному взрыву, которое казалось столь правильным и столь необходимым...

Но главным образом, я думаю, я отпрянул перед невозможностью сказать: «Я готов начать писать код». Не только из страха перед реакцией окружающих, но и потому, что я сам впитал это отношение.

Прежде всего, Элиезер-2001 не сказал «стоп» — даже после того как заметил проблему Дружественного ИИ — потому что я нутром не понимал, что Природе позволено убить меня.

«Подростки считают себя бессмертными», — гласит поговорка. Очевидно, это неверно в буквальном смысле — если вы спросите их: «Ты неуязвим?», они не ответят: «Да, давай, попробуй в меня выстрелить». Но, возможно, необходимость пристегивать ремни безопасности не кажется им эмоционально убедительной, потому что мысль о собственной смерти не кажется им вполне реальной — они не верят по-настоящему, что этому позволено случиться. Это может произойти в принципе, но не может произойти на самом деле.

Лично я всегда пристегивался. Как отдельный человек, я понимал, что могу умереть.

Но, будучи воспитан в духе технофилии и научен дорожить той единственной, самой драгоценной вещью, которая была гораздо важнее моей собственной жизни, я когда-то думал, что Будущее неуязвимо.

Даже когда я признавал, что нанотехнологии могут уничтожить человечество, я все равно верил, что взрыв интеллекта неуязвим. Что если человечество выживет, взрыв интеллекта произойдет, а получившийся ИИ окажется слишком умен, чтобы сломаться или погибнуть.

Даже после этого, когда я принял во внимание проблему Дружественного ИИ, я эмоционально не верил в возможность провала — точно так же, как подросток, не пристегивающий ремень безопасности, не верит по-настоящему, что автокатастрофе действительно позволено убить его или сделать калекой.

Лишь когда мое понимание оптимизации позволило мне оглянуться назад и увидеть Элиезера-1997 в ясном свете, я наконец осознал, что Природе позволено убить меня.

«Мысль, которую ты не можешь помыслить, управляет тобой сильнее, чем мысли, которые ты высказываешь вслух». Но мы отшатываемся лишь от тех страхов, которые реальны для нас.

Разработчики AGI очень серьезно относятся к перспективе того, что кто-то другой решит эту проблему первым. Они могут представить себе газетные заголовки о том, что их собственную работу затмили. Они знают, что Природе позволено так с ними поступить. Те, кто основал компании, знают, что им позволено остаться без венчурного капитала. Эта возможность для них реальна, очень реальна; она обладает над ними силой эмоционального принуждения.

Не думаю, что «Упс», за которым следует глухой стук шести миллиардов тел, павших от их собственных рук, — реально для них на том же уровне.

Небезопасно утверждать, что думают другие люди. Но весьма вероятно, что когда кто-то реагирует на перспективу Дружественного ИИ словами: «Если вы задержите разработку, чтобы поработать над безопасностью, другие проекты, которых вообще не заботит Дружественный ИИ, обойдут вас на повороте», перспектива того, что они сами совершат ошибку, за которой последуют шесть миллиардов глухих ударов, не кажется им по-настоящему реальной; зато возможность того, что их опередят другие, пугает до глубины души.

Я тоже говорил подобные вещи до того, как понял, что Природе позволено убить меня.

В этот момент осознания моя детская технофилия наконец разбилась вдребезги.

Я наконец понял, что даже если ты прилежно следовал правилам науки и был хорошим человеком, Природа все равно могла тебя убить. Я наконец понял, что даже если твой проект был лучшим среди всех возможных кандидатов, Природа все равно могла тебя убить.

Я понял, что меня оценивают не по относительной шкале. Мой взгляд оторвался от соперников, и я увидел отвесную глухую стену.

Я оглянулся назад и увидел тщательно выстроенные мной аргументы в пользу того, что разумнее всего продолжать двигаться вперед на полной скорости, как я и планировал раньше. И тогда я понял: даже если ты выстроишь аргумент, доказывающий, что некий путь — наилучший, Природе все равно позволено сказать «Ну и что?» и убить тебя.

Я оглянулся назад и увидел, что заявлял, будто учитываю риск фундаментальной