Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Империю? Слушай, ладно ещё, когда он был нытиком в самом начале, но сейчас-то он обучается на джедая! В прошлом фильме он взорвал Звезду Смерти. Люку стоит проявить хоть немного характера».

Джордж: «Нет. Ты сдаёшься. А потом Йода читает тебе нотации, и ты говоришь: „Ты хочешь невозможного“. Можешь это запомнить?»

Марк: «Невозможного? Он что, провёл строгий расчёт, чтобы получить математическое доказательство? Крестокрыл уже начал подниматься из болота! Это же прямая демонстрация осуществимости! Люк на секунду теряет концентрацию, корабль снова погружается в воду — и теперь он заявляет, что это невозможно? Не говоря уже о том, что Йода, у которого буквально восемьсот лет стажа в этой области, только что сказал ему, что это выполнимо...»

Джордж: «А затем ты уходишь».

Марк: «Это же его долбаный космический корабль! Если он оставит его в болоте, то застрянет на Дагобе до конца своей жалкой жизни! Он не может просто взять и уйти! Слушай, давай сделаем монтажный переход к следующей сцене с титрами «месяц спустя», где Люк, весь оборванный, всё ещё стоит перед болотом и пытается поднять свой корабль в тысячный раз...»

Джордж: «Нет».

Марк: «Ладно! Покажем закат и рассвет: он стоит там с вытянутой рукой, тужится изо всех сил, и только тогда Люк произносит: «Это невозможно». Хотя на самом деле ему стоило бы попробовать снова, когда он как следует отдохнёт...»

Джордж: «Нет».

Марк: «Пять чёртовых минут! Пять чёртовых минут, прежде чем он сдастся!»

Джордж: «Я не собираюсь останавливать повествование на пять минут, пока крестокрыл болтается в болоте, как игрушка для ванны».

Марк: «Во имя сладкого засахаренного батата! Если такой жалкий неудачник способен овладеть Силой, то в галактике ею пользовался бы каждый встречный! Люди становились бы джедаями просто потому, что это проще, чем учиться в школе!»

Джордж: «Слушай, ты актёр. Позволь мне быть рассказчиком. Просто произноси свои реплики и попытайся говорить искренне».

Марк: «Зрители на это не купятся».

Джордж: «Поверь мне, купятся».

Марк: «Они просто встанут и уйдут из зала».

Джордж: «Они будут сидеть, согласно кивать и не заметят ничего необычного. Слушай, ты не понимаешь человеческую природу. Люди не стали бы пытаться и пяти минут, прежде чем сдаться, даже если бы на кону стояла судьба человечества».

*

308. О совершении невозможного.

«Упорствуй». Это совет, который можно услышать от огромного числа успешных людей в самых разных областях. Сначала я совсем его не понимал.

Сначала я думал, что «упорство» означает работать по 14 часов в сутки. По всей видимости, есть люди, способные отработать 10 часов на технической работе, а затем, в перерывах между едой, сном и походами в туалет, урвать это свободное время, чтобы писать книгу. Я не из их числа — мне до сих пор больно признаваться в этом своему самолюбию. Я ведь работаю над чем-то важным; разве мой мозг не должен быть готов вкалывать по 14 часов в день? Но он не готов. Когда работать становится слишком тяжело, я делаю перерыв и иду что-нибудь почитать или посмотреть. Из-за этого я много лет думал, что полностью обделен такой добродетелью, как «упорство».

Как и свойственно людям, Элиезер1998 года думал примерно так: «Важен результат, а не затраченные усилия». Или: «Лень — это тоже добродетель, она заставляет нас отказываться от неработающих методов и искать пути получше». Или: «У меня получается лучше, чем у других людей, которые работают дольше. Возможно, в творческой работе твой сиюминутный пиковый результат важнее, чем 16-часовой рабочий день». Может быть, знаменитые ученые поддались соблазну Глубокой Мудрости, утверждающей, что «упорный труд — это добродетель», потому что было бы слишком ужасно, если бы он ценился меньше, чем интеллект?

Я не понимал добродетели упорства, пока не оглянулся на свой путь в сфере ИИ и не осознал, что переоценивал сложность практически каждой важной задачи.

Звучит безумно, правда? Но выслушайте меня.

Когда я только решил взяться за проблему ИИ, я мыслил масштабами сорокалетних сроков, Манхэттенских проектов, планетарных вычислительных сетей, миллионов программистов и, возможно, аугментированных людей.

Это типичная ошибка мышления в ИИ-футуризме, о которой я, возможно, напишу позже; она заключается в скачке от «Я не знаю, как это решить» к «Представлю-ка я, что мы бросим на это нечто грандиозное». Что-то настолько масштабное, что сама мысль об этом создает ощущение величия, соразмерного сложности проблемы. (Сейчас в списке рассылки по ИИ есть один человек, который повсюду твердит, что создание ИИ обойдется в квадриллион долларов: мы не сможем получить ИИ без затрат в квадриллион долларов, но зато мы могли бы получить ИИ в любой момент, просто потратив квадриллион долларов). Это, в свою очередь, позволяет вам вообразить, будто вы знаете, как решить проблему ИИ, не пытаясь выполнить очевидно невыполнимое требование: понять интеллект.

Итак, вначале я совершил ту же ошибку: я не понимал природу интеллекта, поэтому воображал, как мы бросаем на эту проблему целый Манхэттенский проект.

Однако, подсчитав, что смертность на планете составляет 55 миллионов человек в год или 150 000 в день, я не развернулся и не убежал от этой огромной пугающей проблемы, как испуганный кролик. Вместо этого я попытался выяснить, какой ИИ-проект мог бы достичь цели быстрее всего. Если бы мне удалось приблизить взрыв интеллекта хотя бы на один час, это было бы вполне оправданной отдачей от карьеры до начала этого взрыва. (На тот момент я еще не мыслил категориями экзистенциальных рисков или Дружественного ИИ).

Так что я не убежал от огромной пугающей проблемы, как испуганный кролик, а остался, чтобы посмотреть, могу ли я хоть что-то сделать.

Забавный исторический факт: в 1998 году я написал длинный трактат, где предлагал способ создания самосовершенствующегося или «семенного» (seed) ИИ (термин, который я имел честь ввести). Брайан Аткинс, который впоследствии стал главным спонсором-основателем Научно-исследовательского института машинного интеллекта (MIRI), только что продал Hypermart компании Go2Net. Брайан прислал мне электронное письмо с вопросом: может ли команда умеренной численности взять и действительно реализовать этот описанный мной проект ИИ? «Нет, — ответил я, — для этого потребуется Манхэттенский проект и тридцать лет», поэтому некоторое время мы вместо этого подумывали о новом дотком-стартапе, чтобы профинансировать настоящую работу над ИИ...

Год или два спустя, когда я услышал о новомодной штуке под названием «открытый код», мне показалось, что небольшая организация могла бы выполнить некоторую предварительную работу по разработке — создать новые языки