Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Часть X. Становление Юдковского.

292. Моя детская спираль смерти.

Мои родители всегда преуменьшали ценность интеллекта. И преувеличивали ценность... усилий, как рекомендуют современные исследования? Нет, не усилий. Опыта. Прекрасный недосягаемый молот, которым так удобно осаживать смышленого ребенка, что и говорить. Именно это родители говорили мне, когда я, например, ставил под сомнение иудаизм. Я пытался привести аргументы, а в ответ слышал что-то вроде: «У логики есть пределы; когда ты вырастешь, ты поймешь, что главное — это опыт, и тогда ты увидишь истинность иудаизма». Больше я не пытался. Я сделал одну попытку поставить под сомнение иудаизм в школе, меня быстро осадили, и больше я не пытался. Я никогда не был тугодумом.

Каждый раз, когда мои родители делали что-то опрометчивое, они всегда говорили: «Нам виднее, потому что у нас больше опыта. Вырастешь — поймешь: зрелость и мудрость важнее интеллекта».

Если это была попытка нацелить юного Элиезера на интеллект превыше всего, то это был самый ошеломляюще успешный пример обратной психологии, о котором я когда-либо слышал.

Но мои родители не настолько хитры, да и результаты оказались не то чтобы положительными.

Долгое время я думал, что мораль этой истории в том, что опыт не способен тягаться с чистым врожденным интеллектом. Лишь гораздо позже, когда мне уже перевалило за двадцать, я оглянулся назад и понял, что до полового созревания, с еще не полностью сформировавшимся мозгом, я никак не мог быть умнее своих родителей. В одиннадцать лет, когда я уже был почти стопроцентным атеистом, я не смог бы победить родителей ни в одном честном состязании умов. Мои баллы SAT были высокими для одиннадцатилетки, но они не превзошли бы баллы моих родителей в их взрослом возрасте. В честном бою интеллект и опыт моих родителей стерли бы в порошок любого ребенка до пубертатного возраста. Их сгубила дисрационалия: они использовали свой интеллект лишь для того, чтобы он побеждал сам себя.

Но это понимание пришло гораздо позже, когда мой собственный интеллект обработал и дистиллировал еще многие годы опыта.

Мораль, которую я вывел в юности, заключалась в том, что любой, кто преуменьшает ценность интеллекта, вообще ничего в нем не понимает. Мой собственный интеллект повлиял на каждый аспект моей жизни, разума и личности; при взгляде назад это казалось совершенно очевидным. «Интеллект никак не связан с мудростью или тем, чтобы быть хорошим человеком» — о, неужели? А самосознание тоже никак не связано с мудростью или тем, чтобы быть хорошим человеком? Моделирование самого себя требует интеллекта. Хотя бы для того, чтобы освоить эволюционную психологию.

Мы и есть сданные нам карты, а интеллект — самая несправедливая из всех этих карт. Более несправедливая, чем богатство, здоровье или страна рождения; более несправедливая, чем ваш базовый уровень счастья. Людям трудно смириться с тем, что жизнь может быть настолько несправедливой; эта мысль не из приятных. «Интеллект не так важен, как X» — это способ отвернуться от несправедливости, отказаться признавать ее и вместо этого предаться более приятным мыслям. Это искушение как для тех, кому сдали плохие карты, так и для тех, кому достались хорошие. Точно так же, как преуменьшение важности денег — искушение и для бедных, и для богатых.

Но юный Элиезер был трансгуманистом. Раздавать очки IQ было куда сложнее, чем если бы я просто родился с лишними деньгами. Но это была решаемая проблема, на которую следовало взглянуть прямо и которую нужно было исправить. Даже если бы на это ушла вся моя жизнь. «Сильные существуют для того, чтобы служить слабым, — писал юный Элиезер, — и исполнить этот долг они могут, лишь сделав остальных столь же сильными». Меня раздражали рэндистские и ницшеанские мотивы в научной фантастике, и, как вы уже, наверное, поняли, у юного Элиезера была склонность заходить слишком далеко в противоположную сторону. Никто не существует только ради служения. Но я пытался, и я об этом не жалею. Если вы назовете это юношеской глупостью, то взрослая мудрость редко справляется лучше.

Каждому нужно было больше интеллекта. Включая меня — это я предусмотрительно подчеркивал. Мне и в мыслях не было провозглашать новый мировой порядок во главе с собой — так поступил бы шаблонный злодей из фантастики или, что еще хуже, типичный подросток, а я ни за что не позволил бы себе быть столь банальным. Нет, умнее нужно было стать всем. Мы все были в одной лодке: прекрасная, воодушевляющая мысль.

Элиезер 1995 начитался научной фантастики. У него была мораль, этика, и он видел наиболее очевидные ловушки. Никаких разглагольствований о Homo novis. Никакой черты между собой и другими. Никакой заумной философии, ставящей его на самую вершину. Это был слишком очевидный сценарий провала. Да, он очень предусмотрительно называл глупым и себя тоже и никогда не претендовал на моральное превосходство. Что ж, сейчас я смотрю на это примерно так же, хотя больше не устраиваю из своей этики столь драматичных представлений. (Или, точнее сказать, я стал строже относиться к моментам, когда позволяю себе погордиться собой.)

Я говорю все это, чтобы подчеркнуть: Элиезер 1995 не был настолько нелеп, чтобы потерпеть фиаско каким-то очевидным образом.

А затем Элиезер 1996 столкнулся с концепцией интеллектуального взрыва. Было ли это внезапным озарением? Вскочил ли я со стула с криком «Эвриско!»? Да нет. Я не был столь склонен к театральности. Просто оглядываясь назад, становилось кристально очевидно, что превосходящий человека интеллект изменит будущее куда более фундаментально, чем любая сугубо материальная наука. И я сразу понял, что именно этим я и буду заниматься всю оставшуюся жизнь — создавать интеллектуальный взрыв. Не нанотехнологиями, как я думал в одиннадцать лет; нанотехнологии были бы лишь инструментом, порожденным интеллектом. Да ведь интеллект оказался еще более могущественным, еще большим благословением, чем я думал ранее.

Была ли это счастливая спираль смерти? Как выяснилось позже, да: то есть это привело к принятию даже ложных счастливых убеждений об интеллекте. Пожалуй, черту можно провести там, где я начал верить, будто предел скорости света уж точно не станет преградой для сверхинтеллекта.

(Как же изменились с тех пор мои взгляды на интеллект... посмотрим: когда в наши дни я думаю о плохих картах, доставшихся людям, я в первую очередь думаю о смерти и старости. Каждый должен обладать тем или иным