Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

и крайне неохотно учился водить, учитывая, насколько небезопасными выглядели эти несущиеся груды металла. Но для меня существовало нечто более важное, чем собственная жизнь: Будущее. И я вел себя так, словно бессмертно оно. Отдельные жизни могли оборваться, но только не Будущее.

И когда я заметил, что нанотехнологии действительно станут угрозой вымирания?

Молодой Элиезер совершенно отчетливо подумал: «Боже мой, как я ухитрился не заметить то, что должно было быть очевидным? Должно быть, я был слишком эмоционально привязан к благам, которых ожидал от этой технологии; должно быть, я просто отпрянул от мысли о вымирании человечества».

И затем...

Я не скомандовал себе: «Остановиться, расплавиться и сгореть». Я не стал пересматривать все выводы, к которым пришел со своим прежним настроем. Я просто умудрился как-то встроить это в свое мировоззрение с минимальным каскадом последующих изменений. Старые идеи и планы пошатнулись, но мой разум нашел доводы в пользу того, чтобы их сохранить. Системного сбоя, к сожалению, не произошло.

Что примечательно, я решил, что нам нужно на всех парах двигаться к ИИ, чтобы создать его раньше нанотехнологий. Точно так же, как я изначально и планировал, но теперь — по совершенно иной причине.

Пожалуй, большинство людей именно так и устроены, верно? Традиционной рациональности оказалось недостаточно, чтобы это изменить.

Но все же пришло время, когда я полностью осознал свою ошибку. Просто для этого потребовался более чувствительный пинок по голове.

*

295. Виртуоз опровержений.

В моём эссе «Детская спираль смерти» описывалась ту движущую силу, которая привела меня к ошибке, — аффективную спираль смерти вокруг понятия, которое Элиезер1996 называл «интеллектом». Кроме того, я был технофилом с заранее привитой аллергией на страх перед будущим. А ещё я читал много научной фантастики, построенной на этике личности, где страх перед Чужим выставляет человечество в целом в роли злодеев, плохо обращающихся с инопланетянами или разумными ИИ только потому, что те «не люди».

Это часть этического кодекса, который вы перенимаете из научной фантастики, — определять свою ингруппу, своё племя, достаточно широко. Отсюда и мой адрес электронной почты: sentience@pobox.com.

Итак, Элиезер1996 вознамерился создать сверхинтеллект во благо человечества и всей разумной жизни.

Поначалу, мне кажется, вопрос о том, будет ли сверхинтеллект (или сможет ли он быть) добрым или злым, даже не возникал у меня как отдельная тема для обсуждения. Просто стандартная интуиция: «Разумеется, никакой сверхразум не будет настолько глуп, чтобы превратить галактику в канцелярские скрепки; разумеется, обладая таким интеллектом, он будет знать, что правильно, гораздо лучше, чем мог бы знать человек».

Пока я не представился и не описал свои поиски в трансгуманистической рассылке, получив в ответ замечания примерно следующего содержания (по памяти):

Мораль произвольна: если вы говорите, что что-то хорошо или плохо, вы не можете быть в этом правы или неправы. Сверхинтеллект сформирует свою собственную мораль.

Все в конечном счёте преследуют свои собственные интересы. Сверхинтеллект не будет исключением; он просто захватит все ресурсы.

Лично я человек, поэтому я за людей, а не за искусственный интеллект. Я не считаю, что нам нужно разрабатывать эту технологию. Вместо этого нам следует сначала разработать технологию загрузки человеческого сознания.

Никто не должен разрабатывать ИИ без системы контроля, которая следила бы за ним и гарантировала, что он не сможет сделать ничего плохого.

Ну, всё это очевидно неверно, думает Элиезер1996 и принимается разносить аргументы оппонентов в пух и прах. (По большей части я уже проделал это в других эссе, а всё оставшееся предлагается читателю в качестве самостоятельного упражнения.)

Не то чтобы Элиезер1996 рассуждал буквально так: «Самый глупый человек в мире говорит, что светит солнце, следовательно, на улице темно». Но Элиезер1996 был традиционным рационалистом; ему привили метафору науки как честной борьбы между сторонами, занимающими разные позиции, — борьбы, очищенной от грубого насилия и прочих проявлений политической силы, где в идеале побеждает сторона с лучшими аргументами.

Проще указать на ошибку в чужих рассуждениях, чем самому разобраться, как всё устроено на самом деле, а Элиезер1996 был очень искусен в поиске изъянов. (Как и я. Не то чтобы вы могли нейтрализовать опасность этой способности, просто решив не обращать внимания на изъяны.) С точки зрения Элиезера1996, его сторона побеждала в споре — он строил более сильные аргументы, чем его оппоненты, — так зачем же ему было менять сторону?

Ибо сказано: «Поскольку в этом мире полным-полно тех, чьё понимание рациональности ничтожно мало, начинающие её изучать легко выигрывают споры и приобретают преувеличенное представление о собственных способностях. Но быть лучше других бесполезно: жизнь не оценивают по относительной шкале. Лучший физик Древней Греции не смог бы рассчитать траекторию падающего яблока. Нет никакой гарантии, что даже ваши максимальные усилия позволят вам достичь адекватности; а потому не думайте о том, что у кого-то дела идут ещё хуже».

Вы не можете рассчитывать, что кто-то другой разубедит вас в ваших ошибках; вы не можете рассчитывать, что кто-то другой вас спасёт; вы и только вы обязаны искать изъяны в собственных позициях; если вы сбросите это бремя, не ждите, что кто-то другой его подберёт. И мне интересно, не окажется ли этот совет бесполезным для большинства людей до тех пор, пока они лично не отстрелят себе ногу, всё это время совершенно справедливо говоря себе: «Очевидно же, что в этом споре побеждаю я».

Сегодня я стараюсь ни одного человека не считать своим оппонентом. Это ведёт лишь к излишней самоуверенности. Мой настоящий соперник — Природа, которая не подгоняет Свои задачи под ваши умения, не обязана давать вам честный шанс на победу в награду за усердные старания и которой всё равно, лучший ли вы из когда-либо живших, если вы недостаточно хороши.

Но вернёмся в 1996 год. Элиезер1996 руководствуется базовой интуицией «Разумеется, сверхинтеллект будет знать лучше нас, что правильно», и мимоходом разбивает различные аргументы, выдвигаемые против его позиции. Видите ли, в этом он был весьма искусен. У него даже была собственная философия, объясняющая, почему разумно искать во всём изъяны, и всё такое.

Я не хочу сказать это в оправдание — мол, никто из споривших с Элиезером1996 на самом деле не преподнёс ему растворение этой загадки: полную редукцию морали, анализирующую все когнитивные процессы, которые ведут споры о «морали», и пошаговый разбор алгоритмов, заставляющих его воспринимать мораль как факт. Считайте это скорее обвинением, показателем