Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

четырьмя пространственными измерениями вместо трех, но вы не сможете перенастроить свою зрительную кору так, чтобы видеть мир его глазами. Я могу попытаться написать рассказ об инопланетянах с другими эмоциями, но вы не сможете почувствовать эти эмоции, да и я тоже не смогу.

Представьте себе инопланетянина, который смотрит видео с братьями Маркс и совершенно не понимает, что происходит и зачем вообще добровольно стремиться к подобному чувственному опыту, ведь этот пришелец никогда не помышлял ни о чем, хотя бы отдаленно напоминающем чувство юмора. Не жалейте его из-за этого упущения: вы ведь тоже никогда не энтлили.

Вы можете спросить: «Может быть, у инопланетян есть чувство юмора, просто вы шутите недостаточно смешно?» Это примерно то же самое, что пытаться говорить по-английски очень громко и очень медленно в чужой стране, исходя из теории, будто внутри этих иностранцев сидит некий призрак, способный расслышать смысл, сочащийся из ваших слов, присущий самим вашим словам, — нужно лишь произносить их достаточно громко, чтобы преодолеть любой странный барьер, стоящий на пути вашего абсолютно понятного английского.

Важно понимать, что смех может быть прекрасным и ценным явлением, даже если он не является универсализуемым, даже если им обладают не все возможные разумы. Он станет нашей собственной, особой частью того дара, который мы принесем будущему. Это тоже кое-чего стоит.

И лучше бы так оно и было, потому что универсализуемость — это то метаэтическое понятие, которое я не смогу для вас спасти. Универсализуемость среди людей — возможно; но не среди всех возможных разумов.

А как быть с разумами, которые работают не на такой эмоциональной архитектуре, как ваша, — у которых нет ничего аналогичного эмоциям? Нет, не утруждайте себя объяснениями, почему любой разум, достаточно мощный, чтобы создавать сложные машины, неизбежно должен обладать состояниями, аналогичными эмоциям. Естественный отбор создает сложные машины, сам не испытывая никаких эмоций. Вот вам и настоящий Чужой — процесс оптимизации, который действительно работает совсем не так, как вы.

Значительная часть прогресса в биологии с 1960-х годов заключалась в попытках ввести мораторий на антропоморфизацию эволюции. Это была крупная академическая потасовка, и я не уверен, что здравый смысл победил бы, если бы не сокрушительные экспериментальные доказательства, подкрепленные четкой математикой. Отучить людей ставить себя на место инопланетян — это долгая, тяжелая борьба. Я веду эту битву в сфере ИИ уже много лет.

Наш антропоморфизм сидит в нас очень глубоко; его нельзя вытравить простым волевым решением, решимостью сказать себе: «Ну всё, теперь я перестаю мыслить как человек!» Человеческая природа — это воздух, которым мы дышим; это наш базовый шаблон, чистый лист, на котором мы делаем свои наброски. И мы не думаем о себе как о людях, когда мы ведем себя как люди.

В литературной научной фантастике давно стало аксиомой, что настоящее испытание для автора — это его способность описывать Настоящих Чужих. (И не просто удобно-непостижимых пришельцев, которые по собственным загадочным причинам делают именно то, что требуется по сюжету.) Джек Вэнс был одним из великих мастеров этого искусства. Люди у Вэнса, если они принадлежат к другой культуре, кажутся более чуждыми, чем большинство «инопланетян». (Никогда не читали Вэнса? Я бы рекомендовал начать с «Города Чаш».) Роман Нивена и Пурнелла «Мошка в зенице Господней» также традиционно упоминается в этом ряду.

И наоборот — что ж, я как-то читал у одного писателя-фантаста (кажется, у Орсона Скотта Карда), что абсолютным дном телевизионной фантастики была серия «Звездного пути», где параллельная эволюция зашла так далеко, что породила инопланетян, которые мало того что выглядят в точности как люди и говорят по-английски, так еще и независимо от нас слово в слово написали преамбулу к Конституции США.

Это и есть Великий Провал Воображения. Не думайте, что речь идет только о научной фантастике или только об ИИ. Неспособность вообразить чужака — это неспособность увидеть себя, неспособность понять собственную уникальность. Ведь кто разглядит человека, замаскированного на человеческом фоне?

*

145. Оптимизация и интеллектуальный взрыв.

Среди тем, в которые я здесь не углублялся, есть понятие процесса оптимизации. Грубо говоря, это идея о том, что ваша сила как разума заключается в вашей способности попадать в малые цели в большом пространстве поиска — будь то пространство возможных вариантов будущего (планирование) или пространство возможных конструкций (изобретательство).

Представьте, что у вас есть машина, и предположим, мы уже знаем, что ваши предпочтения включают в себя путешествия. Теперь представьте, что вы берете все детали машины или все её атомы и случайным образом их перемешиваете. Весьма маловероятно, что у вас получится хоть какое-то устройство для путешествий, хотя бы даже колесная тележка, не говоря уже об устройстве, которое занимало бы столь же высокое место в вашей иерархии предпочтений, как и исходный автомобиль. Таким образом, относительно вашего упорядочения предпочтений автомобиль является чрезвычайно маловероятным артефактом. Сила процесса оптимизации заключается в том, что он способен порождать подобную маловероятность.

И разум, и естественный отбор можно рассматривать как частные случаи оптимизации: процессов, которые попадают в очень малые цели, заданные неявными предпочтениями, в большом пространстве поиска. Естественный отбор предпочитает более эффективные репликаторы. Человеческий разум обладает более сложными предпочтениями. Ни эволюция, ни люди не имеют последовательных функций полезности, поэтому рассмотрение их как «процессов оптимизации» считается приближением. Вы пытаетесь уловить характер выполняемой работы, а не утверждаете, что люди или эволюция выполняют её идеально.

Именно так я вижу историю жизни и разума — как историю создания невероятно хороших конструкций процессами оптимизации. «Невероятность» здесь — это маловероятность относительно случайного выбора из пространства вариантов дизайна, а не маловероятность в абсолютном смысле: если у вас есть работающий процесс оптимизации, то «невероятно» хорошие конструкции становятся вероятными.

Взирая на историю оптимизации на Земле вплоть до сегодняшнего дня, первым шагом будет концептуальное разделение метауровня и объектного уровня — отделение структуры оптимизации от того, что оптимизируется.

Если рассматривать биологию в отсутствие гоминидов, то на объектном уровне мы имеем таких существ, как динозавры, бабочки и кошки. На метауровне мы имеем такие процессы, как половая рекомбинация и естественный отбор бесполых популяций. Объектный уровень, как вы можете заметить, гораздо сложнее метауровня. Естественный отбор — не простая тема, и в ней задействована математика. Но если вы посмотрите на анатомию кошки целиком, то увидите, что динамика кошки неизмеримо сложнее, чем «мутируй, рекомбинируй, размножайся».

И это неудивительно. Естественный отбор — это случайный процесс