Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

подразумевает, будто все ИИ образуют естественный класс. Люди действительно образуют естественный класс, потому что у нас у всех одинаковая архитектура мозга. Но когда вы говорите «искусственный интеллект», вы имеете в виду неизмеримо большее пространство возможностей, чем когда говорите «человек». Когда люди рассуждают об «ИИ», на самом деле речь идет о разумах вообще или о процессах оптимизации вообще. Иметь отдельное слово для «ИИ» — это всё равно что иметь слово для обозначения всего, что не является уткой.

Представьте себе карту пространства проектирования разумов . . . это одна из моих стандартных схем . . .

Все люди, конечно, укладываются в крошечную точку — как вид с половым размножением, мы не можем слишком сильно отличаться друг от друга.

Эта крошечная точка принадлежит более широкому эллипсу — пространству проектирования трансчеловеческих разумов: сущностей, которые могут быть умнее нас или гораздо умнее нас, но в каком-то смысле всё ещё останутся людьми в нашем понимании.

Этот трансчеловеческий эллипс находится внутри ещё более обширного объёма — пространства постчеловеческих разумов, то есть всего, во что может вырасти трансчеловек.

И, наконец, вся остальная часть сферы — это пространство разумов вообще, включая возможные искусственные интеллекты, настолько странные, что они даже не постчеловечны.

Но постойте: естественный отбор проектирует сложные артефакты и выбирает из сложных стратегий. Так где же на этой карте естественный отбор?

Так что вся эта карта на самом деле парит в ещё более колоссальном пространстве — пространстве процессов оптимизации. В самом низу этого огромного пространства, даже ниже людей, находится естественный отбор в том виде, в каком он когда-то зародился в каком-нибудь приливном водоёме: мутируй, реплицируйся и иногда погибай, никакого секса.

Существуют ли мощные процессы оптимизации, сравнимые по силе с человеческой цивилизацией или даже с самосовершенствующимся ИИ, которые мы не признали бы разумом? Пожалуй, AIXI Маркуса Хуттера должен войти в эту категорию: для разума бесконечной силы он ужасно глуп — бедняга не способен даже узнать себя в зеркале. Но это тема для другого разговора.

Мой главный вывод — не поддаваться искушению делать обобщения обо всём пространстве проектирования разумов.

Если мы сосредоточимся на ограниченном подпространстве пространства проектирования разумов, содержащем все те разумы, структуру которых можно описать триллионом бит или меньше, то у любого вашего универсального обобщения будет два в триллионной степени шансов оказаться опровергнутым.

И наоборот, у каждого экзистенциального обобщения — «существует по крайней мере один разум, такой что X» — есть два в триллионной степени шансов оказаться истинным.

Поэтому не стоит поддаваться искушению утверждать, будто все разумы делают нечто или ни один разум этого не делает.

Главная причина, по которой вы можете поймать себя на мысли, будто знаете, что будет (или не будет) делать абстрактный разум вообще, заключается в том, что вы ставите себя на его место — воображаете, как поступили бы на месте этого разума, — и получаете в корне неверный, антропоморфный ответ. (Хотя этот ответ верен по крайней мере в одном случае, поскольку вы сами служите тому примером.) Или если вы представляете, как разум делает нечто, а затем воображаете причины, по которым вы не стали бы этого делать, — и на этом основании решаете, что разума подобного типа существовать не может, что призрак в машине изучит соответствующий исходный код и завернёт его.

Где-то в пространстве проектирования разумов существует по крайней мере один разум практически с любым логически непротиворечивым свойством, какое вы только можете вообразить.

И это важно, потому что подчеркивает необходимость обсуждать, что именно закономерно происходит и почему как следствие конкретного внутреннего устройства разума; где-то в пространстве проектирования разумов обязательно найдется разум, который устроен иначе.

Конечно, вы всегда можете сказать, что всё, что работает не так, как у вас, «по определению» не является разумом — ведь это же очевидно глупо. Такую уловку я тоже встречал.

*

Часть V. Теория ценности.

264. Где рекурсивное обоснование упирается в дно. Почему я верю, что завтра взойдет Солнце? Потому что я видел, как Солнце всходило тысячи дней до этого. Ах... но почему я верю, что будущее будет похоже на прошлое?

Даже если я выйду за рамки простого поверхностного наблюдения за восходом Солнца и обращусь к кажущимся универсальными и не знающими исключений законам гравитации и ядерной физики, я все равно останусь перед вопросом: «Почему я верю, что это будет верно и завтра?»

Я мог бы апеллировать к Бритве Оккама — принципу выбора простейшей теории, которая согласуется с фактами... но почему стоит верить в Бритву Оккама? Потому что она успешно работала для прошлых задач? Но кто сказал, что из этого следует, будто Бритва Оккама сработает и завтра?

И вот, некто говорит:

Наука тоже опирается на необоснованные допущения. Следовательно, в конечном счете наука основана на вере, так что не надо меня критиковать за веру в [глупое-верование-№238721].

Как я уже отмечал ранее:

Это прелюбопытная психология — все эти заявления типа «Наука тоже основана на вере, так-то!» Обычно так говорят люди, утверждающие, что вера — это хорошо. Почему же тогда они произносят «Наука тоже основана на вере!» этим злорадно-торжествующим тоном, а не в качестве комплимента?

Доказывать, что вы должны обладать иммунитетом к критике, — вряд ли хороший знак.

Но это не разрешает вполне законную философскую дилемму: если любое убеждение должно быть обосновано, а эти обоснования, в свою очередь, тоже требуют обоснований, то как прерывается эта бесконечная рекурсия?

А если позволено остановиться на чем-то, что принято без обоснования, то почему нельзя без обоснования принять все что угодно?

Подобную критику иногда направляют и против байесианства — мол, оно требует допущения некоего приора (априорного распределения вероятностей) — люди, которые, по всей видимости, думают, будто проблема индукции — это специфическая проблема байесианства, которой можно избежать с помощью классической статистики.

Но для начала давайте честно признаем, что правила байесовского обновления сами по себе не решают проблему индукции.

Представьте, что вы вытаскиваете красные и белые шары из урны. Вы заметили, что среди первых 9 вытянутых шаров оказалось 3 красных и 6 белых. Какова вероятность того, что следующий вынутый шар окажется красным?

Это зависит от ваших априорных убеждений относительно урны. Если вы полагаете, что создатель урны сгенерировал