Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

«теоретический предел объёма информации, которую можно извлечь из сенсорных данных», находится гораздо выше того, что я обрисовал как триумф цивилизации физиков и криптографов.

Это уж точно не похоже на человека, который смотрит на падающее яблоко и думает: «Гы-ы, интересно, почему это произошло?»

Люди, похоже, совершают мысленный скачок от «Это „ограничено“» к «Значит, предел должен быть вполне умеренной величиной в привычных мне масштабах». Выделяемая сверхновой энергия тоже «ограничена», но я бы не советовал пытаться защититься от неё огнеупорным комбинезоном из номекса.

Никто — даже байесовский сверхинтеллект — никогда и близко не подойдёт к эффективному использованию своей сенсорной информации . . .

. . . вот что мне хотелось бы сказать, но я не слишком доверяю своей способности устанавливать границы возможностям байесовских сверхинтеллектов.

(Хотя я бы поставил на это деньги, будь у нас способ рассудить этот спор. Но только не со слишком экстремальными коэффициентами.)

История продолжается:

Тысячелетия спустя, кадр за кадром, становится ясно, что некоторые объекты на изображении вытягивают щупальца, чтобы передвигать другие объекты, и тщательно складывают другие щупальца, чтобы делать определённые знаки. Они пытаются научить нас говорить слово «камень».

Похоже, отправители сообщения сильно недооценили наш интеллект. Из чего можно предположить, что сами пришельцы не так уж и умны. И эти неуклюжие дети способны менять светимость наших звёзд? Столь огромная мощь в сочетании с такой глупостью кажется опасным сочетанием.

Наши эволюционные психологи начинают экстраполировать возможные пути эволюции, которые могли бы породить таких пришельцев. Приводятся веские аргументы в пользу того, что они эволюционировали бесполым путём, с эпизодическим обменом генетическим материалом и содержимым мозга; это кажется наиболее правдоподобным путём, благодаря которому столь глупые существа всё же ухитрились построить технологическую цивилизацию. Их Эйнштейны могут быть нашими студентами-младшекурсниками, но они всё же могли собрать достаточно научных данных, чтобы в конце концов справиться с задачей — возможно, за десятки своих тысячелетий.

Реконструированная физика вселенной размера 3+2 на данный момент известна не полностью, но она почти наверняка допускает существование компьютеров, гораздо более мощных, чем наши квантовые. Мы с достаточной уверенностью предполагаем, что наша собственная вселенная запущена как симуляция на таком компьютере. Человечество решает не искать баги в симуляции — нам бы не хотелось случайно отключить самих себя.

Наши эволюционные психологи начинают строить догадки о психологии пришельцев и планировать, как убедить их выпустить нас из коробки. В абсолютном смысле это несложно — они не блещут умом, — но нам нужно быть предельно осторожными . . .

Нам тоже придётся притворяться глупыми; мы не хотим, чтобы они поняли свою ошибку.

Но проходит целый миллион лет, прежде чем у них наконец доходят руки рассказать нам, как отправить ответный сигнал.

К этому моменту бо́льшая часть человечества находится в состоянии криоконсервации при температурах жидкого гелия под радиационной защитой. Каждый раз, когда мы пытаемся создать ИИ или нанотехнологическое устройство, оно расплавляется. Поэтому человечество ждёт и спит. Землёй управляет дежурная группа из девяти супергениев. Клоны, о которых известно, что они отлично ладят друг с другом, под надзором некоторых предохранительных компьютерных систем.

Ещё сто миллионов людей успевают родиться в этой дежурной группе, состариться и отправиться в криогенный сон, прежде чем получат возможность медленно приступить к реализации планов, составленных целые эпохи назад . . .

С точки зрения пришельцев, у нас ушло тридцать их условных минут на то, чтобы с невиннейшим видом изучить их психологию и с величайшей осторожностью убедить их дать нам доступ в Интернет; затем последовало пять минут на то, чтобы так же невинно выяснить их сетевые протоколы, а после — совершить тривиальный взлом, единственной сложностью которого была невинно выглядящая маскировка. Мы прочитали крошечную горстку научных статей по физике (медленно, бит за битом) из их аналога arXiv, узнав из их экспериментов гораздо больше, чем смогли узнать они сами. (В том поколении дежурная группа Земли породила дополнительные двадцать Эйнштейнов.)

Затем, примерно за век, мы решили их аналог проблемы фолдинга белка и занялись симуляционным конструированием в рамках их симулированной физики. Мы отправляли сообщения (закодированные стеганографически, пока наши взломанные серверы не декодировали их) в лаборатории, которые занимались их аналогом секвенирования ДНК и синтеза белка. Мы нашли какого-то ничего не подозревающего простака, скормили ему правдоподобную историю, выдали эквивалент миллиона долларов во взломанных компьютерных «игрушечных» деньгах и велели смешать содержимое нескольких пробирок, полученных по почте. Аналоги белков самособирались в наномашины первой ступени, те строили наномашины второй ступени, те — третьей . . . и вот тогда мы, наконец, смогли начать действовать с нормальной скоростью.

В общей сложности три их дня с тех пор, как они начали говорить с нами. Полмиллиарда лет для нас.

Они ни о чём так и не заподозрили. Видите ли, они были не слишком умны, даже если не принимать во внимание их замедленный темп времени. Их примитивные аналоги рационалистов то и дело повторяли что-то вроде: «Существует предел того, сколько информации можно извлечь из сенсорных данных». И они так до конца и не осознали, что это значит на самом деле — то, что мы умнее их и думаем быстрее.

*

254. Мой детский кумир.

Когда я читаю лекции о взрыве интеллекта, я часто рисую график «шкалы интеллекта», какой она представляется в повседневной жизни:

Но это весьма местечковый взгляд на интеллект. Конечно, в повседневной жизни в социальном плане мы имеем дело только с другими людьми — только другие люди являются партнерами в этой великой игре, — и поэтому мы лишь соприкасаемся с разумом в диапазоне от деревенского дурачка до Эйнштейна. Но чтобы рассуждать об искусственном интеллекте или теоретических оптимумах рациональности, нам на самом деле нужна вот такая шкала интеллекта:

Нам, людям, кажется, что шкала интеллекта простирается от «деревенского дурачка» внизу до «Эйнштейна» вверху. И все же расстояние от «деревенского дурачка» до «Эйнштейна» ничтожно мало в пространстве архитектур мозга. У Эйнштейна и у деревенского дурачка есть префронтальная кора, гиппокамп, мозжечок...

Возможно, у Эйнштейна есть какие-то незначительные генетические отличия от деревенского дурачка — этакая тонкая настройка мотора. Но расстояние в устройстве мозга между Эйнштейном и деревенским дурачком даже близко не похоже на расстояние в устройстве мозга между деревенским дурачком и шимпанзе. Шимпанзе не увидит разницы между Эйнштейном