Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Даже в 2002 году прежний Элиезер ещё не уверен, что план Элиезера 1997 года никоим образом не мог сработать. Всё могло получиться. Никогда ведь не знаешь наверняка, верно?

Но пришло время, когда всё это с треском рухнуло.

*

1. Джон Мур, «Убей и спаси» (Xlibris Corp, 2000).

299. Моё натуралистическое пробуждение.

В предыдущей серии Элиезер 2001 года ведёт арьергардные бои против истины. Он лишь постепенно меняет свои убеждения, неохотно допуская растущую вероятность иного сценария, но никогда не признавая прямо: «Раньше я ошибался». Он латает свои стратегии по мере того, как их ставят под сомнение, находя новые оправдания всё тому же плану, которому следовал прежде.

(О чём и сказано: «Берегись, как бы тебе не пришлось вести арьергардное отступление под натиском свидетельств, неохотно сдавая каждую пядь земли только под принуждением и чувствуя себя обманутым. Сдавайся истине как можно скорее. Делай это в тот самый миг, когда осознаешь, чему сопротивляешься; в тот самый миг, когда увидишь, с какой стороны дуют против тебя ветры свидетельств».)

Память тускнеет, и мне почти невыносимо оглядываться на те времена — нет, серьезно, я терпеть не могу читать свои старые тексты. Очевидцы тех событий меня уже как-то раз поправляли в моих воспоминаниях. И потому, хотя важные события я помню, я не совсем уверен, в каком порядке они происходили, не говоря уже о конкретном годе.

Но если бы мне пришлось выбирать момент, когда моя глупость дала трещину, я бы выбрал тот миг, когда впервые осознал во всей общности понятие процесса оптимизации. Именно тогда я впервые оглянулся назад и сказал: «Каким же глупцом я был».

До этого, в 2002 году, я немного писал об эволюционной психологии человеческого общего интеллекта — хотя в то время я думал, что пишу об ИИ. На тот момент мне казалось, что я выступаю против антропоморфного интеллекта, но я всё равно искал вдохновение в человеческом мозге. (Речь идёт о статье «Уровни организации в общем интеллекте» — главе, написанной по заказу для сборника Artificial General Intelligence,1 который в итоге вышел из печати в 2007 году.)

Итак, я размышлял (и писал) о том, как естественному отбору удалось «выплюнуть» человеческий интеллект; я видел дихотомию между ними — слепотой естественного отбора и способностью разумного предвидения заглядывать вперёд, моделированием ситуаций в уме в противовес проигрыванию сценариев в реальности, абстрактным мышлением в противовес конкретному. И всё же именно естественный отбор создал человеческий интеллект, так что наш мозг — пусть и не наши мысли — целиком несёт на себе отпечаток естественного отбора.

По сей день это кажется мне весьма потрясающим озарением, и потому меня просто бесит, когда люди сваливают в одну кучу естественный отбор и процессы, направляемые разумом, называя их «эволюционными». На самом деле они различаются почти во всём самым кардинальным образом — хотя у них и есть общие концепты, которыми их можно описать, такие как консеквенциализм и кроссдоменная универсальность.

Но тот факт, что Элиезер 2002 года мыслит категориями дихотомии между эволюцией и разумом, говорит о некоторой ограниченности его видения — это похоже на человека, который видит в политике лишь дихотомию консервативного и либерального взглядов, или на кого-то, кто делит все фрукты на яблоки и клубнику.

После того как черновик «Уровней организации» был опубликован в Сети, Эмиль Гиллиам заметил, что мой взгляд на ИИ подозрительно похож на мой взгляд на разум. Разумеется, Элиезер 2002 года не поддерживает идею создания ИИ по образу и подобию человеческого разума; Элиезер 2002 года прекрасно знает, что человеческий разум — это просто костыль, выплюнутый естественным отбором. Но Элиезер 2002 года описал эти уровни организации в человеческом мышлении и при этом не предложил использовать другие уровни организации для ИИ. Эмиль Гиллиам спрашивает, не кажется ли мне, что я слишком сильно придерживаюсь человеческого шаблона. Я называю альтернативу «Архитектурой абсолютно чуждого разума» (ААЧР) и отвечаю, что спроектировать ААЧР инженерам-людям, вероятно, не под силу, даже если теоретически это возможно, потому что мы не смогли бы понять нечто настолько чуждое в процессе его сборки.

Не знаю, придумал ли Элиезер 2002 года этот ответ сам или где-то вычитал. Излишне говорить, что с тех пор я слышал это оправдание множество раз. В действительности то, что вы понимаете по-настоящему, вы обычно можете пересобрать практически в любой форме, сохранив внутри некоторую структурную суть; но когда вы не понимаете принципов полёта, вы полагаете, что летательному аппарату необходимы перья, потому что не можете представить себе уход от аналогии с птицей.

Так что Элиезер 2002 года всё ещё, в некотором смысле, привязан к человекоподобным моделям разума — он думает над тем, как их улучшить, но человеческая архитектура для него всё ещё служит отправной точкой.

Что же в конце концов разрушает эту привязанность?

Должен сделать постыдное признание: всё началось с научно-фантастического рассказа, который я пытался написать. (Нет, я вам его не покажу, он не закончен.) В сюжете фигурировал некогнитивный неэволюционный процесс оптимизации, что-то вроде Насоса исходов. Не разум, а межвременной физический эффект — то есть я представлял его себе как физический эффект, — который жёстко ограничивал пространство возможных исходов. (Больше ничего рассказать не могу, иначе это будет спойлер, если я когда-нибудь закончу этот рассказ. Просто почитайте эссе о Насосах исходов.) Это была «всего лишь выдумка», поэтому я мог свободно играть с идеей и логически её развивать: событие C было вынуждено произойти, следовательно, событие B (в прошлом) было вынуждено произойти, следовательно, событие A (которое вело к B) было вынуждено произойти.

Проводить линию через одну точку обычно считается делом опасным. Две точки образуют дихотомию; вы представляете их противоположными друг другу. Но когда у вас есть три разные точки — вот тогда-то вы и вынуждены очнуться и начать обобщать.

Теперь у меня было три точки: человеческий разум, естественный отбор и мой вымышленный сюжетный прием.

И именно в этот момент я обобщил понятие процесса оптимизации — процесса, который сжимает будущее до узкой области возможного.

Это может показаться очевидным, если вы всё это время следили за Overcoming Bias; но если вы посмотрите на составленный Шейном Леггом список из 71 определения интеллекта, вы увидите, что