Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Вам может показаться поэтичным наделять одно слово множеством значений и тем самым распространять вокруг оттенки смыслов. Но даже поэты, если они хорошие поэты, должны учиться видеть мир предельно точно. Недостаточно сравнить любовь с цветком. Пылкая, ревнивая, неутоленная любовь — совсем не то же самое, что любовь супругов, проживших вместе десятки лет. Если вам нужен цветок, который символизировал бы ревнивую любовь, вам придется пойти в сад, всмотреться и уловить тонкие различия — найти цветок с пьянящим ароматом, ярким цветом и шипами. Даже если ваша цель — играть оттенками значений и навевать коннотации, вы должны предельно точно отслеживать, какими именно значениями вы играете и какие коннотации создаете.

Неотъемлемая часть искусства рационалиста — или даже искусства поэта! — состоит в том, чтобы сузить фокус внимания на необычных камешках, обладающих неким особым свойством. И всматриваться в те детали, которые объединяют эти камешки — и только эти камешки! В этом нет греха.

Для современных биологов-эволюционистов совершенно нормально объяснять только закономерности живых организмов, а не «эволюцию» звезд или «эволюцию» технологий. Увы, некоторые несчастные души используют одно и то же слово «эволюция», чтобы охватить и сформированные естественным отбором паттерны размножающейся жизни, и сугубо случайную структуру звезд, и разумно спроектированную структуру технологий. И, как всем нам известно, если люди используют одно и то же слово, то за ним должно стоять одно и то же явление. Мы должны автоматически переносить на технологии всё, что, как нам кажется, мы знаем о биологической эволюции. Каждый, кто утверждает обратное, должно быть, просто мелочный педант. Не может же быть, чтобы наше невежество в современной эволюционной теории было настолько полным, что мы не способны отличить карбюратор от радиатора. Это немыслимо. Нет, тот другой — ну, знаете, тот, который изучал математику, — просто слишком глуп, чтобы увидеть эти связи.

И что может быть добродетельнее, чем умение видеть связи? Безусловно, мудрейшие из людей — это гуру нью-эйджа, которые вещают: «Всё связано со всем». Если вы когда-нибудь произнесете это вслух, вам следует сделать паузу, чтобы все присутствующие успели пережить глубокое потрясение от этой Глубокой Мудрости.

Между графом и его дополнением существует тривиальное отображение. Полносвязный граф, в котором ребро соединяет каждую пару вершин, несет ровно столько же информации, сколько граф вообще без ребер. По-настоящему важны те графы, в которых одни вещи не связаны с другими.

Когда непросвещенные умы пытаются казаться глубокомысленными, они проводят бесконечные словесные сравнения между этой темой и той, которая похожа на эту, которая похожа на ту; пока их граф не станет полносвязным и вместе с тем абсолютно бесполезным. Лекарство от этого — конкретные знания и глубокое изучение. Когда вы понимаете вещи в деталях, вы видите, в чем они не похожи, и начинаете с энтузиазмом убирать ребра из своего графа.

Точно так же и важные категории — это те, которые не включают в себя всё во Вселенной. Хорошие гипотезы способны объяснить лишь некоторые возможные исходы, но не все остальные.

Для Исаака Ньютона было совершенно нормально объяснить только гравитацию, только то, как падают предметы (а также то, как планеты вращаются вокруг Солнца и как Луна вызывает приливы), но не роль денег в человеческом обществе или то, как сердце качает кровь. Насмешки над узостью очень напоминают отношение древних греков, которые считали, что выйти наружу и действительно посмотреть на вещи — это физический труд, а физический труд — удел рабов.

Как писал Платон в седьмой книге «Государства»:1

«Если кто-нибудь, запрокинув голову, пытается узнать что-то, разглядывая узоры на потолке, ты, по-видимому, сочтешь, что он созерцает это своим разумом, тогда как он всего лишь смотрит глазами... Я же убежден, что душу заставляет смотреть ввысь лишь то учение, которое обращено к подлинному бытию и невидимому. Пытается ли человек узнать что-то о чувственных вещах, разинув рот и глядя вверх или сомкнув губы и глядя вниз, я утверждаю, что он никогда ничего не узнает, ибо подобные вещи недоступны знанию; я говорю, что душа его смотрит вниз, а не вверх, даже если он лежит навзничь на земле или плывет на спине по морю!»

Многие сегодня совершают аналогичную ошибку, полагая, что узкие понятия столь же низменны, невозвышенны и нефилософны, как, скажем, привычка выходить наружу и разглядывать вещи — занятие, которое является уделом лишь низших классов. Но рационалистам — как и поэтам — нужны узкие слова, чтобы выражать точные мысли; им нужны категории, которые включают лишь некоторые вещи и исключают другие. Нет ничего плохого в том, чтобы фокусировать свой разум, сужать категории, исключать возможности и заострять свои суждения. Правда, в этом нет ничего плохого! Если сделать слова слишком широкими, в итоге получится нечто, что не будет ни правдой, ни даже хорошей поэзией.

И даже не заговаривайте со мной о людях, которые считают Википедию «искусственным интеллектом», изобретение ЛСД — «Сингулярностью», а корпорации — «сверхразумными»!

*

1. Платон, Great Dialogues of Plato, под ред. Эрика Х. Уормингтона и Филипа Дж. Рауса (Signet Classic, 1999).

96. Как казаться (и быть) глубоким.

Недавно я ходил на встречу дискуссионного клуба, темой которой в тот раз была Смерть. Она вызвала глубокие эмоции. Пожалуй, из всех ланчей в Кремниевой долине, на которых я бывал, этот был самым искренним: люди говорили о смерти близких, о смерти друзей, о том, что они думают о собственной смерти. Люди действительно слушали друг друга. Мне бы хотелось знать, как надежно воспроизводить подобные условия.

Я был единственным трансгуманистом среди присутствующих и вел себя крайне осторожно, чтобы не раздражать окружающих. («Фанатик — это тот, кто не может изменить свои взгляды и не хочет менять тему». Я стараюсь по крайней мере быть способным сменить тему.) Как и следовало ожидать, люди говорили о смысле, который смерть придает жизни, или о том, что смерть — это на самом деле благословение, пусть и скрытое. Но я всё же очень осторожно объяснил, что трансгуманисты в целом относятся к жизни положительно, а смерти ставят «палец вниз».

После встречи несколько человек подошли ко мне и сказали, что я мыслю очень «глубоко». Что ж, да, так и есть, но это заставило меня задуматься о том, почему люди кажутся глубокими.

В какой-то момент обсуждения одна женщина сказала, что мысли о смерти заставляют её быть добрее к людям, ведь кто