Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

«рациональность» защитит вас не больше, чем вывеска над домом с надписью «Холод!». Вам всё равно придется включать кондиционер — расходовать необходимое количество энергии в единицу времени, чтобы обратить вспять естественное скатывание к культовости. Поклонение рациональности не сделает вас здравомыслящим, точно так же как поклонение гравитации не научит вас летать. Вы не можете разговаривать с термодинамикой и не можете молиться теории вероятностей. Вы можете использовать их, но не можете вступить в них, как в ингруппу.

Культовость — это количественная характеристика, а не качественная. Вопрос не в том, «культ — да или нет?», а в том, «сколько в этом культовости и где?». Даже в Науке, которая являет собой архетип Истинно и По-настоящему Благородного Дела, мы можем без труда указать на текущие рубежи войны с энтропией культа, где линия фронта то наступает, то отступает. С большей ли вероятностью журналы примут статью за авторством известного ученого или неизвестного автора из известного института по сравнению с неизвестным автором из неизвестного института? Какая часть убежденности держится на авторитете, а какая — на эксперименте? Какие журналы используют «слепое» рецензирование и насколько оно эффективно?

Я привожу этот пример вместо стандартных туманных обвинений в духе «ученые закрыты для новых идей», потому что он наглядно показывает линию фронта — место, где человеческую психологию активно теснят, где накопленная энтропия культа выкачивается наружу. (Разумеется, это требует выделения некоторого количества побочного тепла.)

Это эссе — не каталог методов активного противодействия культовости. О некоторых таких методах я уже рассказывал раньше, о других расскажу позже. Здесь я лишь хочу указать на то, что благородство Дела не означает, что вы можете прилагать хотя бы на йоту меньше усилий для сопротивления аттрактору культа. И если вы можете указать на существующие линии фронта, это не значит, что вы признаете свое Благородное Дело недостойным. Вы можете подумать, что если бы вопрос стоял «Культ, да или нет?», вы были бы обязаны ответить «Нет», иначе вы предали бы свое любимое Дело. Но это всё равно что делить двигатели на «со стопроцентным КПД» и «неэффективные» вместо того, чтобы измерять потери.

Напротив, если вы верите, что именно врожденная порочность тех Других Глупых Дел сбила их с пути, если вы смеетесь над глупостью «жертв сект», если вы думаете, что культы возглавляют и населяют мутанты, то вы не станете прилагать необходимых усилий для борьбы с энтропией — для того, чтобы сопротивляться тому, чтобы быть просто человеком.

*

113. Хранители истины.

В адрес рационалистов порой звучит критика: «Инквизиция ведь тоже думала, что она обладает истиной! Очевидно, что вся эта история с «истиной» опасна».

На это есть множество очевидных ответов, например: «Если вы думаете, что обладание истиной давало бы вам право пытать и убивать, вы совершаете ошибку, которая не имеет никакого отношения к эпистемологии». Или: «Кстати, то историческое утверждение об инквизиции, которое вы только что сделали, — оно-то истинно?»

Обратная глупость — это не ум: «Если ваш компьютер перестал работать, нельзя сделать вывод, будто вся система в корне неверна и вам нужен новый компьютер без процессора AMD и видеокарты ATI... пусть даже в вашей нынешней неработающей системе всё это есть. Возможно, вам просто нужен новый кабель питания». Чтобы прийти к неверному выводу, достаточно сделать лишь один неверный шаг, а вовсе не ошибаться на каждом шагу. Инквизиторы верили, что 2 + 2 = 4, но не это было источником их безумия. Может быть, и эпистемологический реализм тут ни при чём?

Звучит правдоподобно, что если бы инквизиция состояла из релятивистов, заявляющих, что ничто не истинно и ничто не имеет значения, у них было бы поменьше энтузиазма для пыток. Но у них было бы меньше энтузиазма и после лоботомии. Думаю, это вполне справедливая аналогия.

И всё же... я полагаю, что отношение инквизиции к истине сыграло свою роль. Инквизиция верила, что истина существует и что она важна; что ж, Ричард Фейнман верил в то же самое. Но инквизиторы не были Искателями Истины. Они были её Хранителями.

Однажды я наткнулся на довод (источник уже не найду), что ключевым компонентом духа времени является то, где он помещает свои идеалы: в будущем или в прошлом. Почти все культуры до эпохи Просвещения верили в грехопадение — в то, что когда-то в далёком прошлом всё было идеально, но затем случилась катастрофа, и с тех пор мир медленно катится по наклонной:

В те времена, когда жизнь на Земле была полна... Люди любили друг друга и не знали, что это называется «любовью к ближнему». Они никого не обманывали и не знали, что они «люди, достойные доверия». Они были надежны и не знали, что это «честность». Они жили свободно, делясь друг с другом, и не знали, что они «щедры». По этой причине деяния их не были описаны. Они не оставили истории.

— «Путь Чжуан-цзы», пер. Томаса Мертона1

Идеального золотого века в прошлом, согласно всем антропологическим данным, никогда не существовало. Но культура, которая видит жизнь неуклонно катящейся по наклонной, разительно отличается от культуры, в которой можно достичь невиданных ранее высот.

(Я говорю «культура», а не «общество», поскольку в одном обществе может уживаться несколько субкультур.)

Можно было бы сказать, что различие, к примеру, между Ричардом Фейнманом и инквизицией состояло в том, что инквизиция считала, будто уже обладает истиной, тогда как Ричард Фейнман её искал. Но это не совсем так, ведь наверняка существовали истины, которыми, по собственному мнению, Фейнман тоже обладал. Например: «небо голубое» или «2 + 2 = 4».

Да, в науке фактически существуют определенные истины. Общую теорию относительности может опровергнуть какая-нибудь будущая физика — но явно не так, чтобы из этого следовало, будто Солнце вращается вокруг Юпитера; новая теория должна перенять успешные предсказания старой, а не противоречить им. Но эволюционная теория работает на более высоком уровне организации материи, чем атомы, и никакие новые открытия о кварках не опровергнут дарвинизм, клеточную теорию, атомную теорию в химии или сотню других блестящих открытий, истинность которых сегодня установлена вне разумных сомнений.

Являются ли они «абсолютными истинами»? Не в смысле обладания вероятностью ровно в 1,0. Но в этих случаях наука, по сути, считает, что уже нашла истину.

И всё же ученые не пытают тех, кто сомневается в атомной теории. Почему? Потому что они не считают, будто уверенность дает