Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

В: Откуда взялась гора?

О: Оттуда же, откуда и весь камень на свете: это кости Имира, первозданного великана.

В: Откуда взялся первозданный великан Имир?

О: Из великой бездны Гиннунгагап.

В: Откуда взялась великая бездна Гиннунгагап?

О: Никогда не задавай этот вопрос.

Рассмотрим кажущийся парадокс Первопричины. Наука проследила цепь событий вплоть до Большого взрыва, но почему случился сам Большой взрыв? Конечно, можно сказать, что начало отсчета времени совпадает с Большим взрывом — что до Большого взрыва в обычном течении минут и часов ничего не существовало. Но подобные рассуждения предполагают наличие наших физических законов, которые сами по себе кажутся высокоструктурированными и требуют объяснения. Откуда взялись физические законы? Можно сказать, что все мы — компьютерная симуляция, но тогда эта симуляция работает по законам физики какого-то другого мира. Откуда взялись те законы физики?

На этом этапе некоторые говорят: «Бог!»

Что вообще может заставить кого-то, даже глубоко религиозного человека, думать, что это хотя бы помогает разрешить парадокс Первопричины? Почему бы автоматически не спросить: «Откуда взялся Бог?» Ответы вроде «У Бога нет причины» или «Бог создал себя сам» оставляют нас ровно в том же положении, что и утверждение «Время началось с Большого взрыва». Мы просто спрашиваем, почему вообще существует вся эта метасистема или почему одним событиям позволено не иметь причины, а другим — нет.

Моя цель здесь — не обсуждать кажущийся парадокс Первопричины, а спросить, почему кто-то вообще думает, будто слово «Бог!» способно этот парадокс разрешить. Возглас «Бог!» — это способ показать принадлежность к племени, что дает людям повод повторять его как можно чаще; некоторые используют его даже для ответов на вопросы вроде «Почему этот ураган обрушился на Новый Орлеан?». Но всё же хотелось бы надеяться, что люди заметят: в конкретной загадке Первопричины слово «Бог!» ничем не помогает. Оно не делает парадокс менее парадоксальным, даже если это правда. Как можно этого не заметить?

Джонатан Уоллес предположил, что слово «Бог!» выполняет функцию семантического стоп-сигнала — то есть является не столько пропозициональным утверждением, сколько когнитивным дорожным знаком: «дальше этой точки не думать». Возглас «Бог!» не столько разрешает парадокс, сколько выставляет когнитивный красный свет, чтобы остановить очевидное продолжение цепочки вопросов и ответов.

Разумеется, вы никогда так не поступите, будучи хорошим и правильным атеистом, верно? Но «Бог!» — далеко не единственный семантический стоп-сигнал, а лишь самый очевидный пример.

Трансгуманистические технологии — молекулярные нанотехнологии, передовые биотехнологии, генная инженерия, искусственный интеллект и так далее — ставят перед нами сложные вопросы регулирования. Какую роль (и должно ли вообще) играть государство в контроле за выбором генов для ребенка его родителями? Могут ли родители намеренно выбрать гены, связанные с шизофренией? Если процедура повышения интеллекта ребенка стоит дорого, должно ли государство обеспечивать к ней доступ, чтобы предотвратить появление когнитивной элиты? Вы можете предложить различные институты для решения этих вопросов — например, чтобы частные благотворительные фонды оказывали финансовую помощь для повышения интеллекта, — но очевидным следующим вопросом будет: «А будет ли этот институт эффективен?» Если мы станем полагаться на иски об ответственности за качество продукции, чтобы помешать корпорациям создавать опасные нанотехнологии, действительно ли это сработает?

Я знаю человека, чьим ответом на каждый из этих вопросов является: «Либеральная демократия!» И всё. Вот его ответ. Если вы зададите очевидный вопрос: «Насколько успешно либеральные демократии исторически справлялись с подобными сложными проблемами?» или «Что если либеральная демократия сделает какую-нибудь глупость?», то вы тут же окажетесь автократом, либертопистом или просто очень-очень плохим человеком. Никому не позволено сомневаться в демократии.

Когда-то я называл подобный образ мыслей «божественным правом демократии». Но точнее будет сказать, что слово «Демократия!» работало для него как семантический стоп-сигнал. Если бы кто-то сказал ему: «Передайте это корпорации Coca-Cola!», он бы задал вполне очевидные следующие вопросы: «Почему? Что корпорация Coca-Cola будет с этим делать? Почему мы должны им доверять? Справлялись ли они в прошлом со столь же сложными проблемами?»

Или предположим, что кто-то говорит: «Американцы мексиканского происхождения замышляют уничтожить весь кислород в атмосфере Земли». Вы, вероятно, спросите: «Зачем им это? Разве им самим не нужно дышать? И вообще, могут ли они действовать как единая группа заговорщиков?» Если же вы не задаете эти очевидные следующие вопросы, когда слышите: «Корпорации замышляют уничтожить земной кислород», значит, слово «Корпорации!» служит для вас семантическим стоп-сигналом.

Смотрите не создайте новый универсальный контраргумент против вещей, которые вам не нравятся — вроде «О, это просто стоп-сигнал!». Ни одно слово не является стоп-сигналом само по себе; вопрос в том, оказывает ли оно такой эффект на конкретного человека. Сильные эмоции по какому-либо поводу сами по себе не делают понятие стоп-сигналом. Я не испытываю нежных чувств к террористам и не боюсь частной собственности, но это не значит, что слова «Террористы!» или «Капитализм!» служат для меня когнитивными дорожными знаками. (Слово «интеллект» когда-то действительно оказывало на меня такой эффект, но это в прошлом.) Отличительный признак семантического стоп-сигнала — то, что очевидный следующий вопрос даже не приходит в голову.

*

35. Таинственные ответы на таинственные вопросы.

Представьте, что вы смотрите на свою руку и ничего не знаете о клетках, о биохимии, о ДНК. Препарирование научило вас кое-какой анатомии, поэтому вы знаете, что в руке есть мышцы, но понятия не имеете, почему мышцы двигаются, а не лежат неподвижно, как глина. Ваша рука — это просто... вещество... и почему-то оно движется, повинуясь вашей воле. Разве это не магия?

Животный организм не действует подобно термодинамическому двигателю... сознание учит каждого человека, что он в некоторой степени подчиняется велениям своей воли. Представляется, следовательно, что живые существа обладают способностью непосредственно прилагать к определенным движущимся частицам материи внутри своих тел силы, с помощью которых движение этих частиц направляется для получения производных механических эффектов... Влияние животной или растительной жизни на материю бесконечно превосходит рамки любых научных исследований, предпринимавшихся до сих пор. Его способность направлять движение движущихся частиц в очевидном повседневном чуде нашей человеческой свободы воли и в росте поколения за поколением растений из одного-единственного семени бесконечно отличается от любого возможного результата случайного стечения атомов... Современные биологи снова приходят к признанию чего-то, что является жизненным принципом.

— Лорд Кельвин1

В этом и заключалась теория витализма: загадочное