Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

не каждый лжец бывает наказан; мы живем в не столь справедливой вселенной. Но и не всякая ложь столь безопасна, как полагают лжецы. Интересно, сколько грехов открылось бы байесовскому сверхинтеллекту, проведи он (неразрушающее?) нанотехнологическое сканирование Земли? Как минимум, вся та ложь, следы которой всё еще сохраняются хоть в каком-то мозгу. Кое-что из этой лжи может раскрыться и раньше, если нейробиологам когда-нибудь удастся создать по-настоящему хороший детектор лжи на основе нейровизуализации. Пол Экман (пионер в исследовании микродвижений лицевых мышц), пожалуй, уже сейчас мог бы распознать изрядную долю мировой лжи, представься ему такая возможность.

Не всякая ложь раскрывается, не каждый лжец бывает наказан. Но Великую Паутину недооценивают сплошь и рядом. Одно лишь знание, которое люди уже накопили, потребовало бы многих человеческих жизней, чтобы его изучить. Любой, кто думает, что не-бог может выдать идеальную ложь без всякого риска, недооценивает запутанность Великой Паутины.

Честность — лучшая политика? Не уверен, что зашел бы так далеко: даже с точки зрения моей этики иногда вполне допустимо промолчать. Но по сравнению с откровенной ложью и честность, и молчание гораздо меньше подвергают вас рекурсивно распространяющимся рискам, на которые вы идете, даже не подозревая об этом.

*

1. Эдвард Элмер Смит, А. Дж. Доннелл, «Первый Ленсман» (Old Earth Books, 1997).

2. Эдвард Элмер Смит, Рик Бинкли, «Серый Ленсман» (Old Earth Books, 1998).

79. О лжи и крахах типа «черный лебедь».

Судья Маркус Эйнфелд, 70 лет, королевский адвокат с 1977 года, «Живое сокровище Австралии» 1997 года, лауреат Премии мира ООН 2002 года, президент-основатель Австралийской комиссии по правам человека и равным возможностям, ушедший в отставку несколько лет назад, но регулярно привлекаемый к рассмотрению важных дел...

... сел в тюрьму на два года из-за череды лжесвидетельств и лжи, начавшейся со штрафа в 36 фунтов за превышение скорости на 6 миль в час.

Вся эта подозрительно высокоморальная теория о том, что честные люди не умеют лгать, что повсюду остаются запутанные следы и что всё это оборачивается эпическим провалом типа «черный лебедь», на самом деле действительно находит подтверждение в реальной жизни — хотя то, что мы вообще услышали об этом случае, явно объясняется избирательностью подачи информации.

*

80. Эпистемология Тёмной стороны. Стоит однажды солгать, и правда навсегда становится твоим врагом.

Ранее я уже говорил о том, что поскольку истина переплетена, ложь заразительна. Если вы подберёте камешек на подъездной дорожке и скажете геологу, что нашли его на пляже — ну, а вы сами-то знаете, что геолог знает о камнях? Я вот не знаю. Но я могу заподозрить, что обточенная водой галька вряд ли будет похожа на каплю застывшей лавы из извергавшегося вулкана. Знаете ли вы, откуда на самом деле взялся камешек на вашей дорожке? Вещи несут на себе отпечатков своего места в закономерной Вселенной; в этой паутине ложь оказывается не на своём месте. (Вообще-то, один геолог в комментариях пишет, что большинство камешков для дорожек берут как раз с пляжей, так что геологи не смогли бы отличить камешек с дорожки от пляжного, но смогли бы отличить горный камешек от дорожно-пляжного. Что и требовалось доказать...)

То, что одному разуму кажется произвольной истиной — которую легко заменить правдоподобной ложью, — в глазах обладателя более глубоких знаний может быть намертво закреплено десятком связей. Для креациониста идея о том, что жизнь возникла благодаря «разумному замыслу», а не «естественному отбору», может звучать просто как название спортивной команды, за которую хочется болеть. Для биолога же попытка правдоподобно доказать, что организм был спроектирован разумно, потребовала бы лжи практически о каждом его аспекте. Чтобы правдоподобно доказать, что «люди» были созданы разумным замыслом, вам пришлось бы солгать об устройстве человеческой сетчатки, архитектуре человеческого мозга, о белках, удерживаемых вместе слабыми силами Ван-дер-Ваальса вместо прочных ковалентных связей...

Или можно просто соврать об эволюционной теории — по этому пути и идёт большинство креационистов. Вместо того чтобы лгать об отдельных узлах сети, они лгут об общих законах, управляющих связями между ними.

А чтобы скрыть это, они лгут о научных правилах — например, о том, что значит назвать что-то «теорией», или что значит для учёного признать, что он не уверен абсолютно.

Так они переходят от лжи о конкретных фактах к лжи об общих законах, а затем — к лжи о правилах мышления. Чтобы соврать о том, эволюционировал ли человек, вам нужно соврать об эволюции; а затем вам придётся соврать о научных правилах, которые ограничивают наше понимание эволюции.

А как иначе? Подобно тому как человек выглядел бы неуместно в сообществе действительно разумно спроектированных форм жизни, и вам пришлось бы врать о правилах эволюции, чтобы представить дело иначе, — точно так же и креационистские убеждения сами по себе неуместны в науке: в упорядоченном разуме вы найдёте их с тем же успехом, с каким обнаружите пальмы, растущие на леднике. И потому приходится рушить барьеры, которые их не допускают.

Что подводит нас к теме самообмана.

Единичная ложь, которую вы говорите себе, может казаться вполне правдоподобной, пока вы не знаете правил, управляющих мышлением, или даже не догадываетесь, что такие правила вообще существуют; и выбор кажется столь же произвольным, как выбор вкуса мороженого, столь же обособленным, как камешек на берегу...

...но затем кто-то оспаривает ваше убеждение, используя правила рассуждения, которые он усвоил. Он говорит: «Где твои доказательства?»

А вы отвечаете: «Что? Зачем мне доказательства?»

Тогда он говорит: «В целом убеждения требуют доказательств».

Этот довод, очевидно, — вражеский солдат, воюющий на другой стороне, и вы обязаны его одолеть. Поэтому вы заявляете: «Я не согласен! Не все убеждения требуют доказательств. В частности, убеждения о драконах доказательств не требуют. Когда речь заходит о драконах, можно верить во всё, во что захочется. Так что мне не нужны доказательства, чтобы верить, что у меня в гараже живёт дракон».

А собеседник говорит: «Чего? Нельзя просто так взять и исключить драконов. Правило о том, что убеждения требуют доказательств, существует не просто так. Чтобы нарисовать точную карту города, вам нужно пройтись по улицам и нанести на бумагу линии, соответствующие тому, что вы видите. Это не какое-то произвольное юридическое требование — если вы будете сидеть в гостиной и чертить линии на бумаге