Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Представьте себе креациониста, который говорит: «Но кто может знать наверняка, верна ли теория эволюции? Это всего лишь теория. Вам следует быть скромнее и шире смотреть на вещи». Скромность ли это? Креационист практикует весьма избирательную неуверенность, отказываясь интегрировать колоссальный объем доказательств в пользу вывода, который кажется ему неприятным. Я бы сказал, что независимо от того, назовете вы это «скромностью» или нет, это неверное па в этом танце.

А как насчет инженера, который скромно проектирует предохранительные механизмы в оборудовании, хотя и чертовски уверен, что оно не откажет? Мне это кажется хорошей скромностью. История знает немало случаев, когда инженер был чертовски уверен, что новая машина не откажет, а она все равно ломалась.

А как насчет ученика, который скромно перепроверяет ответы в контрольной по математике? Я бы снова отнес это к хорошей скромности.

А как насчет ученика, который говорит: «Ну, сколько бы раз я ни проверял, я никогда не смогу быть уверен, что ответы в моей контрольной правильные», и поэтому не проверяет их ни разу? Даже если этот выбор проистекает из эмоции, похожей на чувство предыдущего ученика, он менее разумен.

Вы предлагаете учиться усерднее, а ученик отвечает: «Нет, мне это не поможет; я не из тех умных ребят, как вы; куда уж столь ничтожному созданию, как я, надеяться на лучшую долю». Это социальная скромность, а не научная. Она связана с регулированием статуса в племени, а не с научным процессом. Если вы попросите кого-то «быть скромнее», по умолчанию эти слова будут ассоциироваться с социальной скромностью — интуитивно понятным, обыденным, унаследованным от предков понятием. Научная скромность — изобретение более позднее и рафинированное, и по своей сути она не социальна. Научную скромность вы бы практиковали, даже если бы оказались в одиночестве в скафандре в световых годах от Земли, где за вами никто не наблюдает. Или даже если бы вы получили абсолютную гарантию, что никто и никогда больше не станет вас критиковать, что бы вы ни сказали и что бы ни думали о себе. Будь вы мудры, вы бы все равно перепроверили свои расчеты.

Ученик говорит: «Но я видел, как другие перепроверяли ответы, и они все равно оказывались неверными. А вдруг, в силу проблемы индукции, на этот раз дважды два окажется пять? Что бы я ни делал, я не могу быть уверен в себе». Звучит очень глубокомысленно и очень скромно. Но вовсе не случайно этот ученик хочет поскорее сдать работу, пойти домой и поиграть в видеоигры.

Конец эпохи в физике не всегда заявляет о себе громом и фанфарами; чаще он начинается с того, что кажется крошечным, совсем крошечным изъяном... Но поскольку у физиков есть это высокомерное убеждение, будто их модели должны работать всегда, а не просто в большинстве случаев, они не оставляют без внимания даже мелкие изъяны. Обычно при ближайшем рассмотрении мелкий изъян исчезает. Изредка он разрастается до такой степени, что взрывает всю теорию. Поэтому и написано: «Если не стремишься к совершенству, ты остановишься, не сделав и первого шага».

Но подумайте, какой дерзостью в глазах общества выглядит стремление быть правым всегда! Я вполне серьезно подозреваю, что если бы Наука утверждала, что теория эволюции верна в большинстве случаев, но не всегда, — или если бы Наука признала, что, возможно, по некоторым дням Земля действительно плоская, просто кто знает наверняка, — у ученых была бы куда лучшая репутация в обществе. Наука воспринималась бы как менее конфликтная, ведь нам не пришлось бы спорить с людьми, заявляющими, что Земля плоская, — появилось бы пространство для компромисса. Когда вы много спорите, люди видят в вас конфликтного человека. А если вы раз за разом отказываетесь идти на компромисс, все становится еще хуже. Посмотрите на это как на вопрос племенного статуса: ученые, безусловно, заслужили дополнительный статус в обмен на такие социально полезные инструменты, как медицина и мобильные телефоны. Но этот социальный статус не оправдывает их требования, чтобы в государственных школах преподавались только научные представления об эволюции. В конце концов, у священников тоже высокий социальный статус. Ученые слишком много о себе возомнили — получили немного статуса, а теперь думают, что они вожди всего племени! Им следовало бы быть скромнее и пойти на небольшой компромисс.

Многие люди, похоже, довольно смутно представляют себе «рационалистическую скромность». Опасно руководствоваться предписывающим принципом, который вы понимаете лишь туманно; ваша мысленная картина может иметь столько степеней свободы, что ее удастся приспособить для оправдания практически любого поступка. Когда у людей есть расплывчатые ментальные модели, с помощью которых можно доказать что угодно, они в итоге обычно верят в то, во что им и хотелось верить с самого начала. Это настолько удобно, что люди зачастую неохотно расстаются с неопределенностью. Но цель нашей этики — двигать нами, а не быть движимой нами.

«Скромность» — добродетель, которую часто понимают неправильно. Это не значит, что мы должны отбросить само понятие скромности, но нам следует использовать его с осторожностью. Полезно посмотреть на действия, которые предписывает «скромный» ход мыслей, и спросить: «Делает ли такое поведение вас сильнее или слабее?» Если вы задумаетесь о проблеме индукции применительно к мосту, который не должен рухнуть, то вывод о том, что ни в чем нельзя быть уверенным, какие бы меры предосторожности ни принимались, может показаться разумным. Но если посмотреть на реальную разницу между добавлением нескольких дополнительных тросов и простым пожиманием плеч, станет предельно ясно, что делает мост прочнее.

Подавляющее большинство призывов к «скромности рационалиста», которые я наблюдаю, — это просто предлоги, чтобы пожать плечами. Тот, кто покупает лотерейный билет со словами: «Но вы же не можете знать, что я проиграю». Тот, кто не верит в эволюцию, заявляя: «Но вы не можете доказать мне, что это правда». Тот, кто отказывается браться за сложную с виду задачу, говоря: «Она, вероятно, слишком трудна, чтобы её решить». Проблема заключается в мотивированном скептицизме, также известном как предвзятость опровержения, — более пристальном и придирчивом изучении утверждений, в которые мы не хотим верить. Скромность в её наиболее превратно понятой форме — это универсальное оправдание для того, чтобы во что-то не верить; ведь в конце концов, нельзя же быть ни в чём уверенным. Остерегайтесь универсальных оправданий!

Еще одна проблема заключается в том, что скромность слишком легко декларировать. Деннет в книге «Разрушая заклятие: религия как естественное явление» указывает на то, что, хотя во многие религиозные