Рациональность: от ИИ до зомби (другой перевод) - Элиезер Шломо Юдковски

усвоил в очень раннем возрасте, когда готовился к какому-то тесту по математике и обнаружил, что с каждым новым тренировочным тестом мой балл снижается. Просматривая лист ответов, я заметил, что сначала вписывал правильные ответы карандашом, а затем стирал их. Тогда я сказал себе: «Ладно, в этот раз я доверюсь Силе и буду действовать по наитию», и мои результаты взлетели выше первоначальных, а на реальном тесте оказались еще выше. Так я понял, что сомнения в себе не всегда делают сильнее — особенно если они мешают вам руководствоваться хорошей информацией, например вашей математической интуицией. (Но мне действительно понадобился тест, чтобы это понять!)

Недостаточная уверенность — грех не одних только рационалистов. Но это особая опасность, в которую вас могут завести попытки быть рациональным. И это останавливающая ошибка — заблуждение, которое не дает вам получить дальнейший опыт, способный исправить эту ошибку.

Поскольку недостаточная уверенность на самом деле действительно кажется весьма распространенной среди начинающих рационалистов, которых я встречаю (хотя гораздо реже встречается среди рационалистов, ставших известными примерами для подражания), я бы действительно назвал ее третьим из трех главных грехов рационалистов.

*

333. Идите и творите Искусство!

За эти месяцы я сказал кое-что о рациональности. Я сказал кое-что о том, как распутывать запутавшиеся вопросы, как отличать настоящее рассуждение от ложного, и о воле становиться сильнее, которая побуждает попробовать, прежде чем сбежать; я сказал кое-что о том, как совершать невозможное.

И всё это техники, которые я разработал в ходе собственных проектов — вот почему здесь так много, скажем, о когнитивном редукционизме, — и вполне возможно, что ваши результаты при попытке применить их самостоятельно будут отличаться. У каждого всё индивидуально. Тем не менее тем, кто ходит кругами и вопрошает: «Но какая от этого польза?», стоило бы перечитать некоторые из ранних эссе; знание, скажем, об ошибке конъюнкции и о том, как заметить её в аргументации, вряд ли выглядит чем-то эзотерическим. Понимание того, почему мотивированный скептицизм вреден для вас, на мой взгляд, определяет всю разницу между умным человеком, который в итоге остаётся умным, и умным человеком, который в итоге оказывается глупцом. Аффективные спирали смерти поглощают многих неосторожных...

И всё же в этом «искусстве рациональности», как мне кажется, больше отсутствующего, чем присутствующего — преодоление акразии и координация групп — это два пробела, которые я ощущаю острее всего. В целом я больше концентрировался на эпистемической рациональности, чем на инструментальной. А ведь есть ещё тренировка, преподавание, верификация и превращение всего этого в полноценную экспериментальную науку на этой основе. И если обобщить ещё немного, то под созиданием Искусства можно также понимать такие вопросы, как создание лучшей вводной литературы, разработка лучших слоганов для связей с общественностью, поиск общего дела с другими подзадачами Просвещения, анализ и решение проблемы гендерного дисбаланса...

Но те малые крупицы рациональности, что я изложил... Я надеюсь... просто, быть может...

Я подозреваю — можно даже назвать это догадкой, — что в деле рациональности существует некий барьер для старта. Из-за которого по умолчанию в самом начале у вас нет достаточной базы, на которой можно было бы строить дальше. Её настолько мало, что вы даже не подозреваете, что существует нечто большее, что можно открыть целое Искусство. А если вы и начинаете чувствовать, что возможно нечто большее, то можете просто мгновенно свернуть не туда. Как замечает Дэвид Стоув, большинство «великих мыслителей» в философии, таких как Гегель, по-хорошему заслуживают лишь жалости.1 Вот что происходит по умолчанию с каждым, кто берется развивать искусство мышления: они создают ложные ответы.

Когда вы пытаетесь развить часть человеческого искусства мышления... вы делаете нечто не слишком отличающееся от того, чем занимался я в сфере искусственного интеллекта. Вас будут соблазнять ложные объяснения работы разума, ложные трактовки причинности, таинственные священные слова и потрясающая идея, которая решает вообще всё.

Дело не в том, что конкретные эпистемические методы распознавания фальши, которые я использую, так уж хороши для каждой конкретной задачи; но похоже, они могут помочь отличить хорошие системы мышления от плохих.

Я надеюсь, что человек, усвоивший ту часть Искусства, которую я здесь изложил, не собьётся с пути мгновенно и автоматически, когда начнет спрашивать себя: «Как должны думать люди, чтобы решить новую задачу X, над которой я сейчас работаю?» Он не сбежит сразу же; не станет просто выдумывать всякую чушь наобум; возможно, он решит обратиться к литературе по экспериментальной психологии; он не улетит автоматически в аффективную спираль смерти вокруг своей Гениальной Идеи; у него будет какое-то представление о том, что отличает ложное объяснение от настоящего. Он получит спасбросок.

Именно этот барьер, пожалуй, и мешает людям начать развивать искусство рациональности, если они ещё не рациональны.

И вместо этого они... идут и изобретают фрейдистский психоанализ. Или новую религию. Или ещё что-то. Именно это происходит по умолчанию, когда люди начинают думать о мышлении.

Я надеюсь, что та часть Искусства, которую я изложил — какой бы неполной она ни была, — поможет преодолеть этот предварительный барьер: даст людям базу, от которой можно оттолкнуться; даст им понимание того, что Искусство существует, и примерное представление о том, как его следует развивать; и даст им хотя бы спасбросок, прежде чем они мгновенно собьются с пути.

В этом и состоит моя мечта — чтобы это кажущееся узкоспециализированным искусство отвечать на запутанные вопросы оказалось как раз тем, что необходимо в самом начале, чтобы пойти и завершить всё остальное.

Задача, которую я оставляю вам. По крайней мере, вероятно. Я не даю никаких обещаний насчет того, куда в будущем может переключиться моё внимание. Но знаете, есть и другие вещи, которые мне нужно сделать. Даже если я случайно разовью это Искусство ещё сильнее, возможно, у меня просто не найдётся времени, чтобы это описать.

Помимо всего того, что я сказал о ложных ответах и ловушках, я хотел бы, чтобы вы помнили о двух вещах.

Первое — то, что для создания своего Искусства я опирался на множество источников. Я читал самых разных авторов, изучал самые разные эксперименты, использовал аналогии из множества областей. Вам тоже потребуется опираться на множество источников, чтобы создать свою часть Искусства. Вы не должны получать всю свою рациональность от одного автора — хотя, возможно, и будет существовать некий централизованный сайт, куда вы станете выкладывать ссылки и статьи, которые покажутся вам действительно важными.