Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

семьи или школьных учителей. А другие дети были недостаточно умны, чтобы соперничать с беседами, которые я вел с книгами. Но книгам я доверял, понимаете. Я верил, что если буду делать то, что велел Ричард Фейнман, то окажусь в безопасности. Я никогда не формулировал эту мысль вслух, но именно это я чувствовал.

Когда Элиезер23 осознал, насколько глупой была та глупая теория — и что Традиционная Рациональность не уберегла его от нее, — и что Наука была бы совершенно не против, потрать он десять лет на проверку этой глупой идеи, лишь бы потом он признал, что был неправ...

...что ж, я не скажу, что это было грандиозным душевным потрясением. Я не очень-то склонен к подобному драматизму. Просто стало очевидно, что я был глуп.

Именно это доверие я и пытаюсь в вас разрушить. Вы не в безопасности. Никогда.

Даже Наука не может вас спасти. Идеалы Науки зародились несколько веков назад, во времена, когда никто ничего не знал ни о теории вероятностей, ни о когнитивных искажениях. Наука требует от вас слишком малого, она слишком легко благословляет ваши благие намерения, она не достаточно строга, она налагает лишь те предписания, которые способен выполнить средний ученый, и принимает медлительность как непреложный факт жизни.

Так что не думайте, будто одно лишь следование правилам Науки делает ваши рассуждения неуязвимыми.

Не существует известной процедуры, следование которой сделало бы ваши рассуждения неуязвимыми.

Не существует известного набора предписаний, выполнив который, вы могли бы гарантированно знать, что не оказались дураком.

Не существует известной этики мышления, которой вы могли бы изо всех сил стараться следовать, зная, что тем самым защищены от критики.

Нет, даже если вы обратитесь к байесианскому искусству. Им гораздо труднее пользоваться, и вы никогда не будете уверены, что всё делаете правильно.

Дисциплина байесианского искусства куда моложе, чем научная дисциплина. Вы не найдете ни учебников, ни умудренных опытом наставников, ни хроник успехов и неудач, ни четко сформулированных жестких правил. Вам придется изучать когнитивные искажения, теорию вероятностей, эволюционную психологию, социальную психологию и другие когнитивные науки, а также искусственный интеллект — и самостоятельно продумывать, как применить все эти знания для самокоррекции, ведь в учебниках этого пока нет.

Вы не знаете, что на самом деле творит ваш собственный разум. Каждую неделю открывают новое когнитивное искажение, и вы никогда не уверены, сделали ли вы на него поправку или допустили избыточную коррекцию.

Формальный математический аппарат применить невозможно. Он не ломается так просто, как думает какой-нибудь Фома Неверующий, но вы никогда не уверены до конца, на чем строятся его основы. Вы не знаете, почему вселенная достаточно проста для понимания или почему для нее вообще работает хоть какое-то априорное распределение. Вы не знаете, каковы ваши собственные априорные оценки, не говоря уже о том, годятся ли они на что-то.

Одна из проблем Науки в том, что она слишком размыта, чтобы по-настоящему вас напугать. «Идеи должны проверяться экспериментом». Ну как в этом можно ошибиться?

С другой стороны, если перед вами лежат формулы теории вероятностей, и, что еще хуже, вы понимаете, что на практике применить их не можете, тогда становится ясно: вы пытаетесь сделать нечто чрезвычайно сложное и вполне можете делать это неправильно.

Поэтому вы не можете доверять.

И всего того, что я сказал, будет недостаточно, чтобы разрушить ваше доверие. Этого не случится до тех пор, пока вы не потерпите свою первую настоящую катастрофу из-за следования Правилам, а не из-за их нарушения.

Элиезер18 уже усвоил мысль о том, что подвергать сомнению Науку дозволено. Ну еще бы, ведь сам научный метод не застрахован от сомнений! Разве все мы не примерные рационалисты? Разве нам не позволено сомневаться во всем?

Но мысль о том, что можно на самом деле, в реальной жизни следовать Науке и при этом потерпеть сокрушительный провал, — вот во что Элиезер18 не верил до конца, на эмоциональном уровне.

О, конечно, он говорил, что это возможно. Элиезер18 послушно признавал вероятность ошибки, говоря: «Я могу ошибаться, но...»

Но он не думал, что провал может случиться в — ну, вы понимаете — реальной жизни. Полагалось искать изъяны, а не находить их на самом деле.

И эту эмоциональную разницу ужасно трудно выразить словами, и я боюсь, что никак не смогу по-настоящему вас предостеречь.

Ваше доверие не рухнет до тех пор, пока вы не примените все, чему научились здесь и из других книг, не зайдете так далеко, как только сможете, и не обнаружите, что и это вас подвело — что вы всё равно оказались дураком, и никто вас об этом не предупреждал, — что самые важные вещи были упущены в полученных вами руководствах, — что некоторые из самых дорогих идеалов, за которыми вы следовали, вели вас в неверном направлении —

— и если у вас все еще есть что защищать, так что вы обязаны продолжать путь и не можете отступить, мудро признав ограничения рациональности —

—тогда вы будете готовы начать свой путь рационалиста. Взять на себя единоличную ответственность, жить без какой-либо надежной защиты и выковать более высокое Искусство, чем то, которому вас когда-то учили.

Никто не начинает по-настоящему искать Путь, пока его не подведут родители, пока не умрут его боги и пока инструменты не разлетятся в его руке вдребезги.

Post Scriptum: Перечитывая черновик этого эссе, я обнаружил довольно непростительный изъян в рассуждениях, который непосредственно влияет на один из сделанных выводов. Я оставляю его. Просто на случай, если вы думали, будто следование моим советам гарантирует вам безопасность; или будто вы должны искать изъяны, но никогда их не находить.

И конечно, если вы будете слишком рьяно искать изъян и найдете тот, что на самом деле изъяном не является, а затем уцепитесь за него, чтобы убедить себя в собственной критичности мышления, вам станет только хуже, чем прежде...

Жить в неопределенности — ощущая нутром, что изъяны есть, они серьезны, а вы их еще не нашли, — вот что по-настоящему трудно.

*

250. Изменение определения науки. New Scientist об изменении определения науки, в открытом доступе здесь:1.

Другие считают такую критику недоразумением. «Некоторые утверждают, что концепция мультивселенной нефальсифицируема, поскольку её нельзя наблюдать, но это заблуждение», — говорит космолог Макс Тегмарк из Массачусетского технологического института. Он утверждает, что мультивселенная — это естественное следствие