Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Но пока что... какая есть альтернатива заявлению: «Я буду верить, что будущее будет похоже на прошлое на самом стабильном уровне организации, который я могу определить, потому что раньше это работало для меня лучше, чем любой другой алгоритм, который я пробовал»?

Сказать: «Я буду верить, что будущее не будет похоже на прошлое, потому что до сих пор этот алгоритм всегда терпел неудачу»?

Здесь я считаю нужным напомнить, что рационалисты стремятся не к победе в спорах с идеальными философами абсолютной пустоты; мы просто хотим побеждать. И для этого мы хотим подобраться к истине как можно ближе. Так что в конечном итоге я принимаю принцип: «Сомневайся в своём мозге, сомневайся в своих интуициях, сомневайся в своих принципах рациональности, используя всю нынешнюю силу своего разума и делая всё возможное на каждом этапе.»

Если один из ваших текущих принципов окажется несостоятельным — согласно оценке вашего собственного разума, ведь вы не можете выйти за пределы самого себя, — измените его! А затем вернитесь назад и взгляните на вещи заново, используя новые, усовершенствованные принципы.

Цель не в том, чтобы быть рефлексивно согласованным. Цель в том, чтобы побеждать. Но если вы смотрите на себя и играете на победу, вы делаете себя более рефлексивно согласованным — ведь именно это и значит «играть на победу», «глядя на себя».

Всё без исключения нуждается в обосновании. Иногда — неизбежно, насколько я могу судить, — эти обоснования будут зацикливаться в рефлексивных петлях. Я действительно считаю, что рефлексивные петли обладают мета-характером, который должен позволять здравому смыслу отличать их от порочного круга в логике. Но любой, кто изначально всерьез рассматривает круговую логику, вероятно, весьма далёк от понимания рациональности и будет просто настаивать на том, что его круговая логика — это «рефлексивная петля», даже если она состоит из единственного клочка бумаги с надписью «Верь мне». Что ж, невозможно постоянно оптимизировать свои методы рациональности исходя лишь из стремления помешать тем, кто настроен на саморазрушение, злоупотреблять ими.

Главное — не сдерживать себя в критике того, как нужно критиковать; и вам не следует рассматривать неизбежность зацикленных обоснований как повод для иммунитета от сомнений.

Всегда действуйте в полную силу, зацикливается это или нет — делайте всё возможное, зацикливается это или нет — и играйте, в конечном счёте, на победу.

*

265. Мой вариант рефлексии.

В эссе «Где рекурсивное обоснование упирается в дно» я пришел к выводу, что вполне допустимо использовать индукцию для рассуждений о вероятности того, что индукция будет работать в будущем, на основании того, что она работала в прошлом; или использовать бритву Оккама, чтобы прийти к выводу, что простейшее объяснение того, почему работает бритва Оккама, заключается в том, что сама Вселенная устроена фундаментально просто.

Разумеется, я далеко не первый, кто задумался о рефлексивном применении принципов мышления. Крис Хибберт сравнил мой подход с панкритическим рационализмом Бартли (мне было интересно, случится ли это). Так что, пожалуй, стоит изложить то, что я считаю отличительными чертами моего взгляда на рефлексию, — чертами, которые другие философы могут разделять, а могут и не разделять.

Вся моя философия в данном вопросе в действительности проистекает из попыток понять, как построить самомодифицирующийся ИИ, который применяет собственные принципы мышления к самому себе в процессе переписывания своего исходного кода. Поэтому всякий раз, когда я говорю об использовании индукции для обоснования индукции, я на самом деле думаю об индуктивном ИИ, который размышляет над тем, стоит ли переписать ту свою часть, которая отвечает за индукцию. И если вы не хотите, чтобы ИИ переписал свой исходный код так, чтобы отказаться от индукции, вашей философии лучше бы не объявлять индукцию необоснованной.

Один из самых мощных известных мне принципов создания ИИ вообще заключается в том, что истинный Путь обычно оказывается натуралистическим — что для рефлексивного мышления означает отношение к транзисторам внутри ИИ точно так же, как к транзисторам, находящимся во внешней среде, а не как к какому-то специальному, созданному для данного случая исключению. Именно в этом кроется истинная причина моего упорства в «Рекурсивном обосновании»: вопросы вроде «Насколько хорошо работает моя версия бритвы Оккама?» следует рассматривать точно так же, как любые обычные вопросы — или, по крайней мере, как обычные, но очень глубокие вопросы. Я сильно подозреваю, что правильно построенному ИИ, размышляющему об изменениях в той части своего исходного кода, которая реализует оккамовское мышление, не придется делать ничего особенного в процессе этих размышлений — в частности, ему не придется прилагать особых усилий, чтобы избегать использования оккамовского мышления.

Я не считаю, что «рефлексивную когерентность» или «рефлексивную согласованность» следует рассматривать как самостоятельную цель. Как я писал в «Двенадцати добродетелях» и «Простой истине», если вы сделаете пять точных карт одного и того же города, то эти карты неизбежно будут согласованы друг с другом; но если вы нарисуете одну карту из головы, а затем сделаете четыре копии, все пять будут согласованы, но не точны. Точно так же никто сознательно не стремится к рефлексивной согласованности, и сама по себе она не является особым залогом надежности; цель — победить. Но любой, кто стремится к победе, руководствуясь своим текущим пониманием победы и модифицируя собственный исходный код, в итоге придет к рефлексивной согласованности как к побочному эффекту — подобно тому, как у человека, постоянно стремящегося улучшить свою карту мира, ее части как побочный эффект будут становиться все более согласованными между собой. Если надеть «очки ИИ», то окажется, что ИИ, переписывающий свой исходный код, вовсе не пытается сделать себя «рефлексивно согласованным» — он пытается оптимизировать ожидаемую полезность своего исходного кода, и делает это, опираясь на то, как его нынешний разум предвидит последствия.

Один из способов, которым я обосновываю правомерность использования индукции и бритвы Оккама для рассмотрения «индукции» и «бритвы Оккама», — это апелляция к принципу Э. Т. Джейнса, согласно которому при вычислениях мы всегда должны использовать всю доступную нам информацию (если позволяют вычислительные мощности). Если вы считаете, что индукция работает, то вам следует использовать ее, чтобы задействовать свои возможности по максимуму, в том числе и тогда, когда вы размышляете о самой индукции.

В целом, я считаю полезным отличать оборонительную позицию, когда вы придумываете,