Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

придется сделать то, чему вас не учили в школе. Что-то, чего другие от вас не ожидают и, возможно, не поймут. Вам, возможно, придется выйти за рамки привычной рутины, столкнуться с трудностями, для преодоления которых у вас нет готовой мысленной программы, и обойти Систему.

Это не входит в иссёкэнмэй, иначе Япония была бы совсем другим местом.

Поэтому давайте разграничим добродетели «приложить отчаянное усилие» и «приложить экстраординарное усилие».

И я даже скажу: вторая добродетель выше первой.

Вторая добродетель также более опасна. Если вы приложите отчаянное усилие, чтобы поднять большой вес, используя всю свою силу без ограничений, вы можете порвать мышцу. Нанести себе травму, возможно, даже необратимую. Но если творческая идея пойдет не так, вы можете взорвать грузовик и множество ни в чем не повинных прохожих. Подумайте о разнице между предпринимателем, который прикладывает отчаянные усилия для получения прибыли, потому что иначе ему грозит банкротство, и предпринимателем, который идет на экстраординарные меры ради прибыли, чтобы скрыть растрату, из-за которой он может оказаться в тюрьме. Выход за рамки системы — не всегда благо.

Однажды друг моего младшего брата пришел в дом моих родителей и захотел поиграть в игру — я совершенно не помню какую, кроме того, что в ней были сложные, но хорошо продуманные правила. Друг хотел изменить правила, без какой-либо конкретной причины, просто из общего принципа, что играть по обычным правилам во что бы то ни было слишком скучно. Я сказал ему: «Не нарушай правила ради самого нарушения. Если ты будешь нарушать правила только тогда, когда у тебя есть исключительно веская на то причина, тебе с лихвой хватит неприятностей на всю оставшуюся жизнь».

И все же, я думаю, нам бы не помешало больше ценить добродетель «прилагать экстраординарное усилие». Я уже сбился со счета, сколько людей говорили мне нечто вроде: «Бесполезно работать над Дружественным ИИ, потому что первые ИИ будут созданы могущественными корпорациями, а их будет волновать только максимизация прибыли». «Бесполезно работать над Дружественным ИИ, ведь первые ИИ будут созданы военными в качестве оружия». И вот я стою и думаю: Неужели им даже в голову не приходит, что именно сейчас стоило бы попытаться достичь чего-то отличного от исхода по умолчанию? Конечно, у нас с ними разные базовые предположения о том, как вообще устроена вся эта история с ИИ; но если бы я верил в то же, во что они, я бы не стал просто пожимать плечами и идти дальше своей дорогой.

Или те, кто говорит мне: «Тебе нужно пойти в колледж, получить степень магистра, затем докторскую степень и опубликовать кучу статей на обычные темы — иначе ученые и инвесторы не станут тебя слушать». Даже если предположить, что я сдал экзамены на степень бакалавра экстерном, речь все равно идет как минимум о десятилетнем обходном пути ради того, чтобы делать всё обычным, нормальным, стандартным путем. И я стою и думаю: Неужели они действительно полагают, что человечество выживет, если абсолютно каждый человек будет делать всё самым обычным, нормальным, стандартным путем?

Я не настолько глуп, чтобы строить планы, которые зависят от готовности большинства людей, или хотя бы 10% населения, мыслить или действовать за пределами своей зоны комфорта. Вот почему я склонен мыслить в рамках финансируемой частным образом модели «мозг в коробке в подвале». Получение этого частного финансирования действительно требует, чтобы крошечная часть из шести миллиардов человечества потратила больше пяти секунд на размышления над нешаблонным вопросом. Если говорить об испытаниях, которые посылает нам Природа, в этом есть какая-то суровая справедливость: жизнь или смерть человеческого вида зависит от того, сможем ли мы выдвинуть нескольких человек, способных на поступки, хотя бы немного выходящие за рамки обычного. Наказание за поражение несоразмерно велико, но это все же лучше, чем большинство вызовов Природы, в которых вообще нет никакой справедливости. В самом деле, среди шести миллиардов из нас должно найтись хотя бы несколько человек, способных выходить за рамки своей зоны комфорта хотя бы время от времени.

Если оставить в стороне детали этой дискуссии, меня до сих пор поражает, как часто один-единственный элемент необычного без лишних вопросов принимается как абсолютное и непреодолимое препятствие.

Да, эвристика «старайся держаться как можно ближе к обычному» может быть полезной. Да, риски накапливаются. Но иногда приходится идти на эти сложности. Нужно осознавать риск экстраординарного, но также и цену обыденности: это не всегда то, что вы можете позволить себе потерять.

Многие люди представляют себе будущее, которое не принесет особой радости, — и им даже в голову не приходит попытаться его изменить. Или же они довольствуются вариантами будущего, в которых мне видится оттенок печали и утраты, и, кажется, даже не задаются вопросом, можем ли мы добиться лучшего — потому что эта грусть кажется им естественным исходом.

Как однажды сказал один улыбающийся человек: «Всё это часть плана».

*

1. Дайдодзи Юдзан и др., Будосёсинсю: напутствие начинающему воину Дайдодзи Юдзана (Black Belt Communications Inc., 1984).

2. Масаюки Симабукуро, Сверкающая сталь: овладение мастерством владения мечом Эйсин-рю (Frog Books, 1995).

310. Заткнись и сделай невозможное!

Добродетель цуёку наритай, «я хочу стать сильнее», заключается в том, чтобы всегда продолжать совершенствоваться — справляться лучше, чем при прошлых неудачах, а не просто смиренно признавать их.

Но есть уровень и выше, чем цуёку наритай. Это добродетель иссёкэнмэй, «прикладывать отчаянные усилия». Выкладываться полностью, словно на кону твоя жизнь. «В важных делах "сильные" усилия обычно приносят лишь посредственные результаты».

Но есть уровень и выше, чем иссёкэнмэй. Это добродетель, которую я назвал «приложить экстраординарные усилия». Пытаться действовать методами, отличными от тех, которым вас обучили, даже если это означает делать не то, что делают другие, и выходить из зоны комфорта. И даже идти на вполне реальный риск, сопряжённый с выходом за рамки Системы.

Но что, если даже экстраординарных усилий не хватит, потому что задача невозможна?

Кое-что на эту тему я уже писал в эссе «О совершении невозможного». Моё юное «я» раньше много ныло по этому поводу: «Нельзя разработать точную теорию разума так же, как точные физические теории. Это невозможно! Нельзя доказать корректность ИИ. Это невозможно! Ни один человек не способен постичь природу морали — это невозможно! Ни один человек не способен постичь тайну субъективного опыта! Это невозможно!»

И я точно знаю, какое послание хотел бы отправить в прошлое самому себе,