Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

которые вы и так способны представить. Задача выглядит невозможной, когда запрос вашего мозга не выдаёт никаких путей решения, ведущих к ней. Какой толк в отчаянных усилиях на любом из этих путей?

Приложить неординарные усилия? Выйти из зоны комфорта, опробовать нестандартные методы, даже попытаться мыслить творчески? Но легко представить, как человек возвращается и говорит: «Я попытался выйти из зоны комфорта, и, думаю, мне это удалось! Я устраивал мозговой штурм в течение пяти минут — и напридумывал кучу безумных творческих идей! Но вряд ли хоть одна из них достаточно хороша. Другой парень может просто продолжать отвечать „Нет“, что бы я ни делал».

И теперь мы, наконец, отвечаем: «Заткнись и сделай невозможное!»

Как мы помним из «Пытаться пробовать», намерение приложить усилия кардинально отличается от намерения победить. В этом и заключается проблема фразы «приложи неординарные усилия». Вы можете успешно справиться с задачей «приложить неординарные усилия», но так и не достичь цели «выбраться из ящика».

«Но! — возражает наш собеседник. — Но ведь «ПРЕУСПЕТЬ» — это не базовое действие! Не все задачи справедливы, иногда победить просто невозможно! Как я должен просто взять и решить оказаться вне ящика? Другой парень может просто продолжать говорить „Нет“!»

Верно. А теперь заткнись и сделай невозможное.

Ваша цель — не в том, чтобы справиться лучше, отчаянно пытаться или даже совершать неординарные усилия. Ваша цель — выбраться из ящика.

Принятие этого требования порождает в вашем разуме жуткое напряжение между невозможностью задачи и необходимостью выполнить её во что бы то ни стало. Люди будут пытаться сбежать от этого жуткого напряжения.

Кое-кто реагировал на эксперимент «ИИ в ящике» так: «Ну, Элиезер, играя за ИИ, вероятно, просто угрожал уничтожить мир, как только выберется, если его не выпустят немедленно» или «Может, ИИ предложил Привратнику триллион долларов, чтобы тот его выпустил». Но, как должен понимать любой разумный человек, поразмыслив над подобной стратегией, Привратник, скорее всего, просто продолжил бы говорить «Нет».

И смогли бы выбраться из ящика те люди, которые говорят: «Ну, конечно, Элиезер, должно быть, просто сделал ХХХ», а затем предлагают нечто такое, что совершенно очевидно не сработает? Они слишком сильно пытаются убедить себя, что эта задача не является невозможной.

Один из способов убежать от этого жуткого напряжения — ухватиться за решение, за любое решение, пусть даже оно не слишком хорошее.

Вот почему важно приступать к делу с искренним намерением решить задачу — к концу поисков выработать решение, хорошее решение, а затем воплотить его в жизнь и победить.

Я не совсем хочу сказать, что «вы должны ожидать, что решите задачу». Если бы вы взломали собственный разум так, чтобы приписать высокую вероятность тому, что решите задачу, это ничего бы не дало. В итоге вы бы просто проиграли — возможно, даже не приложив особых усилий, или приложив лишь отчаянные усилия в твёрдой вере, что Вселенная достаточно справедлива, чтобы в награду даровать вам победу.

Вера в то, что вы сможете решить задачу, — это лишь ещё один способ сбежать от этого жуткого напряжения.

И всё же — вы не можете браться за дело с целью просто попытаться его решить. Вы не можете нацеливаться лишь на то, чтобы приложить усилия. Вы должны быть нацелены на победу. Вы не должны говорить себе: «А теперь я сделаю всё, что смогу». Вы должны говорить себе: «А теперь я выясню, как выбраться из ящика» — или разложу сознание на лишённые таинственности составляющие, или что угодно ещё.

Повторю ещё раз: вы действительно должны быть намерены решить задачу. Если в глубине души вы верите, что задача и в самом деле невозможна — или верите, что именно вы потерпите неудачу, — то вы не станете предъявлять к себе достаточно высоких требований. Вы будете пытаться только ради самой попытки. Вы сядете, проведёте мысленный поиск, постараетесь подойти творчески и немного поштурмуете мозг, просмотрите все сгенерированные решения, сделаете вывод, что ни одно из них не работает, и скажете: «Ну и ладно».

Нет! Ничего не ладно! Вы ещё не победили! Заткнитесь и сделайте невозможное!

Когда специалисты по ИИ говорят мне: «Дружественный ИИ невозможен», я почти уверен, что они даже не пытались ради самой попытки. Но если бы они действительно знали технику «Попробуй пять минут, прежде чем сдаться» и послушно согласились бы пробовать пять минут по часам, они всё равно ничего бы не придумали. Они взялись бы за дело не с истинным намерением решить задачу, а лишь с намерением совершить попытку её решить, чтобы иметь оправдание.

Так неужели я утверждаю, что вам нужно прибегнуть к двоемыслию, чтобы заставить себя поверить, будто вы решите задачу с вероятностью 1? Или даже двоемыслить, чтобы прибавить хоть одну йоту уверенности к вашей истинной оценке?

Конечно нет. На самом деле необходимо полностью держать перед глазами причины, по которым вы не можете преуспеть. Если вы упустите из виду, почему задача невозможна, вы просто ухватитесь за ложное решение. Последний факт, который вы захотите забывать, — это то, что Привратник всегда может просто сказать ИИ «нет», или что сознание кажется принципиально отличным от любой возможной комбинации атомов и так далее.

(Одно из ключевых Правил совершения невозможного гласит: если вы можете точно сформулировать, почему что-то невозможно, вы зачастую близки к решению.)

Поэтому вам приходится удерживать в уме оба взгляда одновременно — видеть полную невозможность задачи и всё же намереваться её решить.

Жуткое напряжение между двумя одновременными взглядами возникает из-за незнания, какой из них возобладает. Вы не ожидаете наверняка проиграть, но и не ожидаете наверняка победить. Вы не берётесь за дело просто для того, чтобы попробовать, просто чтобы иметь смутный шанс на успех — ведь тогда у вас была бы твёрдая уверенность в том, что вы хотя бы попытались. Определённость неопределённости может приносить облегчение, и вы должны отвергнуть и это облегчение тоже, потому что оно знаменует конец отчаяния. Это промежуточное состояние, «не веданное смертью и не знаемое жизнью».

В художественной литературе легко показать кого-то, кто старается сильнее, или отчаянно пытается, или даже замахивается на нечто из ряда вон выходящее, но очень трудно показать того, кто просто затыкается и берётся за невозможное. Трудно изобразить Бэмби, решившего бросить вызов Годзилле, так, чтобы ваши читатели действительно не знали, кто победит, — не ожидая ни «изумительной» героической победы, прямо как в прошлые пятьдесят раз, ни закономерного превращения в лепёшку.

Возможно, в этот момент вы даже будете