Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

правы, если откажетесь от использования вероятностей. По правде говоря, я действительно не знаю, как оценить вероятность решения невозможной задачи, за которую я взялся с твёрдым намерением её решить, — в ситуации, когда я уже решал какие-то невозможные задачи в прошлом, но конкретно эта невозможная задача труднее всего, что я когда-либо решал, но при этом я планирую работать над ней дольше, и так далее.

Люди спрашивают меня, какова вероятность того, что человечество выживет, или какова вероятность того, что кто-то сможет создать Дружественный ИИ, или какова вероятность того, что его смогу создать я. Я действительно не знаю, что ответить. Я не увиливаю от ответа; я правда не знаю, как оценить вероятность того, что я или кто-то другой успешно заткнётся и сделает невозможное. Равна ли эта вероятность нулю, потому что задача невозможна? Очевидно, нет. Но насколько вероятно, что эта задача, подобно предыдущим, лишится своей неприступной пустоты, когда я пойму её лучше? Она не является абсолютно невозможной, это-то я вижу. Но невозможна ли она для человека? Невозможна ли конкретно для меня? Я не знаю, как это угадать. Я не могу даже перевести своё интуитивное ощущение в число, потому что единственное интуитивное ощущение у меня состоит в том, что этот «шанс» сильно зависит от моих решений и от неизвестных неизвестных — это даёт крайне нестабильную вероятностную оценку.

Но я всё же надеюсь, что к этому моменту прояснил, почему вам не следует паниковать, когда я прямо и откровенно говорю, что создание Дружественного ИИ невозможно.

Надеюсь, это отчасти объясняет моё отношение, когда люди приходят ко мне с различными блестящими идеями о создании сообществ ИИ, чтобы сделать всю систему в целом Дружественной без необходимости доверять какому-то отдельному агенту, или с проектами по удержанию ИИ в ящике, или с предложениями в духе «Просто создайте ИИ, который делает X» и так далее. Описание конкретных изъянов в каждом случае было бы отдельной долгой историей. Но общее правило гласит, что вы не можете этого сделать, потому что Дружественный ИИ невозможен. Поэтому вам действительно стоит относиться крайне подозрительно к любому, кто предлагает решение, требующее, по всей видимости, лишь обычных усилий — даже без того, чтобы взять на себя труд совершить хоть что-то невозможное. Впрочем, для осознания этой невозможности требуется зрелое понимание, так что нет ничего удивительного в том, что люди повсюду предлагают хитрые обходные пути.

Что касается эксперимента «ИИ в ящике», то до сих пор меня удалось убедить раскрыть лишь единственную крупицу информации о том, как я это сделал, — когда кто-то заметил, что я читаю Hacker News от Y Combinator, и опубликовал тему под названием «Спроси Элиезера Юдковского», которая благодаря голосам пользователей попала на главную страницу. На что я ответил:

О боже. Теперь я чувствую себя обязанным сказать хоть что-то, но все изначальные доводы против обсуждения эксперимента «ИИ в ящике» по-прежнему в силе...

Хорошо, вот вам подсказка:

Здесь нет никакого сверххитрого особого трюка. Я просто пошёл сложным путём.

Полагаю, в этом есть своего рода предпринимательский урок.

Не было никакого сверххитрого особого трюка, который позволил бы мне выбраться из ящика ценой дешёвых усилий. Я не подкупал другого игрока и никак иначе не нарушал дух эксперимента. Я просто пошёл сложным путём.

Надо признать, эксперимент «ИИ в ящике» изначально вовсе не казался мне невозможной задачей. Когда кто-то не может придумать ни одного аргумента, способного в чём-то его убедить, это лишь означает, что его мозг выполняет поиск, который пока не обнаружил путь. Это не значит, что человека невозможно убедить.

Но это иллюстрирует общую мысль: «Заткнись и сделай невозможное» вовсе не то же самое, что надежда найти дешёвый выход. Это лишь ещё одна разновидность бегства, попытка облегчить себе жизнь.

Цуёку наритай приносит больше стресса, чем удовлетворенность тем, кто ты есть. Иссёкэнмэй призывает вашу волю к судорожному выплеску привычных сил. Требование «приложить экстраординарные усилия» заставляет вас думать; оно ставит вас в ситуации, когда вы можете не знать, что делать дальше, сомневаясь, правильно ли вы поступаете. Но «Заткнись и сделай невозможное» представляет собой ещё более высокую октаву того же самого, и цена, которую платит тот, кто его применяет, соответственно выше.

Перед вами высится грозная глухая стена, уходящая всё выше и выше, невообразимо далеко за пределы досягаемости. И в то же время есть необходимость решить задачу — действительно решить её, а не просто «сделать всё, что в ваших силах». Оба этих осознания присутствуют в разуме одновременно, и между ними возникает напряжение. Все причины, по которым вы не можете победить. Все причины, по которым вы обязаны это сделать. Ваше намерение решить проблему. Ваша экстраполяция, согласно которой каждый известный вам метод потерпит неудачу. И тогда вы настраиваете себя на самую высокую ноту, на которую способны. Отвергаете любые дешёвые лазейки. И затем, словно шагая сквозь бетон, начинаете движение вперёд.

Я стараюсь не слишком зацикливаться на драматизме подобных вещей. Безусловно, если вы можете снизить цену этого напряжения для себя, вам следует так и поступить. Нет ничего героического в том, чтобы прилагать усилия хотя бы на каплю более героические, чем необходимо. Если действительно существует простой обходной путь, полагаю, вы вполне можете им воспользоваться. Но мне ещё только предстоит найти дешёвый выход хоть из одной «невозможности», за которую я брался.

Помимо тех, что описаны на странице по ссылке, было ещё три эксперимента «ИИ в ящике», которые я так и не собрался туда добавить. Люди начали предлагать мне тысячи долларов в качестве ставок: «Я заплачу тебе 5000 долларов, если ты сможешь убедить меня выпустить тебя из ящика». Не похоже было, что они искренне верили, будто даже сверхразумный ИИ не сможет заставить их выпустить его, — им просто было любопытно, но меня соблазнили деньги. Поэтому, убедившись, что они могут позволить себе проиграть такую сумму, я сыграл ещё три раунда эксперимента «ИИ в ящике». Первый я выиграл, а следующие два проиграл. И тогда я решил остановиться. Мне не понравилось, в кого я превращаюсь, когда начинаю проигрывать.

Я приложил отчаянные усилия и всё равно проиграл. Это было больно — и сам проигрыш, и это отчаяние. Это совершенно выбило меня из колеи на весь тот день и на следующий.

Я не умею проигрывать. Не знаю, можно ли назвать это «сильной стороной», но это одна из тех вещей, что заставляют меня продолжать биться над невозможными задачами.

Но вы можете