Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Ни один план не гарантирует успех со стопроцентной уверенностью. Поэтому по умолчанию, когда вы говорите о намерении достичь цели, вы не имеете в виду, что ваш план абсолютно и безупречно ведет только к этому исходу. Но произнося «Я собираюсь щелкнуть выключателем», вы пытаетесь именно щелкнуть им, а не пытаетесь добиться вероятности щелчка в 97,2%.

Так что же значит, когда кто-то говорит: «Я попытаюсь щелкнуть этим выключателем»?

Что ж, в повседневной речи «я щелкну выключателем» и «я попытаюсь щелкнуть выключателем» означают примерно одно и то же, разве что второй вариант допускает возможность неудачи. Именно поэтому я сначала обиделся на Йоду — мне показалось, будто он отрицает саму эту возможность. Но потерпите еще немного.

Значительная часть жизненных трудностей состоит в том, чтобы удерживать себя на достаточно высоком уровне требований. Возможно, позже я поговорю об этом принципе подробнее, ведь это призма, через которую можно взглянуть на многие (хотя и не все) личные дилеммы: «Какую планку требований я себе ставлю? Достаточно ли она высока?»

И если многие жизненные неудачи происходят из-за слишком низкой планки требований к себе, то стоит опасаться требовать от себя слишком малого — ставить цели, которых слишком легко достичь.

Зачастую там, где очень трудно преуспеть, пытаться это сделать — гораздо легче.

Что проще — построить успешный стартап или попытаться построить успешный стартап? Заработать миллион долларов или попытаться заработать миллион долларов?

Таким образом, если фраза «я щелкну выключателем» по умолчанию означает, что вы собираетесь попытаться щелкнуть выключателем — то есть составить план, который обещает привести к включенному состоянию, пусть и не с вероятностью в 100%, но с максимально возможной для вас вероятностью, —

— тогда фраза «я собираюсь „попытаться щелкнуть“ выключателем» означает, что вы собираетесь попытаться «попытаться щелкнуть выключателем», то есть попытаться достичь целевого состояния «наличие плана, который может привести к щелчку».

Если бы речь шла о самомодифицирующемся ИИ, проделанная нами трансформация должна была бы закончиться рефлексивным равновесием — ИИ планировал бы собственные операции планирования.

Но когда мы имеем дело с людьми, удовлетворение от наличия плана — это совсем не то же самое, что удовлетворение от успеха. Момент, когда план должен максимизировать вероятность вашего успеха, теряется по дороге. Нам гораздо проще убедить себя в том, что мы «максимизируем вероятность успеха», чем в том, что мы действительно преуспеем.

Практически любого усилия будет достаточно, чтобы убедить себя, будто мы «сделали всё возможное», если делать всё возможное — это единственное, чего мы пытаемся добиться.

Вы спрашивали, что вы могли бы сделать перед лицом великих событий, которые сейчас назревают, и обнаружили, что не можете ничего. Но это лишь потому, что ваши страдания заставили вас неверно сформулировать вопрос... Вместо того чтобы спрашивать, что вы могли бы сделать, вам следовало спросить себя, что необходимо сделать.

— Стивен Браст, «Дороги мёртвых»1

Когда вы спрашиваете: «Что я могу сделать?», вы пытаетесь сделать всё возможное. Что значит «всё возможное»? Это всё, что вы можете сделать без малейших неудобств. Это всё, что вы можете сделать на те деньги, что лежат у вас в кармане, за вычетом суммы на привычный обед. Ваши шансы на победу с такими ресурсами могут оказаться не слишком высоки. Но ведь это «всё, что было в ваших силах», а значит, вы поступили вполне оправданно, верно?

Но что необходимо сделать? Возможно, то, что необходимо сделать, потребует втрое больше всех ваших сбережений, и вы должны как-то их раздобыть, иначе потерпите крах.

Так что стремление «максимизировать вероятность успеха» — в отличие от стремления преуспеть — представляет собой гораздо менее серьезный барьер. Вы можете «максимизировать вероятность успеха», имея лишь карманную мелочь, если только вы не требуете от себя самой победы.

Хотите попробовать заработать миллион долларов? Купите лотерейный билет. Ваши шансы на выигрыш не так уж велики, но вы ведь попробовали, а этого вы и хотели. На самом деле вы приложили максимум усилий, поскольку у вас остался всего один доллар после обеда. Максимизация шансов на достижение цели с помощью имеющихся ресурсов — разве это не разумное поведение?

И только когда вы больше всего на свете хотите действительно щелкнуть выключателем — без всяких кавычек и утешительных призов просто за попытку, — вы действительно приложите усилия к тому, чтобы действительно максимизировать эту вероятность.

Но если всё, чего вы хотите, — это «максимизировать вероятность успеха с помощью имеющихся ресурсов», то убедить себя в том, что вы это сделали, — проще всего на свете. Самый первый план, который придет вам в голову, вполне сойдет за «максимизацию» — при необходимости вы можете придумать худшую альтернативу, чтобы доказать его оптимальность. А любой крошечный ресурс, который вы соизволите вложить, окажется тем самым «имеющимся». Не забудьте поздравить себя с тем, что вложили его на все 100%!

Не пытайтесь сделать «всё возможное». Победите или проиграйте. Никакого «всего возможного» не существует.

*

1. Стивен Браст, «Дороги мёртвых», т. 1 серии «Виконт Адриланки» (Tor Books, 2002).

307. Используй «постарайся получше», Люк. Когда есть воля к провалу, препятствия всегда найдутся. — Джон Маккарти.

Впервые я посмотрел «Звёздные войны» (эпизоды IV–VI), когда был совсем ребёнком. Лет в семь, может, в девять? Память моя была смутной, но я помнил Люка Скайуокера как, ну знаете, крутого парня-джедая.

Представьте мои ужас и разочарование, когда много лет спустя я пересмотрел сагу и обнаружил, что Люк был нытиком-подростком.

Я упоминаю об этом потому, что вчера искал на YouTube первоисточник цитаты Йоды: «Делай или не делай. Никаких попыток».

О. Мой. Ктулху.

Представляю вашему вниманию малоизвестный вырезанный фрагмент сцены, в котором режиссёр и сценарист Джордж Лукас спорит с Марком Хэмиллом, сыгравшим Люка Скайуокера:

ЛЮК: «Ладно, я попробую».

ЙОДА: «Нет! Не пробуй. Делай или не делай. Никаких попыток».

Люк поднимает руку, и крестокрыл начинает медленно подниматься из воды — глаза Йоды округляются — но затем корабль снова погружается в воду.

Марк Хэмилл: «Эм, Джордж...»

Джордж Лукас: «Что на этот раз?»

Марк: «Ну... согласно сценарию, дальше я говорю: „Я не могу. Он слишком большой“».

Джордж: «Всё верно».

Марк: «Может, Люку стоит попробовать ещё разок?»

Джордж: «Нет. Люк сдаётся и садится рядом с Йодой...»

Марк: «И это герой, который собирается сокрушить