Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

возвращаясь к социальному языку Традиционной Рациональности — не думайте, что вам сойдёт с рук отговорка, будто иметь произвольные убеждения о XYZ — это нормально, поскольку у других людей тоже есть произвольные убеждения. Если обе стороны договора ведут себя одинаково скверно, человеческий судья может решить не накладывать штрафы ни на одну из них. Но если два инженера спроектируют свои двигатели одинаково плохо, ни один из двигателей не заработает. Одна ошибка проектирования не может служить оправданием для другой. Даже если я делаю XYZ неправильно, это вам не поможет и не освободит вас от правил; это просто означает, что нам обоим крышка.

С точки зрения человеческого закона в либеральных демократиях, каждый имеет право на собственные убеждения. С точки зрения законов Природы, у вас нет права на точность. Мы не арестовываем людей за веру в странные вещи — по крайней мере, в более разумных странах. Но никто не может отменить закон, согласно которому вам необходимы свидетельства для формирования точных убеждений. Даже голосование всего человечества не поможет снискать милосердия в суде Природы.

Физики не устанавливают законы физики, они лишь угадывают их. Рационалисты не устанавливают законы рациональности, мы лишь угадываем их. Нельзя «рационализировать» то, что изначально не является рациональным. Если благодаря необычайной убедительности вы заставите всех физиков мира поверить, что освобождены от закона всемирного тяготения, и шагнёте с обрыва, вы всё равно упадёте. Даже фраза «Мы не устанавливаем» слишком антропоморфна. Не существует высшей инстанции, которая могла бы освободить вас от этих законов. Есть только причина и следствие.

Помните об этом, когда будете просить освободить вас от правил всего один разок. Мы не можем освободить вас. Решать не нам.

*

128. Оставьте путь к отступлению. Когда окружаете врага. Всегда оставляйте ему путь к спасению. Он должен видеть, что есть. Альтернатива смерти. — Сунь-цзы, «Искусство войны»1.

Не повышай давление, сделай стену ниже. — Лоис Макмастер Буджолд, Комарр2

Как-то раз мне довелось беседовать с нерационалисткой, которая каким-то образом забрела на встречу местных рационалистов. Она как раз заявила: (а) она верит в душу и (б) не верит в крионику, потому что считает, что душа не останется в замороженном теле. Я спросил: «Но откуда вы это знаете?» По замешательству, мелькнувшему на её лице, стало предельно ясно, что этот вопрос никогда не приходил ей в голову. Я говорю это не в упрёк — она показалась мне приятным человеком, совершенно не обученным рациональности, как и большинство остальных людей. Мне действительно нужно написать эту книгу.

Большая часть последующего разговора касалась вопросов, которые уже разбирались в Overcoming Bias — если вам действительно что-то интересно, вы, скорее всего, сможете найти хороший способ это проверить; сначала стремитесь сформировать точные убеждения, а уже потом позволяйте эмоциям из них вытекать — и всё в таком духе. Но этот разговор напомнил мне об одной концепции, которой я здесь ещё не касался:

«Постарайтесь, — предложил я ей, — представить себе, каким был бы мир, если бы душ не существовало, и что бы вы тогда делали. Не думайте обо всех причинах, по которым этого быть не может, просто примите это как допущение, а затем представьте последствия. Чтобы вы могли подумать: „Ну, если душ нет, я могу просто записаться на крионику“ или „Если Бога нет, я всё равно могу продолжать поступать нравственно“, вместо того чтобы воспринимать это как нечто слишком ужасное, чтобы смотреть ему в лицо. Из чувства самоуважения стоит пытаться верить в правду, какой бы неудобной она ни была, как я уже говорил; но, учитывая человеческую природу, это помогает сделать саму эту мысль менее пугающей ещё до того, как вы попытаетесь оценить подтверждающие его доказательства».

Принцип этой техники прост: вам нужно поступить с собой так же, как Сунь-цзы советует поступать с врагами — оставить себе путь к отступлению, чтобы отступать было не так трудно. Перспектива, скажем, потерять работу может казаться гораздо более пугающей, когда вам даже думать об этом невыносимо, чем после того, как вы точно рассчитали, на сколько хватит ваших сбережений, изучили рынок труда в вашем регионе и детально спланировали свои дальнейшие действия. Только тогда вы будете готовы непредвзято оценить вероятность сохранения работы при планируемых в следующем месяце сокращениях. Будьте истинным трусом и детально спланируйте своё отступление — представьте каждый шаг — желательно ещё до того, как впервые ступите на поле боя.

Расчёт на то, что представить неприятное положение дел в качестве мысленного эксперимента требует меньше мужества, чем оценивать, насколько вероятно, что оно окажется правдой. Но когда вы сделаете первое, вам станет легче сделать второе.

Помните, что байесианство математически точно: даже если пугающее утверждение действительно должно казаться маловероятным, всё равно важно абсолютно непредвзято взвесить все свидетельства «за» и «против», чтобы прийти к рациональной количественной вероятности. Визуализация пугающего убеждения не означает признание того, что в глубине души вы считаете его, скорее всего, истинным. Вы можете представить пугающее убеждение просто из общих соображений гигиены ума. «Мысль, которую вы не можете помыслить, управляет вами сильнее, чем мысли, которые вы высказываете вслух» — и это верно, даже если немыслимая мысль ложна!

Применение техники «оставь себе путь к отступлению» действительно требует определённого минимума честности перед самим собой.

Для начала: вы должны быть способны хотя бы признаться себе, какие именно идеи вас пугают, а к каким вы привязаны. Но это испытание куда менее суровое, чем непредвзятый подсчёт свидетельств в пользу пугающей вас идеи. Поможет ли, если я скажу, что мне и самому доводится использовать эту технику? В конце концов, рационалист не отвергает эмоции полностью. Есть идеи, которые меня пугают, но я всё равно считаю их ложными. Есть идеи, к которым, как я знаю, я привязан, но я всё равно считаю их истинными. И всё же я планирую своё отступление — не потому, что планирую отступать, а потому, что заблаговременное планирование отступления помогает мне размышлять над проблемой без привязанности.

Однако куда более серьёзное испытание на честность перед собой — действительно принять дискомфортное утверждение как допущение и разобраться, как бы вы на самом деле с этим справлялись. Сталкиваясь с неприятной мыслью, мы первым делом естественным образом пытаемся придумать все возможные причины, почему этого просто не может быть. И потому вы неизбежно столкнётесь с определённым психологическим сопротивлением в самом себе, если попытаетесь