Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Попробуйте заняться поисками «благого дела», и ваш разум тут же подсунет вам стандартное клише. Научитесь умножать, и, возможно, вы распознаете по-настоящему важное дело, когда столкнетесь с ним.

Но если у вас есть такое дело, то правильно и естественно поставить свою рациональность ему на службу.

Строгое подчинение эстетики рациональности высшему делу — это часть самой эстетики рациональности. Вам стоит обратить внимание на эту эстетику: вы никогда не овладеете рациональностью настолько хорошо, чтобы побеждать любым оружием, если не научитесь ценить красоту саму по себе.

*

1. Мусаси, «Книга пяти колец».

290. Когда (не) следует использовать вероятности. Для некоторых читателей может стать сюрпризом, что я не всегда призываю использовать вероятности.

Или, скорее, я не всегда призываю к тому, чтобы люди, пытающиеся решить свои проблемы, пытались выдумывать вербальные вероятности, а затем применять законы теории вероятностей или теории принятия решений к какому-то числу, которое они только что взяли с потолка, и использовать результат в качестве своего окончательного убеждения или решения.

Законы вероятности — это законы, а не просто рекомендации, но зачастую истинный Закон слишком сложен для нас, людей, чтобы его рассчитать. Если P ≠ NP и у вселенной нет источника экспоненциальной вычислительной мощности, то существуют обновления свидетельств, слишком сложные для вычисления даже для сверхинтеллекта — хотя сами вероятности были бы вполне определенными, если бы мы могли позволить себе их рассчитать.

Так что иногда теорию вероятностей применять не стоит. Особенно если вы человек, а ваш мозг в ходе эволюции выработал всевозможные полезные алгоритмы для рассуждений в условиях неопределенности, которые не включают в себя вербальное присвоение вероятностей.

Не уверены, куда приземлится летящий мяч? Я не советую пытаться составить распределение вероятностей мест его падения, выполнять осознанное байесовское обновление при каждом взгляде на мяч и рассчитывать ожидаемую полезность всех возможных последовательностей двигательных команд для ваших мышц. Пытаясь поймать летящий мяч, вы, скорее всего, добьетесь большего успеха с помощью встроенных механизмов вашего мозга, чем используя сознательные вербальные рассуждения для изобретения вероятностей или манипулирования ими.

Но это не означает, что вы выходите за пределы теории вероятностей или встаете выше нее.

Аргументы о голландской книге ставок по-прежнему применимы. Если я предложу вам на выбор пари (10 000 долларов, если мяч приземлится в этом квадрате, против 10 000 долларов, если я брошу кубик и выпадет шестерка), а вы ответите так, что это не позволит присвоить непротиворечивые вероятности, то вы примете такие комбинации ставок, которые принесут гарантированный убыток, или отвергнете ставки, приносящие гарантированный выигрыш...

Что опять же не означает, будто вам следует пытаться использовать сознательные вербальные рассуждения. Полагаю, что по крайней мере для профессиональных бейсболистов поймать мяч гораздо важнее, чем присвоить непротиворечивые вероятности. В самом деле, если бы вы попытались выдумать вероятности, то вербальные вероятности могли бы оказаться не слишком точными по сравнению с интуитивным ощущением — бессловесным представлением неопределенности на задворках вашего сознания.

Словесно выраженная неопределенность не обладает никаким особым статусом, если только вербальные отделы вашего мозга действительно не работают над этой задачей лучше.

И хотя точные карты одной и той же территории неизбежно будут согласованы между собой, далеко не все согласованные карты точны. Гораздо важнее быть точным, чем непротиворечивым, и гораздо важнее поймать мяч, чем быть непротиворечивым.

На самом деле я обычно не советую выдумывать вероятности, если только у вас нет для них каких-то веских оснований. Это лишь вводит вас в заблуждение, заставляя верить, что вы больший байесианец, чем есть на самом деле.

Если конкретнее, в большинстве случаев я бы не советовал использовать нечисловые процедуры для создания того, что кажется числовыми вероятностями. Числа должны браться из чисел.

Конечно, в попытках перевести интуитивное ощущение неопределенности в вербальные вероятности есть свои плюсы. Это может помочь вам заметить такие проблемы, как ошибка конъюнкции. Это может помочь выявить внутренние противоречия — хотя, возможно, и не укажет способа их устранения.

Но не стоит думать, будто если вы переведете свое интуитивное ощущение в формат «один шанс из тысячи», то в случаях, когда вы произносите эти слова, соответствующее событие действительно будет происходить примерно один раз из тысячи. Ваш мозг не откалиброван настолько хорошо. Если же вместо этого вы сделаете что-то невербальное со своим интуитивным ощущением неопределенности, вы, скорее всего, только выиграете, потому что по крайней мере будете использовать интуицию именно так, как она и задумывалась.

Эта конкретная тема недавно всплывала в контексте Большого адронного коллайдера и аргумента, прозвучавшего на конференции по глобальным катастрофическим рискам:

Что мы не можем быть уверены в отсутствии ошибок в научных статьях, всесторонне доказывающих, что БАК никоим образом не может уничтожить мир. Более того, теория, использованная в этих статьях, может оказаться неверной. И в любом случае сохраняется вероятность того, что БАК может уничтожить мир. И следовательно, запускать его не следует.

Если бы аргумент был сформулирован именно так, у меня не возникло бы возражений против его эпистемологии.

Но докладчик фактически попытался присвоить вероятность не менее 1 из 1000 тому, что теория, модель или расчеты в статьях по БАК неверны; и вероятность не менее 1 из 1000 тому, что в случае неверности теории, модели или расчетов БАК уничтожит мир.

В конце концов, уж точно не столь невероятно, что будущие поколения отвергнут теорию, использованную в работах по БАК, или отвергнут модель, или, возможно, просто найдут ошибку. А если статьи по БАК неверны, то кто знает, к чему это может привести?

Что ж, это аргумент — но зачем присваивать ему числа?

Я возражаю против налета авторитетности, придаваемого этим взятым с потолка числам. В целом я считаю, что если вы не можете использовать вероятностный инструментарий для формирования своих ощущений неопределенности, вам не следует оказывать им такую честь и называть их вероятностями.

Альтернатива, которую я бы предложил в данном конкретном случае, состоит в том, чтобы обсудить общее правило о запрете физических экспериментов на том основании, что вы не можете быть абсолютно уверены в доводах, подтверждающих их безопасность.

Я утверждаю, что если вы сформулируете вопрос подобным образом, то ваш разум, рассматривая частоту событий, скорее всего, примет во внимание больше последствий этого решения и вспомнит больше подходящих исторических примеров.

Если вы обсуждаете только один этот случай с БАК и приписываете ему конкретные вероятности, то это (1) придает крайне шатким рассуждениям незаслуженный налет авторитетности, (2) скрывает