Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

«демократия», а аудитория теперь должна зааплодировать. Это не столько содержательное утверждение, сколько эквивалент табло «Аплодисменты», которое подсказывает зрителям в студии, когда нужно хлопать.

Этот случай примечателен разве что тем, что я ошибочно принял этот сигнал к аплодисментам за предложение конкретных мер, что привело к неловкости для всех участников. Большинство таких сигналов к аплодисментам гораздо очевиднее, и их можно обнаружить с помощью простого теста на обращение. Например, предположим, кто-то говорит:

Нам необходимо сбалансировать риски и возможности ИИ.

Если перевернуть это утверждение, получится:

Нам не нужно балансировать риски и возможности ИИ.

Поскольку противоположное утверждение звучит ненормально, исходное утверждение, скорее всего, нормально — а значит, не несёт новой информации. Существует множество веских причин произносить фразы, которые сами по себе неинформативны. Слова «Нам необходимо сбалансировать риски и возможности ИИ» могут служить введением к дискуссии, подчёркивать важность конкретного предложения по балансировке или критиковать несбалансированный подход. Связь с очевидным суждением может передать новую информацию ограниченному рационалисту — ведь сама эта связь может быть неочевидной. Но если никакой конкретики за этим не следует, фраза, скорее всего, служит просто сигналом к аплодисментам.

Мне порой хочется как-нибудь выступить с докладом, состоящим исключительно из сигналов к аплодисментам, и посмотреть, сколько времени пройдёт, прежде чем слушатели начнут смеяться:

Сегодня я пришёл сюда, чтобы предложить вам сбалансировать риски и возможности передового искусственного интеллекта. Нам следует избегать рисков и по возможности использовать открывающиеся возможности. Мы не должны без нужды подвергать себя совершенно ненужным опасностям. Для достижения этих целей мы обязаны планировать мудро и рационально. Нам не следует действовать под влиянием страха и паники или поддаваться технофобии, но не стоит и действовать в слепом энтузиазме. Мы должны уважать интересы всех сторон, заинтересованных в Сингулярности. Мы должны постараться сделать так, чтобы блага передовых технологий достались как можно большему числу людей, а не ограничивались узким кругом лиц. Мы должны всеми силами избегать вооружённых конфликтов с применением этих технологий и не допустить, чтобы колоссальная разрушительная мощь попала в руки отдельных лиц. Нам следует продумать эти вопросы до, а не после того, как станет слишком поздно что-либо предпринимать...

*

Часть C. Как замечать замешательство.

20. Сфокусируйте свою неопределенность.

Вырастут доходности облигаций, упадут или останутся прежними? Если вы телеэксперт и ваша работа состоит в том, чтобы объяснять результат задним числом, то причин для беспокойства нет. Независимо от того, какая из трех возможностей реализуется, вы сможете объяснить, почему этот исход идеально вписывается в вашу излюбленную рыночную теорию. Нет никаких причин считать эти три исхода чем-то противоречащим друг другу, чем-то взаимоисключающим, ведь вы получите высший балл за свою аналитику при любом раскладе.

Но погодите! Представьте, что вы начинающий телеэксперт и у вас еще недостаточно опыта, чтобы придумывать правдоподобные объяснения прямо на ходу. Вам нужно заранее подготовить тезисы для завтрашнего эфира, а время на подготовку ограничено. В этом случае было бы полезно знать, какой именно исход произойдет на самом деле — вырастут ли доходности облигаций, упадут или останутся прежними, — ведь тогда вам понадобилось бы подготовить всего один набор оправданий.

Увы, никто не может предвидеть будущее. Что же делать? Вы, конечно, не можете использовать «вероятности». Мы все знаем из школы, что «вероятности» — это циферки, которые стоят рядом с условием текстовой задачи, а здесь никаких циферок нет. Хуже того, вы чувствуете неопределенность. Вы не помните, чтобы чувствовали неопределенность, когда манипулировали циферками в школьных задачках. Университетские аудитории, где преподают математику, — места чистые и опрятные, следовательно, сама математика неприменима к жизненным ситуациям, далеким от чистоты и порядка. Вы ведь не хотите не к месту переносить мыслительные навыки из одного контекста в другой. Очевидно, что «вероятностям» здесь не место.

И тем не менее, у вас есть всего 100 минут на подготовку оправданий. Вы не можете потратить все 100 минут на вариант «вверх», еще 100 минут на вариант «вниз» и еще 100 минут на вариант «без изменений». Вам нужно как-то расставить приоритеты.

Если бы вам пришлось обосновывать распределение времени перед проверяющей комиссией, вам пришлось бы потратить равное количество времени на каждую возможность. Поскольку никаких циферок не записано, у вас не было бы никаких документов, оправдывающих разное распределение времени. Вы уже прямо-таки слышите голоса проверяющих: «И почему, мистер Финкледингер, вы потратили ровно 42 минуты на оправдание № 3? Почему не 41 или 43? Признайтесь — вы необъективны! Вы просто подыгрываете своим любимчикам!»

Но тут вы со слабым вздохом облегчения понимаете, что никакой комиссии, готовой вас отругать, не существует. И это хорошо, потому что завтра ожидается важное заявление Федеральной резервной системы, и крайне маловероятно, что цены на облигации останутся прежними. Вам совсем не хочется тратить 33 драгоценные минуты на оправдание, которое, по вашим ожиданиям, вряд ли понадобится.

Ваши мысли постоянно возвращаются к объяснениям, которые вы даете на телевидении, — о том, почему каждый из исходов правдоподобно согласуется с вашей теорией рынка. Но быстро становится ясно, что правдоподобность здесь не поможет: все три исхода правдоподобны. Степень соответствия вашей любимой теории рынка не подскажет, как распределить время. Между вашими 100 минутами времени, количество которых подчиняется закону сохранения, и вашей безграничной способностью объяснить, как исход согласуется с теорией, лежит непреодолимая пропасть.

И все же... даже находясь в состоянии неопределенности, вы, по-видимому, по-разному предвосхищаете эти три исхода; вы ожидаете, что одни оправдания понадобятся вам больше, чем другие. И — вот что самое удивительное — когда вы думаете о чем-то, из-за чего рост цен на облигации кажется более вероятным, вы чувствуете, что оправдания на случай их падения или сохранения на прежнем уровне понадобятся вам с меньшей вероятностью.

Кажется даже, что есть связь между тем, насколько сильно вы предвосхищаете каждый из трех исходов, и тем, сколько времени вы хотите потратить на подготовку соответствующего оправдания. Разумеется, эту связь невозможно выразить количественно. У вас есть 100 минут на подготовку выступления, но в этом деле с предвосхищением нет никакой сотни чего бы то ни было, которую можно было бы разделить. (Хотя вы все же понимаете, что если произойдет конкретный исход, то ваша функция полезности будет логарифмически зависеть от времени, потраченного на подготовку оправдания).

И все же... ваши мысли постоянно возвращаются к идее, что предвосхищение ограничено —