Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Прежде всего, дело не в том, что кто-то просто показал мне список утверждений вроде приведенного выше, а я решил, какие из них звучат «интуитивно». Помимо прочего, если вы попытаетесь нарушить «утилитаризм», то столкнетесь с парадоксами, противоречиями, циклическими предпочтениями и прочими вещами, которые являются признаками не столько моральной неправоты, сколько моральной несогласованности.

Поразмыслив некоторое время над моральными проблемами, открыв новые истины об окружающем мире и даже обнаружив тревожные факты о том, как вы сами устроены, вы часто приходите к совершенно иным моральным взглядам, нежели те, с которых начинали. Это не совсем определяет моральный прогресс, но именно так мы его переживаем.

В своем опыте морального прогресса я провел концептуальное различие между вопросами типа «Куда нам идти?» и вопросами типа «Как нам туда добраться?» (Может быть, именно это имеет в виду Гаудер, называя меня «утилитаристом»?)

На вопрос о том, куда ведет дорога, можно ответить, пройдя по ней и выяснив это. Если у вас есть ложное убеждение о том, куда ведет дорога, это заблуждение может быть разрушено истиной самым прямым и очевидным образом.

Когда дело доходит до желания оказаться в определенном месте, это желание не обладает абсолютным иммунитетом против разрушительной силы истины. Вы можете прийти туда и обнаружить, что впоследствии жалеете об этом (что не определяет моральную ошибку, но именно так мы переживаем моральные ошибки).

Но даже в этом случае желание оказаться в определенном месте, судя по всему, стоит отличать от желания пойти именно по этой конкретной дороге в это определенное место.

Наши интуиции о том, куда идти, достаточно спорны, но наши интуиции о том, как туда добраться, откровенно сломаны. После двести восемьдесят седьмого исследования, показывающего, что люди готовы отрубить себе ноги, если сформулировать проблему неверным образом, начинаешь с недоверием относиться к первым впечатлениям.

Когда прочитаешь достаточно исследований о нечувствительности к масштабу — люди готовы заплатить всего на 28% больше ради защиты всех 57 заповедных зон в Онтарио, чем ради одной-единственной, люди готовы пожертвовать одинаковую сумму на спасение что 50 000 жизней, что 5000... и всё в таком духе...

Так вот, худший случай нечувствительности к масштабу, о котором я когда-либо слышал, был описан здесь Словиком:

Другие недавние исследования показывают схожие результаты. Два израильских психолога попросили людей сделать пожертвование на дорогостоящее жизненно необходимое лечение. Они могли внести этот вклад в пользу группы из восьми больных детей или в пользу одного конкретного ребенка, выбранного из этой группы. Целевая сумма, необходимая для спасения ребенка (или детей), в обоих случаях была одинаковой. Пожертвования в пользу отдельных членов группы значительно превзошли пожертвования в пользу группы в целом.1

Есть и другие исследования в том же духе, но я привожу только один пример, потому что, знаете ли, восемь примеров, пожалуй, произвели бы меньшее впечатление.

Если вам знакома общая экспериментальная парадигма, то причина такого поведения вполне очевидна: сосредоточение внимания на одном ребенке вызывает более сильный эмоциональный отклик, чем попытка распределить внимание сразу на восьмерых детей. В результате люди готовы заплатить больше, чтобы помочь одному ребенку, а не восьмерым.

Конечно, можно посмотреть на эту интуицию и подумать, будто она раскрывает какую-то невероятно глубокую моральную истину, согласно которой благополучие одного ребенка каким-то образом обесценивается благополучием других детей.

Но как быть с миллиардами других детей в мире? Почему тогда не считать плохой идеей помощь этому одному ребенку, если из-за этого падает ценность всех остальных детей? Как может быть значительно лучше, когда счастливых детей 1 329 342 410, а не 1 329 342 409, но при этом в каком-то смысле хуже, когда их становится на семь больше — 1 329 342 417?

Или можно посмотреть на это и сказать: «Интуиция ошибочна: мозг просто не в состоянии успешно умножить на восемь и получить величину больше исходной. Но с нормативной точки зрения он должен это делать».

И как только вы понимаете, что мозг не умеет умножать на восемь, другие случаи игнорирования масштаба перестают казаться откровением какой-то фундаментальной истины о том, что 50 000 жизней заслуживают ровно тех же усилий, что и 5000, или чего-то подобного. У вас больше не возникает ощущения, будто перед вами раскрывается глубокая моральная истина о неаггломеративных полезностях. Просто мозг, черт возьми, не умеет умножать. Числа просто выбрасываются за борт.

Если у вас есть 100 долларов и вы потратите по 20 долларов на каждую из 5 программ по спасению 5000 жизней, результат будет хуже, чем если бы вы потратили все 100 долларов на одну программу по спасению 50 000 жизней. То же самое верно, если такой выбор делают 10 разных людей, а не один человек. Как только вы начинаете верить, что спасти 50 000 жизней лучше, чем 25 000, это простое предпочтение конечных исходов влияет на выбор путей, когда вы рассматриваете пять различных событий, спасающих по 5000 жизней.

(Согласно общему принципу, байесовцы не видят разницы между долгосрочным и краткосрочным ответами; вы никогда не получите два разных ответа, вычисляя ответ на один и тот же вопрос двумя разными способами. Но долгосрочная перспектива — полезный «насос интуиции», поэтому я все равно о ней говорю.)

Аггломеративная стратегия оценки «заткнись и умножай» возникает из простого предпочтения получить больше чего-либо — спасти как можно больше жизней, — когда вам приходится формулировать общие принципы для многократного выбора, многократных действий и планирования на разные моменты времени.

Аггломерация также возникает из утверждения, что локальный выбор спасти одну жизнь не зависит от того, сколько жизней уже существует где-то далеко, на другом конце планеты или на другом краю Вселенной. Три жизни — это одна, одна и одна. Неважно, сколько миллиардов живут лучше или хуже. 3 = 1 + 1 + 1, какие бы другие величины вы ни добавляли к обеим частям уравнения. А если добавить еще одну жизнь, получится 4 = 1 + 1 + 1 + 1. В этом и заключается аггломерация.

Когда вы изучите достаточно исследований об эвристиках и искажениях, достаточно доказательств согласованности и единственности для байесовских вероятностей и ожидаемой полезности, а также увидите эффекты «голландской книги ставок» и «денежного насоса», которые наказывают за любые другие попытки работать с неопределенными исходами, тогда вы перестанете видеть в инверсии предпочтений в парадоксе Алле откровение невероятно глубокой моральной истины о внутренней ценности определенности. Это лишний раз доказывает, что мозг, черт возьми, не умеет умножать.

Примитивные интуиции на уровне восприятия,