Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Если исходить из предположения, что каждый по умолчанию является альтруистическим акратиком (тем, кто хотел бы делать больше, но не может себя заставить), — или, по крайней мере, что большинство интересующих нас потенциальных сторонников подходят под это описание, — тогда грызня по поводу того, какое начинание лучше всего поддерживать, может привести к снижению общего объёма альтруизма.

«Но ведь доллары взаимозаменяемы, — возразите вы. — Доллар, потраченный на одно дело, действительно нельзя потратить на другое!» На что я отвечу: но люди как когнитивные системы вовсе не являются максимизаторами ожидаемой полезности. Доллары списываются с разных мысленных счетов и при разных обстоятельствах требуют разного количества силы воли (которая и есть истинный ограничивающий ресурс). В рамках мысленного учёта люди стремятся распределять свои пожертвования, чтобы минимизировать сожаления в случае неудачи одного из начинаний, так что рассказ о дополнительном проекте может лишь увеличить общую сумму, которую они готовы пожертвовать.

Разумеется, у принципа благожелательной терпимости есть свои границы. Если чей-то любимый проект — обучение сальсе, было бы огромной натяжкой заявить, будто эти люди работают над достойной подзадачей великого общего проекта Нового Просвещения ради человеческого прогресса.

Но в той мере, в какой некая задача действительно является делом, выполнения которого вы желали бы на благо человечества... придирчивые сравнения этого проекта с Вашим-Самым-Любимым-Проектом могут помочь вашему собственному начинанию далеко не так сильно, как кажется. Возможно, нам стоит приучить себя говорить практически на любых площадках: «Вот крутой рационалистический проект», а не «Только мой проект приносит наивысшую отдачу в виде ожидаемых утилонов на предельный доллар». Если кто-то достаточно хладнокровный, чтобы максимизировать ожидаемую полезность взаимозаменяемых денег без оглядки на эмоциональные побочные эффекты, прямо об этом спросит, мы могли бы направить его на специализированный подфорум, где каждый претендующий на высший приоритет бьётся за первенство. Хотя, если всё пойдёт хорошо, те проекты, что действительно имеют серьёзные основания жаловаться на обделённость вниманием, привлекут больше инвестиций, их предельная доходность упадёт, и победитель среди конкурирующих притязаний перестанет быть очевидным.

Если существует множество рационалистических проектов, выигрывающих от повышения ватерлинии здравомыслия, то их взаимная терпимость и совместный вклад в распространение рациональности гипотетически могут столкнуться с проблемой общего достояния. Но с этим, кажется, не так уж трудно справиться: если какая-то группа не желает делиться созданными ею рационалистами или упоминать при них о том, что могут существовать другие проекты Нового Просвещения, то любые общие централизованные рационалистические ресурсы могут просто убрать упоминание их проекта как крутого дела.

Хотя всё это — идеалистическая и устремлённая в будущее мысль, польза для всех нас могла бы заключаться в том, что мы обнаружим важные вещи, которые упускаем прямо сейчас. У столь многих рационалистических проектов сторонников мало, и они разбросаны по миру; если бы мы все могли считать себя частью Общего Проекта человеческого прогресса, Нового Просвещения, вероятность найти десятерых из нас в любом отдельно взятом городе стала бы существенно выше. Сейчас сторонникам многих из этих проектов бывает немного одиноко. Рациональность, возможно, и не самая важная вещь в мире — ею, разумеется, является то, что мы защищаем, — но это крутая вещь, которая объединяет многих из нас. Мы могли бы многое приобрести, если бы стали идентифицировать себя в том числе и как рационалисты.

*

323. Беспомощные индивиды.

Если учесть, что наши групповые инстинкты оптимизированы для общин охотников-собирателей численностью около 50 человек, где все знают друг друга, начинает казаться чудом, что современные крупные институты вообще выживают.

Ну — существуют правительства со специализированными армиями и полицией, способные собирать налоги. Это чуждый нашим предкам уклад, который восходит к возникновению оседлого земледелия и извлекаемых излишков; человечество до сих пор с трудом приспосабливается к нему.

Существуют корпорации, в которых денежные потоки контролируются централизованным руководством, — еще один чуждый предкам уклад, восходящий к появлению крупной торговли и профессиональной специализации.

А в мире с огромным населением и тесными контактами мемы эволюционируют, становясь гораздо более вирулентными, чем в среднем в первобытной среде; эти мемы грозят вечным проклятием, обещают рай и опираются на класс профессиональных жрецов для своего распространения.

Но по большому счету ответ на вопрос «Как выживают крупные институты?» звучит так: «Никак!» Подавляющее большинство крупных современных институтов — некоторые из которых жизненно важны для функционирования нашей сложной цивилизации — попросту даже не возникают.

Впервые я осознал это, когда понял, как финансируется Наука: а именно, не за счет частных пожертвований отдельных людей.

Традиционно Наука финансируется правительствами, корпорациями и крупными фондами. Мне довелось лично убедиться, что собрать деньги на Науку с частных лиц поразительно трудно. Если только речь не идет об исследованиях болезни, калечащей своих жертв — да и то не факт.

Почему? На самом деле люди просоциальны; они дают деньги, например, приютам для щенков. Наука — один из величайших общественных интересов, и люди даже прекрасно это понимают. Почему же тогда не Наука?

Любой конкретный научный проект — скажем, изучение генетики трипанотолерантности у крупного рогатого скота — эмоционально не подходит для индивидуальной благотворительности. У науки длинный временной горизонт, требующий постоянной поддержки. Промежуточные или даже итоговые пресс-релизы вряд ли способны вызвать сильные эмоции. Вы не можете пойти туда волонтером; это работа для специалистов. Фотография ученого, чью зарплату (на уровне рыночной или чуть ниже) вы спонсируете, не производит такого впечатления, как снимок пучеглазого щенка, которому вы помогли обрести новый дом. Вы не получаете той мгновенной обратной связи и ощущения сиюминутного достижения, которые необходимы, чтобы человек продолжал тратить собственные деньги.

По иронии судьбы я окончательно осознал это не на примере собственной работы, а когда задумался: «Почему читатели Сета Робертса не объединятся, чтобы профинансировать экспериментальную проверку его гипотезы об ожирении? Почему частные филантропы не платят за испытания поливелла-фузора Буссарда?» Это примеры очевидно и до смешного недофинансированных исследований, результаты которой (окажись они верны) принесли бы пользу огромному числу людей. Именно тогда мне пришло в голову, что в самом общем случае Наука эмоционально плохо подходит для того, чтобы люди тратили на неё свои личные деньги.

На самом деле очень немногие вещи подходят для этого при тех людях, которые есть у нас сейчас. Мне кажется, в этом кроется ключ к пониманию того, почему мир устроен именно так — почему так плохо защищены многие