Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Так как же на самом деле финансируется Наука? Правительствами, которые считают, что должны тратить некоторую сумму на Науку, при этом законодатели или чиновники принимают эти решения — ведь они тратят не совсем свои деньги. Достаточно крупные корпорации решают выделить часть средств на фундаментальные исследования и разработки. Крупные низовые организации, построенные вокруг аффективных спиралей смерти, могут обратить внимание на науку, которая соответствует их идеалам. Крупные частные фонды, распоряжающиеся капиталами, которые богатые люди выделили на поддержание своей репутации, тратят деньги на ту Науку, спонсорство которой обещает выглядеть очень благородно — примерно как выделения денег симфоническим оркестрам или современному искусству. А затем отдельные ученые (или отдельные научные группы) ведут борьбу за контроль над этим уже распределенным бюджетом, отданным в руки членов грантовых комитетов, которые кажутся именно теми людьми, кому и положено оценивать ученых.

Вы редко увидите научный проект, делающий прямую заявку на долю общественных ресурсов; скорее, ресурсы сначала выделяются на Науку в целом, а затем ученые бьются за то, кому именно они достанутся. Даже исключения из этого правила чаще продиктованы политиками (лунная программа) или военными целями (Манхэттенский проект), нежели обращениями ученых к широкой публике.

Я уверен, что если бы широкая публика имела привычку финансировать конкретные научные проекты через частные пожертвования, уйма денег уходила бы впустую, например, на всякую «квантовую чушь» — если предположить, что публика каким-то образом приобрела бы эту привычку без изменения каких-либо других характеристик людей или общества.

Но все же любопытно: Науке удается выживать не потому, что в наших коллективных личных интересах её развивать, а скорее потому, что она присосалась как паразит к тем немногим формам крупных организаций, которые вообще способны существовать в нашем мире. А ведь есть множество других проектов, которые попросту даже не возникают.

Мне кажется, современному человечеству крайне плохо удаются скоординированные усилия ради удовлетворения коллективных личных интересов. Эта задача слишком чужда эволюционному опыту наших предков, когда масштабы превышают 50 человек. Существуют лишь крупные сборщики налогов, крупные торговцы, супермемы, редкие люди, наделенные огромной властью, да еще несколько структур вроде Науки, которые могут паразитировать на них.

*

324. Деньги: единица заботы.

Стив Омохундро предложил фольклорную теорему, суть которой сводится к тому, что внутри любого приблизительно рационального самомодифицирующегося агента предельная выгода от инвестирования дополнительных ресурсов во что бы то ни было должна быть примерно одинаковой. Или, выражаясь чуть точнее, перенаправление единицы ресурса с одной задачи на другую не должно приводить к росту ожидаемой полезности относительно функции полезности агента и его вероятностных ожиданий касательно собственных алгоритмов.

Этот принцип баланса ресурсов подразумевает, что для весьма широкого спектра приблизительно рациональных систем (включая даже внутреннее устройство самомодифицирующегося разума) должна существовать некая единая валюта ожидаемых утилонов, которой можно измерить всё, что вообще имеет смысл делать.

В нашем обществе эта единая валюта ожидаемых утилонов называется «деньгами». Это мера того, насколько общество заботится о чём-либо.

Это жестокая, но очевидная истина, которую у многих есть мотив отрицать.

Надеюсь, перед этой аудиторией я могу просто констатировать это и пойти дальше. Вы ведь не думали до этого момента, будто «общество» разумно, благожелательно и вменяемо, верно?

Я говорю это ради одной общей мысли, объединяющей многие благие начинания. Любая благотворительная организация, о которой вы когда-либо отзывались добрым словом, наверняка мечтает, чтобы вы понимали это, независимо от того, говорили они об этом вслух или нет. Ведь я общался с другими людьми из некоммерческого сектора и знаю, что говорю сейчас не только от себя...

Многие люди, видя дело, которое считают стоящим, охотно уделили бы ему несколько часов свободного времени, прислали пятилетний ноутбук и банку консервов или сходили на какой-нибудь марш — но только бы не тратить деньги.

Поверьте, я понимаю это чувство. Каждый раз, когда я трачу деньги, я чувствую себя так, будто теряю очки здоровья. В этом и беда единого показателя, описывающего твоё благосостояние: видеть, как эта цифра уменьшается — удовольствие ниже среднего, даже если колебания неизбежны в обычном течении жизни. Против этого должен существовать какой-нибудь принцип теории веселья.

Но, увы...

В экономике есть одна старая-престарая задачка (или наблюдение): юрист тратит час на волонтёрство в бесплатной столовой вместо того, чтобы поработать лишний час и пожертвовать заработанные деньги на наём кого-то другого, кто проработал бы в этой столовой пять часов.

Существует вещь под названием «закон сравнительных преимуществ Рикардо». Существует идея под названием «профессиональная специализация». Существует понятие «эффект масштаба». Существует концепция «выгоды от торговли». Вся причина, по которой у нас есть деньги, заключается в том, чтобы реализовать колоссальную выгоду, возможную благодаря тому, что каждый из нас занимается тем, что делает лучше всего.

Так поступают взрослые. Так поступают, когда действительно хотят, чтобы дело было сделано. Вы используете деньги, чтобы нанимать специалистов на полный день.

Да, люди порой ограничены в своей способности обменивать время на деньги (при неполной занятости), поэтому для них лучше напрямую жертвовать то, что они обычно обменивают на деньги. Если бы бесплатной столовой требовался юрист и тот пожертвовал бы крупный, непрерывный и высокоприоритетный блок юридической работы, тогда такое волонтёрство имело бы смысл — это та же самая специализированная услуга, которую юрист обычно обменивает на деньги. Но «пожертвовать» всего один час юридической работы, который постоянно откладывается и растягивается на три недели урывками в перерывах между другими делами? Дела так не делаются, когда людям действительно не всё равно, или, выражаясь практически эквивалентно, когда дело касается денег.

В той степени, в какой люди не способны осознать этот принцип на интуитивном уровне, они могут считать использование денег чем-то необязательным при стремлении к вещам, которые кажутся просто морально желательными — в отличие от таких задач, как добыча пропитания, к желательности которых почему-то относятся совсем иначе. Этого фактора самого по себе может быть достаточно, чтобы помешать нам преследовать наши общие интересы в группах численностью более 40 человек.

Выгода от торговли и профессиональная специализация — это не просто абстрактно хорошие, но неестественно звучащие идеи; это единственный способ, благодаря которому в этом мире вообще что-то делается. Деньги — это не бумажки, это единая валюта заботы.

Отсюда и старая поговорка: «Деньги заставляют мир крутиться, а любовь едва удерживает его от взрыва».

Конечно, перед нами стоит проблема акразии — неспособности делать то,