Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

В принципе, даже глупейший человек в мире может сказать, что светит солнце, но от этого на улице не станет темно. Даже если ответ предложен сумасшедшим под ЛСД, вы должны быть способны непредвзято оценить свидетельства за и против и, если нужно, отказаться от этого убеждения.

На практике же сторонники группового отбора были обречены, потому что их вывод изначально диктовался их чувством эстетики, тогда как вывод Природы определялся естественным отбором. Не существовало никаких принципиальных причин для корреляции между результатами этих двух процессов, и их действительно не было. И все последующие яростные споры ничего не изменили.

Если вы отталкиваетесь от собственных желаний относительно того, что должна делать Природа, принимаете во внимание наблюдаемые причины, по которым она это делает, а затем выстраиваете крайне убедительный рационализированный аргумент в пользу того, почему Природа должна прийти к желаемому вами результату на своих собственных основаниях, то Природа, увы, все равно не станет слушать. У Вселенной нет разума, и она не поддается искусному политическому убеждению. Вы можете целый день доказывать, почему гравитация на самом деле должна заставлять воду течь вверх по склону, но вода в итоге всё равно окажется там же, где и всегда. Будто Вселенная вас попросту не слушает. Как сказал Дж. Р. Моллой: «Природа — абсолютный фанатик, ибо она упрямо и нетерпимо предана собственным предрассудкам и наотрез отказывается уступать самым убедительным рационализациям людей».

Я часто рекомендую друзьям эволюционную биологию просто потому, что эта современная дисциплина стремится научить студентов противостоять рационализации — когда за каждой ошибкой следует исправление. Физиков и инженеров-электриков не нужно специально обучать тому, чтобы избегать антропоморфизации электронов, поскольку электроны не демонстрируют никакого подобия разумного поведения. Естественный отбор создает целенаправленности, чуждые человеку, и студентов, изучающих теорию эволюции, предупреждают об этом соответствующим образом. Это отличная тренировка для любого мыслителя, но она особенно важна, если вы хотите ясно мыслить о других странных квазиразумных процессах, которые работают совсем не так, как вы.

*

1. David Sloan Wilson, “A Theory of Group Selection,” Proceedings of the National Academy of Sciences of the United States of America 72, no. 1 (1975): 143–146.

2. Michael J. Wade, “Group selections among laboratory populations of Tribolium,” Proceedings of the National Academy of Sciences of the United States of America 73, no. 12 (1976): 4604–4607, doi:10.1073/pnas.73.12.4604.

137. Ложные критерии оптимизации.

Ранее я уже подробно останавливался на различных формах рационализации, из-за которых наши убеждения кажутся гораздо более соответствующими свидетельствам, чем есть на самом деле. И я вовсе не преувеличиваю значимость этого момента. Если бы мы могли преодолеть это фундаментальное метаискажение и увидеть, что на самом деле предсказывает каждая гипотеза, мы смогли бы исправить практически любую другую фактическую ошибку.

Зеркальная задача для теории решений состоит в том, чтобы увидеть, какой вариант на самом деле одобряет критерий выбора. Если ваши декларируемые моральные принципы требуют обеспечить всех ноутбуками, означает ли это на самом деле одобрение покупки усыпанного драгоценностями ноутбука за миллион долларов для себя любимого, или же трату тех же денег на отправку пяти тысяч ноутбуков OLPC?

Похоже, в ходе эволюции мы выработали поразительную способность аргументированно доказывать, что практически любая цель подразумевает практически любое действие. Сторонник теории флогистона, объясняющий, почему магний при горении прибавляет в весе, бледнеет по сравнению с инквизитором, который объясняет, почему бесконечная любовь Бога ко всем Своим детям требует сжигать некоторых из них на костре.

В этом нет никакой загадки. Политика была характерной чертой среды обитания наших предков. Мы — потомки тех, кто наиболее убедительно доказывал, что благо племени требует казнить их ненавистного соперника Углака. (Мы уж точно не потомки Углака.)

И все же... можно ли доказать, что если бы Роберт Мугабе пекся исключительно о благе Зимбабве, он ушел бы в отставку с поста президента? Вы можете утверждать, что этот шаг вытекает из данной цели, но разве мы только что не убедились в том, что люди способны связать любую цель с любым политическим курсом? Откуда вы знаете, что вы правы, а Мугабе нет? (Есть ряд причин, почему это предположение верно, но пока наберитесь терпения.)

Мотивы людей многообразны и туманны, а наши процессы принятия решений столь же безумно сложны, как и наш мозг. Да и сам мир невероятно сложен, когда речь заходит о выборе реального курса действий. Можем ли мы вообще доказать, что люди занимаются рационализацией — систематически искажая связь между принципами и конкретными решениями, — если у нас нет ни единой твердой точки опоры? Когда нет никакой возможности точно выяснить, что именно подразумевает хотя бы один критерий оптимизации? (Вообще-то, достаточно заметить, что люди расходятся во мнениях по вопросам офисной политики так, что это странным образом коррелирует с их личными интересами, при этом напрочь отрицая наличие подобных интересов. Но опять же, наберитесь терпения.)

Где этот стандартизированный, с открытым кодом, обладающий общим интеллектом консеквенциалистский процесс оптимизации, в который мы могли бы скормить целостную систему морали в виде XML-файла, чтобы выяснить, что эта мораль на самом деле рекомендует применительно к нашему миру? Существует ли хотя бы один реальный случай, когда мы можем точно знать, что рекомендует тот или иной критерий выбора? Где этот чистый субъект моральных рассуждений — с известной функцией полезности, очищенный от всех прочих посторонних желаний, способных исказить его оптимизацию, — чей надежный вердикт мы могли бы противопоставить человеческим рационализациям этой же функции полезности?

Конечно же, это наш старый друг — инопланетный бог! Естественный отбор гарантированно свободен от всякого милосердия, любви, сострадания, эстетического чутья, политической фракционности, идеологической верности, академических амбиций, либертарианства, социализма, всех Синих и всех Зеленых. Естественный отбор не максимизирует свой критерий совокупной приспособленности — он не настолько умен. Но когда вы смотрите на результат естественного отбора, вы гарантированно смотрите на результат, оптимизированный исключительно под совокупную генетическую приспособленность, а не под интересы сельскохозяйственной отрасли США.

На примерах из истории эволюционной науки — скажем, в «Трагедии группового селекционизма» — мы можем напрямую сравнить человеческие рационализации с результатом чистой оптимизации по известному критерию. К какому результату, по мнению Винн-Эдвардса, должен был привести групповой отбор на малый размер субпопуляций? Добровольное самоограничение особей в размножении и обилие пищи для