Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Я люблю жизнь без ограничений и верхнего предела; не существует такого конечного срока жизни N, при котором я бы предпочёл вероятность 80,0001% прожить N лет шансу в 0,0001% прожить гуголплекс лет и 80% шансу жить вечно. Это достаточное условие, из которого следует, что моя функция полезности неограниченна. Так что мне просто нужно понять, как оптимизировать под эту мораль. Вы не можете сначала заявить мне, что я обязан во что бы то ни стало соответствовать определённому ритуалу познания, а затем — что, раз уж я ему соответствую, мне нужно изменить свою мораль, чтобы не стать жертвой голландской книги ставок. Выбросьте проигрышный ритуал; не меняйте определение победы. Это всё равно что решить предпочесть $1 000 сумме в $1 000 000 только ради того, чтобы задача Ньюкома не выставляла ваш любимый ритуал познания в дурном свете.)

«Но, — говорит сторонник каузальной теории принятия решений, — чтобы взять только одну коробку, вы должны каким-то образом верить, что ваш выбор может повлиять на то, пуста коробка B или полна, а это неразумно! Омега уже ушёл! Это физически невозможно!»

Неразумно? Я рационалист: какое мне дело до того, что это неразумно? Я не обязан соответствовать какому-то конкретному ритуалу познания. Мне не нужно брать только коробку B из-за веры в то, что мой выбор влияет на коробку, хотя Омега уже ушёл. Я могу просто... взять только коробку B.

У меня действительно есть альтернативный ритуал познания, который вычисляет это решение, но эти поля слишком узки, чтобы его вместить; однако мне и не должно требоваться показывать его вам. Суть не в том, чтобы иметь элегантную теорию победы, — суть в том, чтобы побеждать; элегантность — лишь побочный эффект.

Или посмотрим на это с другой стороны: вместо того чтобы начинать с концепции «разумного решения», а затем спрашивать, уходят ли «разумные» агенты с кучей денег, начните с наблюдения за агентами, которые уходят с кучей денег, разработайте теорию о том, какие агенты, как правило, уносят больше всего денег, и на основе этой теории попытайтесь понять, что же такое «разумно». Слово «разумный» может просто означать решения, соответствующие нашему текущему ритуалу познания, — что ещё могло бы определять, кажется ли что-то «разумным» или нет?

Из книги Джеймса Джойса (однофамильца), «Основания каузальной теории принятия решений»:4

У Рэйчел есть отличный ответ на вопрос «Почему же ты тогда не богата?». «Я не богата, — скажет она, — потому что я не из тех людей, которые, по мнению психолога, откажутся от денег. Я просто не такая, как ты, Ирен. Учитывая, что я знаю, что отношусь к типу людей, которые забирают деньги, и учитывая, что психолог знает, что я отношусь к этому типу, с моей стороны было вполне разумно полагать, что $1 000 000 на моём счету нет. $1 000 — это максимум того, что я могла получить независимо от своих действий. Так что единственным разумным поступком для меня было забрать их».

Ирен, возможно, захочет развить тему, спросив: «Но разве тебе не хочется быть похожей на меня, Рэйчел? Разве тебе не хочется быть из тех, кто отказывается?» Существует тенденция считать, что Рэйчел, убеждённый сторонник каузальной теории принятия решений, должна ответить на этот вопрос отрицательно, что кажется очевидно неверным (учитывая, что сходство с Ирен сделало бы её богатой). Но это не так. Рэйчел вполне может — и должна — признать, что действительно хотела бы быть больше похожей на Ирен. «Для меня было бы лучше, — может уступить она, — будь я из тех, кто отказывается». В этот момент Ирен воскликнет: «Ты сама признала это! Значит, забирать деньги было не так уж и умно». К несчастью для Ирен, её вывод никак не следует из посылки Рэйчел. Рэйчел терпеливо объяснит, что желание быть тем, кто отказывается в задаче Ньюкома, не противоречит мысли о том, что следует забрать $1 000, вне зависимости от своего типа. Когда Рэйчел хочет быть того же типа, что и Ирен, она мечтает о возможностях Ирен, а вовсе не одобряет её выбор.

Общим принципом рациональности — и даже, я бы сказал, частью того, как я определяю рациональность, — является то, что вы никогда в итоге не станете завидовать просто-напросто чужому выбору. Вы можете завидовать чьим-то генам, если Омега поощряет гены или если они обеспечивают в целом более счастливый характер. Но Рэйчел выше завидует выбору Ирен, и только её выбору, независимо от того, какой алгоритм Ирен использовала для его принятия. Рэйчел всего лишь хочет обладать склонностью делать другой выбор.

Не стоит заявлять, что вы рациональнее кого-то, и одновременно завидовать его выбору — и только его выбору. Просто совершите поступок, которому завидуете.

Я без конца твержу, что рациональность — это выигрышный Путь, но сторонники каузальной теории принятия решений настаивают, что забрать обе коробки — это то, что на самом деле приносит выигрыш, поскольку вы никак не можете улучшить свой результат, оставив $1 000 на столе... даже несмотря на то, что однокоробочники завершают эксперимент с большей суммой денег. Остерегайтесь подобных аргументов всякий раз, когда ловите себя на попытке определить «победителя» как кого-то иного, нежели агент, который прямо сейчас улыбается, сидя на вершине гигантской кучи полезности.

Да, существуют различные мысленные эксперименты, в которых некоторые агенты изначально обладают преимуществом, — но если задача состоит в том, чтобы, скажем, решить, прыгать ли со скалы, стоит быть осторожнее и не определять агентов, воздерживающихся от прыжка, как имеющих несправедливое априорное преимущество над прыгающими агентами в силу их несправедливого отказа прыгать со скалы. В этот момент вы тайком переопределили «победу» как соответствие конкретному ритуалу познания. Следите за деньгами!

Или вот ещё один взгляд на это: столкнувшись с задачей Ньюкома, захотели бы вы изо всех сил искать причину поверить, будто совершенно разумно и рационально взять только коробку B, — ведь если бы такая аргументация существовала, вы бы взяли только коробку B и обнаружили её полной денег? Потратили бы вы лишний час на размышления, будь вы уверены, что в конце этого часа сможете убедить себя в том, что коробка B — это рациональный выбор? Это тоже довольно странное положение. Обычно работа рациональности заключается в том, чтобы выяснить, какой выбор является лучшим, а не в том, чтобы искать причину поверить, будто конкретный выбор является лучшим.

Возможно, слишком легко заявлять, будто вы «должны» выбрать две коробки в задаче Ньюкома, и что