Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Нам необходимо заглянуть за просоциальный ярлык «взаимного сотрудничества», если мы хотим разобраться в стоящей за этим математике. Если вы интуитивно чувствуете, что с точки зрения Игрока 1 исход (C,C) превосходит (D,D), но не чувствуете, что (D,C) также превосходит (C,C), то вы ещё не до конца осознали, в чём именно сложность этой задачи.

*

1. Элиезер Юдковский, «Вневременная теория решений», неопубликованная рукопись (Научно-исследовательский институт машинного интеллекта (MIRI), Беркли, Калифорния, 2010), http://intelligence.org/files/TDT.pdf.

276. Сочувствующие разумы.

«Зеркальные нейроны» — это нейроны, которые активны как при выполнении действия, так и при наблюдении за выполнением этого же действия. Например, нейрон, который возбуждается, когда вы поднимаете палец или видите, как кто-то другой поднимает палец. Такие нейроны были непосредственно зарегистрированы у приматов, а данные нейровизуализации подтверждают их наличие и у людей.

Возможно, вы помните из моих предыдущих текстов об «эмпатическом выводе» мысль о том, что мозг устроен настолько сложно, что единственный способ его смоделировать — это заставить похожий мозг вести себя похожим образом. Мозг настолько сложен, что если бы человек попытался понять устройство мозга так же, как мы понимаем, к примеру, гравитацию или автомобиль — наблюдая за целым, изучая детали, выстраивая теорию с нуля, — мы бы просто не успели выдвинуть хорошие гипотезы за нашу короткую смертную жизнь. Единственный способ прийти к озарению («Ага!»), описывающему систему столь невероятно сложную, как Другой Разум, — это наткнуться на нечто поразительно похожее на этот Другой Разум (а именно на ваш собственный мозг), который вы действительно можете заставить вести себя похожим образом и использовать в качестве гипотезы для получения предсказаний.

Вот это я и назвал бы «эмпатией».

А «сочувствие» — это нечто большее, надстройка над этим: улыбаться, когда видишь улыбку другого, испытывать боль, когда видишь, как больно другому. Оно выходит за рамки предсказания в область подкрепления.

И вы спросите: «С чего бы безжалостному естественному отбору делать что-то настолько милое?»

Возможно, всё началось с любви матери к своим детям или любви брата к сестре. Конечно, можно просто желать, чтобы они жили и были сыты; но если вы улыбаетесь, когда они улыбаются, и морщитесь, когда они морщатся, это простой импульс, который побуждает вас помогать им в самых разных жизненных ситуациях. Пока вы находитесь в среде предков, то, чего хотят ваши родственники, вероятно, как-то связано с их репродуктивным успехом — разумеется, это объяснение давления отбора, а не их сознательное убеждение.

Вы можете спросить: «Почему бы не развить более абстрактное желание — чтобы люди, помеченные как "родственники", получали то, чего они хотят, без необходимости самому чувствовать то же, что и они?» Я бы пожал плечами и ответил: «Потому что тогда пришлось бы давать целое определение понятию "хотеть" и тому подобное. Эволюция не выбирает сложный, правильный и оптимальный путь; она падает вверх по ландшафту приспособленности, подобно воде, текущей под уклон. Архитектура зеркального отражения уже существовала, так что шаг от эмпатии к сочувствию был коротким, и этого оказалось достаточно».

Родственники — а затем взаимность; ваши союзники в племени, те, с кем вы обмениваетесь услугами. «Око за око», или эволюционное усложнение этого принципа с учётом социальной репутации.

Кто самый грозный среди человеческого рода? Сильнейший? Умнейший? Я думаю, чаще всего это тот, кто может призвать на помощь больше всего друзей.

Так как же завести много друзей?

Вы могли бы, пожалуй, испытывать конкретное стремление приносить еду своим союзникам, подобно летучей мыши-вампиру — в их колониях действует целая система взаимного донорства крови. Но улыбка в ответ на улыбку тех, кого вы считаете друзьями, дает более общую мотивацию, которая побуждает организм накапливать больше ответных услуг.

И какой организм в самом общем случае будет избегать злить своих друзей? Тот, который морщится, когда морщатся они.

Конечно, вам также хочется иметь возможность без колебаний убивать тех, кто назначен Врагами — мы же говорим о людях.

Но... Я не уверен в этом до конца, однако мне действительно кажется, что сочувствие у людей «включено» по умолчанию. Существуют культуры, которые помогают чужакам... и культуры, которые чужаков едят; вопрос в том, какой из этих вариантов поведения требует явного предписания, а какое является для людей дефолтным. Не думаю, что выгляжу безумным идеалистом и глупцом, когда говорю, что, судя по моим, надо признать, ограниченным познаниям в антропологии, сочувствие всё же включено по умолчанию.

В любом случае... тяжело быть сторонним наблюдателем в войне двух сторон, когда ваше сочувствие не отключилось ни для одной из сторон, так что вы вздрагиваете при виде мертвого ребенка независимо от подписи под фотографией; и всё же эти две стороны не испытывают сочувствия друг к другу и продолжают убивать.

Таково человеческое проявление сочувствия — странная, сложная, глубокая реализация взаимности и взаимопомощи. Оно связывает разумы воедино — не через отдельный член функции полезности для «желаний» другого разума, а более простым и в то же время гораздо более важным путем зеркальных нейронов: чувствуя то, что чувствует другой разум, и стремясь к схожим состояниям. Пусть даже пока это происходит лишь за счет наблюдения и логических выводов, а не посредством прямой передачи нейронной информации.

Эмпатия — это человеческий способ предсказывать чужие разумы. Но это не единственный возможный путь.

Человеческий мозг нельзя быстро перестроить; если вас внезапно поместить в темную комнату, вы не сможете перенастроить зрительную кору на слуховую, чтобы лучше обрабатывать звуки, а при выходе оттуда так же быстро превратить все нейроны обратно в зрительную кору.

ИИ же — по крайней мере тот, что работает на чем-то вроде современной программной архитектуры, — может тривиальным образом перенаправлять вычислительные ресурсы из одного потока в другой. Оказался в темноте? Отключи зрение и направь все эти операции на обработку звука; выгрузи старую программу на диск, чтобы освободить оперативную память, а затем загрузи её обратно с диска, когда зажжется свет.

Так зачем ИИ заставлять свой собственный разум переходить в состояние, аналогичное тому, которое он хочет предсказать? Достаточно создать отдельный экземпляр разума — возможно, с другими алгоритмами, чтобы лучше симулировать этого столь непохожего на него человека. Не нужно смешивать эти данные со своим собственным состоянием разума; не нужно использовать зеркальные нейроны. Только представьте, какими рисками и путаницей это чревато!

У максимизатора ожидаемой полезности — особенно у такого, который понимает интеллект на абстрактном уровне, — есть и другие варианты, помимо эмпатии, когда