Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Это не то же самое, что давать определение той единой вещи, которую вы видите, но это действительно часто вытекает из попыток понять, как рассуждать об этой вещи без использования одной-единственной мысленной зацепки.

Таким образом, навык разделения карты связан с рационалистической версией «Табу» и с мудрым использованием слов; ведь слова часто представляют собой точки на нашей карте — ярлыки, под которыми мы храним свои утверждения, и корзины, в которые мы складываем информацию. Отказ от одного-единственного слова или выделение новых часто служат частью навыка расширения карты.

*

170. Категоризация имеет последствия.

Среди множества генетических вариаций и мутаций в вашем геноме есть совсем немного аллелей, о которых вы, скорее всего, знаете — включая те, что определяют вашу группу крови: наличие или отсутствие антигенов A, B и +. Если вам перельют кровь, содержащую антиген, которого у вас нет, это вызовет аллергическую реакцию. Именно открытие этого факта Карлом Ландштейнером, а также способа проверки совместимости групп крови, сделало возможным переливание крови без смертельного исхода для пациента. (Нобелевская премия по медицине 1930 года.) Кроме того, если мать с группой крови A (к примеру) рожает ребенка с группой крови A+, у нее может возникнуть аллергическая реакция на антиген +; если у нее родится еще один ребенок с группой крови A+, он окажется в опасности, если только во время беременности мать не будет принимать препараты, подавляющие аллергическую реакцию. Поэтому люди узнают свою группу крови перед тем, как вступить в брак.

Ах да, и еще: люди с группой крови A — серьезные и творческие, а люди с группой B — непредсказуемые и жизнерадостные. Люди с группой O — покладистые и общительные, а люди с группой AB — невозмутимые и сдержанные. (Можно подумать, что O должно быть отсутствием A и B, а AB — просто A плюс B, но нет...) Все это — согласно японской теории личности по группе крови. Похоже, группа крови играет в Японии ту же роль, что знаки зодиака на Западе, вплоть до гороскопов по группам крови в ежедневных газетах.

Эта мода особенно странна потому, что группы крови никогда не были чем-то таинственным — ни в Японии, ни где-либо еще. Мы вообще знаем о существовании групп крови только благодаря Карлу Ландштейнеру. Ни один мистический знахарь, ни один почтенный колдун не проронил о группах крови ни слова; нет никаких древних пыльных свитков, способных окутать это заблуждение ореолом старины. Если бы завтра медицинское сообщество заявило, что все это было колоссальным обманом, у нас, простых людей, не нашлось бы ни единого свидетельства наших собственных органов чувств, чтобы им возразить.

Между группами крови никогда не было войн. Между ними никогда не возникало даже политических конфликтов. Стереотипы, должно быть, возникли исключительно из самого факта существования ярлыков.

Кто-нибудь наверняка укажет на то, что эта история — о категоризации людей. Происходит ли то же самое, если категоризировать растения, камни или офисную мебель? Я не помню, чтобы читал о подобном эксперименте, но, конечно, это не значит, что его не проводили. (Я полагаю, главная трудность проведения такого эксперимента заключалась бы в поиске протокола, который не наводил бы испытуемых на мысль, что раз уж ярлык был дан, он должен иметь какое-то значение.) Так что, хотя я и не собираюсь корректировать свои убеждения на основе воображаемых доказательств, я бы предсказал положительный результат этого эксперимента: я ожидаю, что простое наклеивание ярлыков имеет власть над всеми вещами, по крайней мере в человеческом воображении.

На это можно посмотреть с точки зрения кластеров сходства: как только вы проводите границу вокруг группы, разум начинает пытаться выискивать сходства внутри этой группы. И, к сожалению, человеческие детекторы закономерностей, похоже, работают на таких повышенных оборотах, что мы видим закономерности независимо от того, есть они на самом деле или нет; при некоторой избирательности памяти даже слабую отрицательную корреляцию можно принять за сильную положительную.

На это можно посмотреть с точки зрения нейронных алгоритмов: создание названия для множества вещей подобно выделению подсети для поиска в них закономерностей.

На это можно посмотреть с точки зрения ошибки сжатия: вещи, получившие одинаковое название, оказываются свалены в одну ментальную корзину, размываясь и сливаясь в одну точку на карте.

Или же на это можно посмотреть с точки зрения безграничной способности человека выдумывать всякую чепуху на пустом месте и верить в нее просто потому, что никто не может доказать ее ошибочность. Стоит вам дать название категории, как вы можете начинать выдумывать о ней всякую всячину. То, чему дали имя, не обязательно должно быть осязаемым; оно не обязано существовать; оно даже не обязательно должно быть логически непротиворечивой.

И нет, дело не только в Японии: здесь, на Западе, книга о диете по группе крови под названием «4 группы крови — 4 пути к здоровью» стала бестселлером.

Как ни посмотри, проведение границы в пространстве вещей — шаг далеко не нейтральный. Возможно, более чисто спроектированный, более строго байесовский ИИ мог бы размышлять о произвольном классе, не испытывая его влияния. Но у вас, человека, такой возможности нет. В контексте человеческого мозга категории не являются статичными сущностями; как только вы действительно задумываетесь о них, они начинают воздействовать на ваш разум. Еще один повод усомниться в том, что определять слова можно как вам вздумается.

*

171. Контрабанда коннотаций.

В предыдущем эссе мы видели, что в Японии группы крови заняли место астрологии: например, если у вас четвертая группа (AB), то считается, что вы «невозмутимы и сдержанны».

Представим теперь, что мы решили выдумать новое слово «виггин» и определили его как «человек с зелеными глазами и черными волосами» —

В ресторан вошел зеленоглазый черноволосый мужчина.

— Ха, — сказал Дэнни, наблюдая за ним из-за соседнего столика. — Видала? В зал только что вошел виггин. Чертовы виггины. Вечно они совершают всякие преступления.

Его сестра Эрда вздохнула: — Но ты ведь не видел, чтобы он совершал преступления, верно, Дэнни?

— А мне и не нужно, — ответил Дэнни, доставая словарь. — Смотри, тут прямо так и написано в Оксфордском словаре английского языка: «Виггин. 1. Человек с зелеными глазами и черными волосами». У него зеленые глаза и черные волосы, значит, он виггин. Ты же не станешь