Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

— Но ты назвал его виггином, — сказала Эрда. — Некрасиво говорить такое о человеке, которого ты даже не знаешь. У тебя нет никаких доказательств, что он добавляет слишком много кетчупа в бургеры или что в детстве он запускал из рогатки бельчат.

— Но он и есть виггин, — терпеливо объяснил Дэнни. — У него зеленые глаза и черные волосы, так? Вот увидишь, как только ему принесут бургер, он тут же потянется за кетчупом.

Человеческий разум переходит от наблюдаемых характеристик к выводимым с помощью слов. В умозаключении «Все люди смертны, Сократ — человек, следовательно, Сократ смертен» наблюдаемые характеристики — это одежда Сократа, его речь, использование им орудий труда и в целом человеческий облик; категория — «человек»; выводимая характеристика — уязвимость к яду цикуты.

Разумеется, между «наблюдаемыми характеристиками» и «выводимыми характеристиками» нет жесткой границы. Если вы слышите чью-то речь, то, при прочих равных условиях, этот кто-то, скорее всего, выглядит как человек. Если вы видите человеческую фигуру в тени, то ceteris paribus она, вероятно, умеет говорить.

И все же некоторые свойства мы чаще выводим логически, нежели наблюдаем непосредственно. Вы скорее решите, что некто является человеком и потому сгорит в открытом пламени, нежели проделаете этот логический вывод в обратном направлении.

Если вы посмотрите в словаре определение слова «человек», вы, скорее всего, найдете там характеристики вроде «разумный» и «двуногое без перьев» — признаки, по которым удобно с первого взгляда отличить человека от нечеловека, — а не те десять тысяч коннотаций, от уязвимости к цикуте до самоуверенности, которые мы можем вывести из того факта, что кто-то является человеком. Почему так? Возможно, словари призваны помогать сопоставлять ярлыки с группами сходства и потому созданы для быстрого выделения кластеров в пространстве вещей. Или, возможно, крупные, отличительные признаки наиболее заметны и поэтому первыми приходят на ум составителям словарей. (Я не уверен, насколько составители словарей осознают, что они делают на самом деле.)

Но в итоге, когда Дэнни достает Оксфордский словарь, чтобы найти слово «виггин», он видит там лишь те бросающиеся в глаза характеристики, которые отличают виггина: зеленые глаза и черные волосы. В словаре не перечисляется множество мелких коннотаций, которые успели прирасти к этому термину: криминальные наклонности, кулинарные причуды и сомнительные детские увлечения.

Откуда вообще взялись эти коннотации? Может быть, когда-то существовал известный виггин с такими свойствами. Или кто-то просто выдумал это на ходу и написал серию бестселлеров («Виггин», «Разговоры с виггинами», «Воспитание вашего маленького виггина», «Виггины в спальне»). Может быть, теперь в это верят даже сами виггины и ведут себя соответственно. Стоит вам только назвать какую-то группу людей «виггинами», как слово тут же начнет обрастать коннотациями.

Но вспомните притчу о цикуте: если следовать логическим определениям классов, мы никогда не сможем классифицировать Сократа как «человека», пока не убедимся, что он смертен. Когда кто-то достает словарь, он, как правило, пытается протащить коннотацию, а не то фактическое определение, которое записано в словаре.

В конце концов, если единственное значение слова «виггин» — это «зеленоглазый черноволосый человек», то почему бы просто не называть таких людей «зеленоглазыми черноволосыми людьми»? И если вас интересует, тянется ли человек за кетчупом, почему бы не спросить прямо: «Тянется ли он за кетчупом?», вместо того чтобы спрашивать: «Виггин ли он?» (Обратите внимание на подмену сути символом.)

О, но спор по существу потребовал бы усилий. Вам пришлось бы на самом деле понаблюдать за виггином, чтобы увидеть, потянется ли он за кетчупом. Или, может быть, поискать статистику о том, сколько зеленоглазых черноволосых людей действительно любят кетчуп. В любом случае, вы не смогли бы сделать это, сидя в гостиной с закрытыми глазами. А люди ленивы. Им проще спорить «по определению», особенно учитывая их убежденность в том, что «слово можно определять как угодно».

Но, конечно же, настоящая причина, по которой их волнует, является ли кто-то «виггином», — это коннотация, ощущение, идущее в комплекте со словом, которого нет в определении, якобы используемом ими.

Представьте, что Дэнни говорит: «Смотри, у него зеленые глаза и черные волосы. Он виггин! Так прямо в словаре и написано! — следовательно, у него черные волосы. Попробуй поспорить с этим!»

Не очень-то триумфально звучит, правда? Если бы весь смысл спора действительно заключался в словарном определении — если бы аргумент действительно был логически безупречен, — тогда этот аргумент казался бы пустым; он либо не сообщал бы ничего нового, либо содержал в себе предвосхищение основания.

Только попытка тайком протащить коннотации, не указанные в явном виде в определении, заставляет человека чувствовать, что он может таким образом одержать верх.

*

172. Спор «по определению». «У этого ощипанного петуха две ноги и нет перьев — следовательно, по определению, это человек!».

Когда люди спорят об определениях, они обычно начинают с какого-то видимого, известного или, по крайней мере, общепринятого набора признаков; затем достают словарь и указывают на то, что эти признаки соответствуют словарному определению; и на этом основании делают вывод: «Следовательно, по определению, атеизм — это религия!»

Но видимые, известные, общепринятые признаки редко оказываются истинной сутью спора. Один лишь факт, что кто-то считает две ноги Сократа достаточно очевидными, чтобы они послужили хорошей посылкой для аргумента «Следовательно, по определению, Сократ — человек!», указывает на то, что двуногость, скорее всего, на самом деле вовсе не стоит на кону — иначе слушатель бы возразил: «В смысле — Сократ двуногий? Мы вообще-то именно об этом и спорим!»

Однако в одном важном отношении мы действительно можем правомерно переходить от очевидных признаков к неочевидным. Вы можете вполне обоснованно увидеть, что Сократ имеет человеческий облик, и предсказать его уязвимость к болиголову. Но этот вероятностный вывод опирается не на словарные определения или общепринятое словоупотребление; он опирается на то, что Вселенная содержит эмпирические кластеры схожих вещей.

Эта кластерная структура не изменится в зависимости от того, как вы определите слова. Даже если вы заглянете в словарь и увидите определение «человека» как «всех двуногих без перьев, кроме Сократа», это никак не изменит фактическую степень сходства Сократа со всеми нами, остальными двуногими без перьев.

Когда вы правильно рассуждаете на основе кластерной структуры, вы скажете что-то вроде: «У Сократа две руки, две ноги, нос и язык, он бегло говорит по-гречески, пользуется инструментами и во всех