Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

и экстенсионального общения, чтобы зафиксировать понятие. Но даже в этом случае вы передаете лишь карты, ведущие к понятиям или инструкции по их созданию — вы не передаете сами категории в том виде, в каком они существуют в вашем сознании или в мире.

(Да, проявив достаточную изобретательность, можно сконструировать исключения из этого правила, например: «Предложения, опубликованные Элиезером Юдковским по состоянию на 4 февраля 2008 года, в которых встречается термин "huragaloni"». Я только что продемонстрировал вам весь экстенсионал этого понятия. Но за исключением математики, определения обычно представляют собой карты сокровищ, а не сами сокровища.)

Вот еще одна причина, почему нельзя «определять слово как вам заблагорассудится»: вы не можете напрямую программировать понятия в чужой мозг.

Даже в рамках аристотелевской парадигмы, где мы делаем вид, будто определения и есть сами понятия, вы не обладаете одновременной свободой в определении интенсионала и экстенсионала. Предположим, я определяю Марс как «огромную красную каменную сферу с массой примерно в одну десятую земной, находящуюся в полтора раза дальше от Солнца, чем Земля». В таком случае показать, что это интенсиональное определение соответствует какому-то конкретному экстенсиональному объекту в моем опыте — или вообще хоть какому-то реальному объекту, — отдельная задача. Если же вместо этого я скажу: «Вон там Марс» и укажу на красную точку в ночном небе, то уже другой отдельной задачей будет показать, что эта экстенсиональная точка соответствует какому-либо конкретному интенсиональному определению, которое я могу предложить (или любым моим интенсиональным убеждениям), например: «Марс — это бог войны».

Но бо́льшая часть работы мозга по применению интенсионалов происходит неосознанно. Мы не отдаем себе отчета в том, что наше отождествление красной точки с «Марсом» — это вопрос, отдельный от нашего вербального определения «Марс — бог войны». Какое бы интенсиональное определение для Марса я ни выдумал, мой разум все равно убежден, что «Марс» указывает на эту штуковину и что это четвертая планета Солнечной системы.

Если принять во внимание то, как человеческий разум работает на самом деле, на практике, идея «я могу определять слово как мне угодно» быстро превращается в «я могу верить во все, что захочу, касательно фиксированного набора объектов» или «я могу по своему желанию включать любой объект в фиксированный тест на принадлежность или исключать его оттуда». Точно так же, как вы обычно не можете выразить словами весь интенсионал понятия, поскольку он представляет собой сложный нейронный тест на принадлежность, вы не можете контролировать его целиком, потому что он применяется неосознанно. Вот почему так популярны аргументы о том, что нечто верно «по определению». Если бы смена определений вела себя как эмпирически пустая операция (каковой она и должна быть), никто бы не стал о ней спорить. Но стоит лишь немного злоупотребить определениями, и они превращаются в волшебные палочки — разумеется, только в спорах, а не в реальности.

*

1. Чарльз Сандерс Пирс, Collected Papers (Harvard University Press, 1931).

157. Кластеры сходства.

Однажды философы Платоновской академии заявили, что лучшее определение человека — это «двуногое без перьев». Рассказывают, что Диоген Синопский, также известный как Диоген Киник, тут же предъявил ощипанного петуха и провозгласил: «Вот человек Платона». Платоники тут же изменили свое определение на «двуногое без перьев и с широкими ногтями».

Ни один словарь, ни одна энциклопедия никогда не перечисляли всего, что есть общего у людей. У нас красная кровь, по пять пальцев на каждой из двух рук, костяной череп, 23 пары хромосом — но то же самое можно сказать и о других видах животных. Мы создаем сложные инструменты для создания сложных инструментов, используем синтаксический комбинаторный язык, подчиняем себе критические реакции деления ядер как источник энергии: эти вещи могут выделять исключительно людей, но далеко не всех людей — многие из нас никогда не строили ядерных реакторов. С помощью правильного набора необходимых и достаточных генных последовательностей можно было бы выделить всех людей и только людей — по крайней мере, на данный момент, — но это все равно было бы далеко не всем, что есть общего у людей.

Но пока вы случайно не окажетесь рядом с ощипанным петухом, указание «ищи двуногих без перьев» вполне может помочь выделить несколько десятков конкретных объектов, являющихся людьми, в отличие от домов, ваз, сэндвичей, кошек, цветов спектра или математических теорем.

Как только определение «двуногое без перьев» привязывается к каким-то конкретным двуногим без перьев, вы можете присмотреться к этой группе и начать собирать другие характеристики — помимо простой бесперьевой двуногости, — которые, судя по всему, объединяют этих «двуногих без перьев». Конкретные двуногие без перьев, которых вы видите, кажется, также пользуются языком, создают сложные инструменты, говорят на синтаксически организованном комбинаторном языке, если их уколоть, у них идет красная кровь, и умирают, выпив цикуту.

Таким образом, категория «человек» становится богаче, в нее добавляется все больше характеристик; и когда Диоген наконец приносит своего ощипанного петуха, нас не проведешь: этот ощипанный петух явно не похож на остальных «двуногих без перьев».

(Если бы аристотелевская логика была хорошей моделью человеческой психологии, платоники посмотрели бы на ощипанного петуха и сказали бы: «Да, это человек; и что с того?»)

Если первым двуногим без перьев, которого вы увидите, окажется ощипанный петух, вы можете в итоге подумать, что словесный ярлык «человек» обозначает ощипанного петуха. Поэтому я могу изменить свою карту сокровищ, чтобы она указывала на «двуногих без перьев с широкими ногтями», и, если я мудр, добавить: «Видишь вон там Диогена? Он человек, и я человек, и ты человек; а вон тот шимпанзе — не человек, хотя и довольно близко».

Начальная подсказка должна лишь привести пользователя к кластеру сходства — группе объектов, имеющих множество общих характеристик. После этого начальная подсказка свою задачу выполнила, и я могу перейти к сообщению новой информации, например «люди в настоящее время смертны», или чего угодно еще, что я хочу сказать о нас, двуногих без перьев.

Словарь лучше представлять себе не как сборник аристотелевских определений классов, а как книгу подсказок для сопоставления словесных ярлыков с кластерами сходства, или сопоставления ярлыков со свойствами, помогающими эти кластеры сходства различать.

*

158. Типичность и асимметричное сходство. Птицы летают. Ну, за исключением того, что страусы не летают. Но какая птица более типична — малиновка или страус? Какой стул более типичен: офисный стул, кресло-качалка или кресло-мешок?