Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

аспектах, в которых мне довелось его наблюдать, кажется, обладает всеми важными и второстепенными свойствами, характерными для Homo sapiens; поэтому я предположу, что у него человеческая ДНК, человеческая биохимия и он уязвим к болиголову так же, как и все остальные Homo sapiens, на которых болиголов был клинически протестирован на летальность».

И предположим, я отвечу: «Но я видел Сократа в поле с какими-то травниками; мне кажется, они пытались приготовить противоядие. Поэтому я не ожидаю, что Сократ упадёт замертво, когда выпьет болиголов — он будет исключением из общего поведения объектов в его кластере: они не принимали противоядия, а он принял».

Теперь уже нет особого смысла спорить о том, является ли Сократ «человеком» или нет. Разговор должен перейти на более детальный уровень, покопаться внутри подробностей, составляющих категорию «человек» — поговорить о человеческой биохимии и, в частности, о нейротоксическом действии кониина.

Если вы продолжите настаивать: «Но Сократ — человек, а люди, по определению, смертны!», то на самом деле вы пытаетесь стереть всё, что вам известно о Сократе, за исключением самого факта его принадлежности к человечеству — настаивать на том, что единственно верным прогнозом будет тот, который вы сделали бы, не зная о Сократе ничего, кроме того, что он человек.

Это всё равно что настаивать, будто вероятность того, что монета упадет орлом (или решкой), составляет 50%, потому что это «честная монета», после того как вы уже посмотрели на монету и увидели, что выпал орёл. Это всё равно что настаивать, будто у Фродо десять пальцев, потому что у большинства хоббитов десять пальцев, после того как вы уже взглянули на его руки и увидели девять пальцев. Естественно, с точки зрения байесовской теории вероятностей это недопустимо: нельзя просто отказываться от обусловливания новыми свидетельствами.

И нельзя просто держаться за одну классификацию и строить оценки на её основе, намеренно отбрасывая всё остальное, что вам известно.

Разумеется, далеко не каждое новое свидетельство имеет существенное значение. Если я увижу, что у Сократа девять пальцев, это не изменит заметным образом мою оценку его уязвимости к болиголову, потому что я буду ожидать, что то, как Сократ потерял палец, никак не повлияло на остальную его биохимию. И это верно, независимо от того, утверждает ли словарное определение, что у человека десять пальцев. Обоснованный вывод базируется на кластерной структуре окружающего мира и причинно-следственной структуре биологии, а не на том, что пишет составитель словаря, и даже не на «общепринятом словоупотреблении».

Обычно, когда вы делаете это правильно — обоснованным образом — вы просто говорите: «Алкалоид кониин, содержащийся в болиголове, вызывает у людей паралич мышц, приводящий к смерти от удушья». Или проще: «Люди уязвимы к болиголову». Именно так это обычно и звучит в обоснованном споре.

Когда у кого-то возникает потребность усилить аргумент выразительной фразой «по определению»? (Например: «Люди уязвимы к болиголову по определению!») Да тогда, когда выводимый признак ставится под сомнение — когда Сократа видели советующимся с травниками — и говорящий чувствует необходимость посильнее сжать тиски логики.

Поэтому, когда вы видите, что выражение «по определению» используется подобным образом, это обычно означает: «Забудьте то, что вы слышали о Сократе, советующемся с травниками, — люди, по определению, смертны!»

Люди чувствуют потребность направить спор по единственному руслу, говоря «Любой P, по определению, обладает свойством Q!», именно в тех случаях, когда они видят и предпочитают с ходу отвергнуть дополнительные аргументы, ставящие под сомнение вывод по умолчанию, основанный на кластеризации.

То же самое происходит и с аргументом «X, по определению, является Y!». Например: «Атеисты верят, что Бога не существует; следовательно, у атеистов есть убеждения о Боге, поскольку отрицательное убеждение — это всё равно убеждение; следовательно, атеизм даёт ответы на теологические вопросы; следовательно, атеизм, по определению, является религией».

Вам вряд ли придёт в голову утверждать: «Индуизм, по определению, — это религия!», потому что, ну, разумеется, индуизм — это религия. Это не просто религия «по определению», это, так сказать, самая настоящая религия.

Атеизм не похож на типичных представителей кластера «религия», так что, не будь он религией по определению, вы вполне могли бы решить, что атеизм вовсе не религия. Вот почему вам приходится подавлять любое сопротивление, указывая на то, что утверждение «атеизм — это религия» истинно по определению, ведь никаким иным образом оно истинным не является.

Иными словами: люди настаивают на том, что «X, по определению, является Y!» именно в тех случаях, когда пытаются протащить какую-то коннотацию Y, которой нет непосредственно в самом определении, а X при этом не очень-то похож на остальных представителей кластера Y.

Последние тринадцать лет я слежу за тем, как часто эта фраза употребляется правильно, а как часто — неправильно, хотя, боюсь, и не веду точной статистики. Но даже приблизительная оценка показывает, что использование словосочетания «по определению» где-либо за пределами математики — один из самых тревожных признаков ошибочной аргументации, что мне встречались. Оно стоит в одном ряду с «Гитлером», «Богом», словами «абсолютно уверен» и «нельзя доказать, что».

Эта эвристика ошибочности не идеальна — впервые правильное употребление этой фразы вне математики я заметил у Ричарда Фейнмана, и с тех пор мне попадались и другие примеры. Но вам, пожалуй, будет только лучше, если вы просто вычеркнете словосочетание «по определению» из своего лексикона — и уж точно во всех случаях, когда у вас возникает искушение выделить его курсивом или сопроводить восклицательным знаком. Ведь это плохая идея по определению!

*

173. Где провести границу? Некто приходит к вам и говорит:

Долго я размышлял над значением слова «искусство» и наконец нашёл определение, которое кажется мне удовлетворительным: «Искусство — это то, что создано с целью вызвать реакцию у аудитории».

То, что существует слово «искусство», ещё не значит, что оно обладает значением, парящим где-то там в пустоте, которое вы можете открыть, подобрав правильное определение.

Это ощущается именно так, но это не так.

Размышления о том, как определить слово, означают, что вы смотрите на проблему не с той стороны — ищете таинственную суть того, что на самом деле является лишь сигналом для коммуникации.

И всё же здесь есть настоящая задача, за которую рационалист может взяться с полным правом, но эта задача состоит вовсе не в том, чтобы найти удовлетворительное определение слова. Эту настоящую задачу можно решать как одиночную игру, не произнося ни слова вслух. Она заключается в