Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

А если вся эта проблема кажется вам неважной, несущественной или если вы предпочли бы отложить размышления о ней до завтра, значит, вы нажали «Игнорировать».

Выбирайте свой вариант с умом.

*

44. «Наука» как глушитель любопытства.

Представьте, что на глазах у телекамер прямого эфира я поднял руки, произнес «абракадабра» и сотворил яркий свет, вспыхнувший в пустом пространстве перед моими протянутыми ладонями. Представьте, что я совершил этот акт явного, несомненного колдовства под бдительным надзором Джеймса Рэнди и целых армий скептиков. Большинству людей, полагаю, стало бы весьма любопытно, что же происходит.

А теперь предположим, что я не иду на телевидение. Я не хочу делиться ни этой силой, ни стоящей за ней истиной. Я хочу сохранить свое колдовство в тайне. И в то же время я хочу творить заклинания когда угодно и где угодно. Я хочу зажигать свою яркую вспышку света, чтобы читать книгу в поезде — и чтобы ни в ком не просыпалось любопытство. Существует ли заклинание, заглушающее любопытство?

Да, конечно! Стоит кому-то спросить: «Как ты это сделал?», я просто отвечаю: «Наука!»

Это не настоящее объяснение, а всего лишь глушитель любопытства. Оно не говорит вам, станет ли свет ярче или потускнеет, изменит ли он оттенок или насыщенность, и уж точно не объясняет, как вам самому создать подобное свечение. На самом деле вы не знаете ничего сверх того, что знали до того, как я произнес волшебное слово. Но вы отворачиваетесь, удовлетворенные тем, что не происходит ничего необычного.

Более того, этот трюк отлично работает с обычным выключателем.

Вы щелкаете выключателем, и лампочка загорается. Почему?

В школе нас учат, что пароль к лампочке — «Электричество!». К этому моменту, надеюсь, вы уже с опаской относитесь к тому, чтобы на подобном основании ставить лампочке пометку «понятно». Разве слово «Электричество!» позволяет вам проводить расчеты, которые управляли бы вашим предвосхищением опыта? Как минимум, здесь есть еще очень многое, в чем стоит разобраться. (Физикам следует проигнорировать этот абзац и подставить на это место задачу из эволюционной теории, где суть теории опять-таки заключается в расчетах, которые мало кто умеет делать.)

Если бы вы считали, что лампочка необъяснима с точки зрения науки, она бы завладела всем вашим вниманием. Вы бы бросили любые другие дела и сосредоточились только на ней.

Но что означает фраза «объяснимо с точки зрения науки»? Она означает, что кто-то другой знает, как работает лампочка. Когда вам говорят, что лампочка «объяснима научно», вы не узнаёте больше, чем знали раньше; вы не знаете, станет ли она гореть ярче или потускнеет. Но из-за того, что знает кто-то другой, знание обесценивается в ваших глазах. Вы становитесь менее любопытным.

Кто-нибудь обязательно скажет: «Если бы лампочка была неизвестна науке, ее исследование могло бы принести вам славу и богатство». Но я говорю не о жадности. И не о карьерных амбициях. Я говорю о чистой эмоции любопытства — о чувстве заинтригованности. Почему ваше любопытство должно угасать из-за того, что кто-то другой, а не вы, знает, как устроена лампочка? Разве это не вредность? Неужели вам недостаточно знать самому — нужно, чтобы и другие пребывали в неведении, иначе вы не будете счастливы?

Знание может служить и другим целям, помимо удовлетворения любопытства, например, приносить общественную пользу через технологии. Для подобных инструментальных благ действительно важно, знает ли об этом уже кто-то другой в локальном пространстве. Но почему это должно иметь значение для моего собственного любопытства?

К тому же представьте последствия, если вы позволите фразе «Кто-то другой знает ответ» работать в качестве глушителя любопытства. В один прекрасный день вы заходите в гостиную и видите гигантского зеленого слона, который, кажется, парит в воздухе, окруженный аурой серебристого света.

— Что за чертовщина? — говорите вы.

И сверху, над слоном, раздается голос:

КТО-ТО УЖЕ ЗНАЕТ, ПОЧЕМУ ЭТОТ СЛОН ЗДЕСЬ.

— А, — говорите вы, — ну тогда ладно, — и проходите на кухню.

Я не знаю теории великого объединения для законов физики нашей Вселенной. Я также мало что знаю об анатомии человека, за исключением мозга. Я не смог бы показать на собственном теле, где у меня почки, и не могу навскидку вспомнить, что делает моя печень. (Я этим не горжусь. Увы, учитывая, сколько математики мне нужно выучить, вряд ли я в ближайшее время займусь анатомией.)

Должно ли меня, если говорить о любопытстве, сильнее интриговать мое незнание фундаментальных законов физики, чем тот факт, что я мало знаю о происходящем внутри собственного тела?

Если бы я поднял руки и сотворил заклинание света, вас бы это заинтриговало. Разве вас должно меньше интриговать то, что я вообще поднял руки? Когда вы поднимаете руку и машете ею, этот волевой акт координируется (среди прочих областей мозга) вашим мозжечком. Готов поспорить, вы не знаете, как работает мозжечок. Я кое-что знаю — хотя лишь в самых общих чертах, недостаточных для проведения расчетов... но какая разница? Какое это имеет значение, если не знаете вы? Почему для колдовства и для движений рук должны существовать двойные стандарты любопытства?

Посмотрите на себя в зеркало. Вы знаете, на что смотрите? Знаете ли вы, что смотрит на мир из-за ваших глаз? Знаете ли вы, кто вы есть? Часть ответа Наука знает, а часть — нет. Но почему это различие должно влиять на ваше любопытство, если этого не знаете вы?

Знаете ли вы, как работают ваши колени? Знаете ли вы, как сделана ваша обувь? Знаете ли вы, почему светится монитор вашего компьютера? Знаете ли вы, почему вода мокрая?

Мир вокруг вас полон загадок. Расставляйте приоритеты, если нужно. Но не жалуйтесь, что жестокая Наука лишила мир тайны. С подобными рассуждениями я мог бы заставить вас не заметить слона в собственной гостиной.

*

45. По-настоящему часть вас.

В своей классической работе «Искусственный интеллект сталкивается с естественной глупостью» (Artificial Intelligence Meets Natural Stupidity) Дрю Макдермотт раскритиковал программы ИИ, которые пытались представить суждения вроде `«счастье — это состояние ума»` с помощью семантической сети:`1`

СЧАСТЬЕ ---IS-A---> СОСТОЯНИЕ-УМА

И конечно же, `внутри` узла СЧАСТЬЕ нет абсолютно ничего; это просто «голый» LISP-токен с многозначительным английским именем.

Как пишет Макдермотт: «Хороший тест для дисциплинированного программиста — попробовать использовать сгенерированные символы (gensym) в ключевых местах и посмотреть,