Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

То есть даже после того, как вы узнали, синий предмет или красный, яйцо или куб, покрыт шерстью или гладкий, светлый или темный, содержит он ванадий или палладий, всё равно ощущается, будто остался нерешенный, оставшийся без ответа вопрос: но блэгг ли это на самом деле?

Обычно в нашем повседневном опыте акустические колебания и слуховые ощущения идут рука об руку. Но дерево, падающее в безлюдном лесу, разрушает эту привычную связь. И даже после того, как вы узнали, что падающее дерево создает акустические колебания, но не слуховые ощущения, всё равно ощущается, будто остался нерешенный вопрос: издало ли оно звук?

Мы знаем, где находится Плутон и куда он движется; мы знаем форму Плутона и его массу — но планета ли это?

Но помните: когда вы смотрите на Сеть 2 в том виде, в каком я её здесь представил, вы видите алгоритм снаружи. Люди не думают про себя: «Должен ли сработать центральный элемент или нет?» — точно так же, как вы не думаете: «Должен ли сработать нейрон № 12 234 320 242 в моей зрительной коре или нет?»

Требуются сознательные усилия, чтобы представить свой мозг со стороны — и даже тогда вы не видите свой реальный мозг; вы воображаете то, что, как вы думаете, там находится. Хотелось бы надеяться, что эти представления основаны на науке, но в любом случае у вас нет прямого доступа к структуре нейронных сетей посредством интроспекции. Вот почему древние греки не изобрели вычислительную нейробиологию.

Когда вы смотрите на Сеть 2, вы видите её снаружи; но то, как эта структура нейронной сети ощущается изнутри — если вы сами и есть мозг, работающий по этому алгоритму, — заключается в том, что даже зная каждую характеристику объекта, вы всё равно ловите себя на вопросе: «Но блэгг это или нет?»

Преодолеть эту пропасть невероятно трудно, и я видел, как она ставит людей в тупик. Потому что мы инстинктивно не воспринимаем свою интуицию как «интуицию» — мы просто видим её как окружающий мир. Когда вы смотрите на зелёную чашку, вы не думаете о том, что видите картинку, реконструированную в вашей зрительной коре — хотя это и есть то, что вы видите, — вы просто видите зелёную чашку. Вы думаете: «Надо же, эта чашка зелёная», а не «Изображение этой чашки в моей зрительной коре — зелёное».

Точно так же, когда люди спорят о том, издаёт ли звук падающее дерево или является ли Плутон планетой, они не осознают, что спорят о том, должна ли активироваться определённая категоризация в их нейронных сетях. Им кажется, что дерево либо издаёт звук, либо нет.

Мы знаем, где находится Плутон и куда он движется; мы знаем форму Плутона и его массу — но является ли он планетой? И да, были люди, которые говорили, что это спор об определениях — но даже такой взгляд характерен для Сети 2, поскольку в этом случае вы спорите о том, как должен быть подключён центральный элемент. Если бы ваш разум был устроен по принципу Сети 1, вы бы не сказали: «Это зависит от того, как определить слово „планета“», вы бы просто сказали: «Учитывая, что мы знаем орбиту Плутона, его форму и массу, здесь больше не о чем спрашивать». Или, точнее, именно так это бы ощущалось — ощущалось бы, будто никаких вопросов больше не осталось — будь вы разумом, устроенным по принципу Сети 1.

Прежде чем вы сможете подвергнуть сомнению свою интуицию, вы должны осознать, что то, на что смотрит ваш мысленный взор, и есть интуиция — некий когнитивный алгоритм, наблюдаемый изнутри, — а не непосредственное восприятие Того, Как Всё Обстоит На Самом Деле.

Люди, как мне кажется, цепляются за свою интуицию не столько потому, что верят в абсолютную надёжность своих когнитивных алгоритмов, сколько потому, что не могут увидеть в своей интуиции то, как их когнитивные алгоритмы выглядят изнутри.

И поэтому любые ваши слова о том, как встроенный когнитивный алгоритм даёт сбой, в итоге противопоставляются их непосредственному восприятию Того, Как Всё Обстоит На Самом Деле — и отбрасываются как заведомо ложные.

*

163. Споры об определениях.

Я не раз наблюдал, как беседы — даже те, что вроде бы касались когнитивных наук, — сводились к спорам об определениях. Если взять классический пример: «Если в лесу падает дерево и никто этого не слышит, издает ли оно звук?», то спор обычно развивается по следующему сценарию:

Если в лесу падает дерево и никто этого не слышит, издает ли оно звук?

АЛЬБЕРТ: «Конечно, издает. Что за глупый вопрос? Каждый раз, когда я слышал, как падает дерево, оно издавало звук, так что, полагаю, другие падающие деревья тоже их издают. Я не верю, что мир вокруг меняется, когда я на него не смотрю».

БАРРИ: «Минуточку. Если никто его не слышит, как это может быть звуком?»

В этом примере Барри спорит с Альбертом из-за действительно разных интуитивных представлений о том, что такое звук. Но Стандартный Спор может начаться не одним способом. У Барри мог быть мотив отвергнуть вывод Альберта. Или Барри мог быть скептиком, который, услышав аргумент Альберта, рефлекторно проверил его на наличие возможных логических ошибок; и затем, найдя контраргумент, автоматически принял его, не попытавшись провести второй уровень поиска — уже для контрконтраргумента; и тем самым в результате спора пришёл к противоположной позиции. Для этого вовсе не требуется, чтобы априорная интуиция Барри — та, которая была бы у него, спроси мы его до того, как заговорил Альберт, — отличалась от интуиции Альберта.

Что ж, если раньше у Барри и не было другой интуиции, то теперь она точно появилась.

АЛЬБЕРТ: «Что значит "нет звука"? Корни дерева ломаются, ствол с грохотом валится и бьется о землю. Это создает колебания, которые распространяются по земле и воздуху. Туда и уходит энергия падения — в тепло и звук. Ты хочешь сказать, что если люди уходят из леса, дерево нарушает закон сохранения энергии?»

БАРРИ: «Но ведь никто ничего не слышит. Если в лесу нет людей или, допустим, кого-то еще со сложной нервной системой, способной "слышать", то никто и не слышит звука».

Альберт и Барри подбирают аргументы, которые ощущаются как подтверждение их позиций, подробнее описывая мысли,