Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

немногим больше, чем старый добрый искусственный интеллект, представляющий ситуацию с помощью выразительно названных токенов LISP. В утверждении следующего не было бы ничего очевидно противоречивого:

⊢Inside(Room,Hand)

⊢¬Inside(Room,Fingers),

поскольку вы не обладали бы знанием

⊢Inside(x,Hand)⇒Inside(x,Fingers).

Всё это вовсе не означает, что рука может в действительности отделиться от пальцев и, подобно призраку, поползти по комнате; это лишь говорит о том, что старый добрый ИИ с пропозициональным представлением знаний может просто не знать ничего другого. Карта — не территория.

В частности, не стоит делать слишком далеко идущих выводов из того, что в разуме некоторого конкретного мыслителя кажется концептуально возможным отделить руку от составляющих ее пальцев, большого пальца и ладони. Концептуальная возможность — это не то же самое, что логическая или физическая возможность.

Концептуально для вас вполне возможно, что 235 757 — простое число, потому что вы не знаете наверняка. Но логически это невозможно; будь вы логически всеведущи, то, что 235 757 — составное число, было бы для вас очевидным (и вы знали бы его сомножители). Вот почему у нас есть понятие невозможных возможных миров — чтобы мы могли распределять вероятности по утверждениям, которые на самом деле могут быть логически невозможными.

И можно представить себе философов, критикующих «элиминативных пальцевиков», которые противоречат непосредственным фактам опыта (ведь мы же чувствуем, как рука держит чашку!), за предположение, будто «рук» на самом деле не существует (ведь в таком случае чашка, очевидно, упала бы). И философов, предлагающих «пальце-конечностные связующие законы», чтобы объяснить, как конкретная конфигурация пальцев вызывает к жизни руку — с примечанием, разумеется, что хотя наш мир и содержит именно эти пальце-конечностные связующие законы, мысленно они могли бы быть другими, а потому ни в каком смысле не являются необходимыми фактами и так далее.

Всё это — проявления ошибки проекции разума и того, что я называю «наивным философским реализмом» — путаницы, при которой философские интуиции принимаются за прямую, достоверную информацию о реальности. Ваша неспособность что-то вообразить — всего лишь вычислительный факт о том, что ваш мозг способен или не способен представить. Другой мозг мог бы работать иначе.

*

215. Злые атомы.

Фундаментальная физика — кварки и всё такое — бесконечно далека от уровней, которые мы можем видеть, вроде рук и пальцев. В лучшем случае вы умеете воспроизводить эксперименты, показывающие, что ваша рука (как и всё остальное) состоит из кварков, и, возможно, умеете выводить несколько уравнений для таких вещей, как атомы, электронные облака и молекулы.

В худшем случае существование кварков под вашей рукой — это просто то, о чём вам рассказали. И тогда сомнительно, в каком вообще смысле можно утверждать, будто вы это «знаете», даже если вы в ответ повторяете то же самое слово «кварк», которое физик использовал бы для передачи знания другому физику.

В любом случае вы не можете по-настоящему видеть тождество между этими уровнями — ни у кого нет мозга столь огромного, чтобы визуализировать авогадровы количества кварков и распознать в них паттерн руки.

Но мы хотя бы понимаем, что делают руки. Руки толкают предметы, прикладывают к ним силу. Когда нам рассказывают об атомах, мы представляем себе крошечные бильярдные шары, сталкивающиеся друг с другом. Из-за этого кажется очевидным, что «атомы» тоже могут толкать предметы, сталкиваясь с ними.

Конечно, это представление об атомах не вполне верно. Но что касается человеческого воображения, нам относительно легко представить, что наша рука состоит из крошечной галактики кружащихся бильярдных шаров, которые толкают предметы, когда наши «пальцы» их касаются. Демокрит вообразил это 2400 лет назад, и было время — примерно в 1803–1922 годах, — когда Наука считала его правым.

Но как быть, скажем, с гневом?

Как маленькие бильярдные шары могут сердиться? Крошечные хмурые рожицы на бильярдных шарах?

Представьте себя на месте, скажем, охотника-собирателя — человека, который, возможно, не имеет представления даже о письменности, не говоря уже об использовании грубой материи для проведения вычислений, человека, который и понятия не имеет о существовании нейронов. Тогда вы сможете представить функциональную пропасть, которую ваши предки могли ощущать между бильярдными шарами и «Гррр! Ааарг!».

Забудьте на мгновение о субъективном опыте и подумайте о колоссальной поведенческой пропасти между гневом и бильярдными шарами. О разнице между тем, что делают маленькие бильярдные шары, и тем, что гнев заставляет делать. Гнев может заставить человека поднять кулаки и ударить кого-то — или говорить колкости за спиной — или подкладывать скорпионов в палатку по ночам. Бильярдные шары же просто толкают предметы.

Попробуйте поставить себя на место охотника-собирателя, который никогда не испытывал озарения «Ага!» по поводу обработки информации. Постарайтесь избежать искажения знанием задним числом относительно таких вещей, как нейроны и компьютеры. Только тогда вы сможете увидеть непреодолимую объяснительную пропасть:

Как объяснить гневное поведение через бильярдные шары?

Что ж, очевидная материалистическая гипотеза состоит в том, что маленькие бильярдные шары давят на вашу руку и заставляют вас ударить кого-то, или давят на ваш язык, из-за чего наружу вылетают оскорбления.

Но откуда маленьким бильярдным шарам знать, как это делать — или как направлять ваши язык и пальцы в ходе долгосрочных интриг, — если они сами не злятся?

К тому же, если вы не соблазнены — о ужас! — сайентизмом, то с позиции первого лица вы видите, что это объяснение явно ложно. Атомы могут толкать вашу руку, но они не могут заставить вас чего-то хотеть.

Кто-то может заметить, что вино вызывает гнев. Но кто сказал, что вино состоит исключительно из маленьких бильярдных шаров? Возможно, вино просто содержит в себе потенцию гнева.

Очевидно, редукционизм — просто ошибочное представление.

(Новичок сбивается с пути и говорит: «Искусство подвело меня»; мастер сбивается с пути и говорит: «Я подвёл своё искусство».)

Что требуется, чтобы преодолеть эту пропасть? Одной идеи «нейронов», которые «обрабатывают информацию», недостаточно — если ограничиться только этим, вы просто добавите в свою модель волшебное, необъяснимое правило перехода между уровнями, по которому вы перескакиваете от бильярда к мыслям.

Но разработчик искусственного интеллекта, умеющий создавать шахматную программу из грубой материи, сделал настоящий шаг к преодолению этой пропасти. Если вы понимаете такие концепции, как консеквенциализм, обратный вывод, функции полезности и деревья поиска, вы можете заставить чисто причинно-следственные/механические системы просчитывать планы.

Трюк заключается примерно в следующем: для каждого возможного шахматного хода вы рассчитываете ходы, которые может сделать противник, затем ваши ответы на эти ходы