Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

и так далее; оцениваете самую дальнюю позицию, которую способны увидеть, с помощью какого-нибудь локального алгоритма (например, просто подсчитывая фигуры); затем возвращаетесь назад с помощью минимакса, чтобы найти лучший ход на текущей доске, и совершаете его.

В более общем виде: если у вас в разуме есть причинно-следственные цепочки, которые отражают — словно зеркало или эхо — происходящее во внешней среде, то вы можете применить функцию полезности к конечным продуктам воображения, найти действие, ведущее к результату с высокой оценкой функции полезности, и выдать это действие на выходе. Совсем не обязательно, чтобы причинно-следственные цепочки в разуме, отображающие внешнюю среду, состояли из бильярдных шаров с крошечными аурами интенциональности. Транзисторам Deep Blue не нужны выгравированные на них крошечные шахматные фигурки, чтобы работать. См. также эссе «Простая истина».

Всё это по-прежнему колоссально упрощено, но должно, по крайней мере, сократить кажущуюся ширину пропасти. Если вы способны всё это понять, то увидите, как алкоголь может повлиять на планировщик, построенный из грубой материи, заставляя его выдавать больше проявлений гнева. Бильярдные шары в алкоголе толкают бильярдные шары, составляющие функцию полезности.

Но даже если вы умеете писать простые ИИ, вы не можете визуализировать переход между уровнями транзисторов и шахмат. Там слишком много транзисторов и слишком много вариантов ходов для проверки.

Точно так же, даже если бы вы знали абсолютно все факты нейробиологии, вы бы не смогли визуализировать переход между уровнями нейронов и гнева — не говоря уже о переходе между уровнями атомов и гнева. Во всяком случае, не так, как вы можете визуализировать руку, состоящую из пальцев, большого пальца и ладони.

И предположим, когнитивист вам просто прямо заявляет: «Гнев — это гормоны»? Даже если вы повторите эти слова, это ещё не значит, что вы преодолели пропасть. Вы можете верить, что верите в это, но это не то же самое, что понимать, какое отношение маленькие бильярдные шары имеют к желанию кого-нибудь ударить.

И тогда вы придумываете интерпретации вроде: «Гнев — это всего лишь гормоны, он вызывается крошечными молекулами, а значит, его нельзя оправдать ни в каком моральном смысле — вот почему вам нужно научиться контролировать свой гнев».

Или: «На самом деле никакого гнева не существует — это иллюзия, цитата без референта, вроде миража воды в пустыне или поисков дракона в гараже, которого вы там не находите».

Обе эти пилюли трудно проглотить (не то чтобы вам следовало их глотать), и поэтому гораздо легче декларировать их, чем действительно в них верить.

Думаю, нередукционистам и нематериалистам кажется, что именно это они и критикуют, когда критикуют редуктивный материализм.

Но материализм устроен не так просто. Он не сводится к дешёвому заявлению: «Гнев состоит из атомов — ну вот, теперь я закончил». Это бы не объяснило, как перейти от бильярдных шаров к ударам. Прежде чем вы вообще сможете начать сокращать этот объяснительный разрыв, вам понадобятся конкретные идеи из области теории вычислений, консеквенциализма и деревьев поиска.

Всё это было относительно простым примером по современным меркам, потому что я ограничился разговором о гневном поведении. Разговор о результатах работы на выходе не требует от вас понимания того, как алгоритм ощущается изнутри (преодоления разрыва между первым и третьим лицом) или распутывания ошибочного вопроса (разбора моментов, где внутреннее устройство вашего собственного разума расходится с реальностью).

Переход от материальных субстанций, которые гнутся и ломаются, горят и падают, толкаются и пихаются, к гневному поведению — это всего лишь тренировочная задача по меркам современной философии. Но это важная тренировочная задача. Её значение можно в полной мере оценить, лишь осознав, насколько трудно было бы её решить до изобретения письменности. Когда-то здесь тоже был объяснительный разрыв — хотя теперь, оглядываясь назад, когда он преодолён уже на протяжении многих поколений, так может и не казаться.

Объяснительные разрывы можно преодолеть, если принимать помощь от науки и не доверять взгляду изнутри собственного разума.

*

216. Тепло против движения.

После прошлого эссе мне пришло в голову, что есть гораздо более простой пример редукционизма, преодолевающего пропасть кажущегося качественного различия: сведение тепла к движению.

Сегодня, в ретроспективе, эквивалентность тепла и движения может показаться слишком очевидной — все ведь говорят, что «тепло — это движение», а значит, это убеждение не может быть «странным».

Но было время, когда кинетическая теория теплоты считалась крайне спорной научной гипотезой, противостоящей вере в теплород — невесомый флюид, перетекающий от горячих тел к холодным. А еще раньше главной теорией тепла был «Флогистон!»

Представьте, что вы отдельно изучали кинетическую теорию и теорию теплорода. Теперь вы кое-что знаете о кинетике: столкновения, упругие отскоки, импульс, кинетическая энергия, гравитация, инерция, свободные траектории. Отдельно вы знаете кое-что о тепле: температуры, давления, горение, тепловые потоки, двигатели, плавление, испарение.

Такое состояние знаний не просто правдоподобно — именно им обладал, например, Сади Карно, который, работая строго в рамках теории теплорода, сформулировал принцип цикла Карно — теплового двигателя с максимальным КПД, чьё существование подразумевает Второй закон термодинамики. И это в 1824 году, когда кинетика уже была высокоразвитой наукой.

Предположим, что вы, как и Карно, знаете очень много о кинетике и очень много о тепле как об отдельных сущностях. Отдельные сущности знания, то есть: в вашем мозгу есть отдельные картотеки для убеждений о кинетике и убеждений о тепле. Но изнутри это состояние знания ощущается так, будто вы живете в мире движущихся вещей и горячих вещей, в мире, где движение и тепло — независимые свойства материи.

И вот появляется Физик из Будущего и говорит вам: «Где есть тепло, там есть движение, и наоборот. Вот почему, например, при трении предметы нагреваются».

Этому утверждению — «Где есть тепло, там есть движение, и наоборот» — можно дать (как минимум) две интерпретации.

Во-первых, вы можете предположить, что тепло и движение существуют по отдельности — то есть теория теплорода верна, — но среди физических законов нашей вселенной есть «связующий закон», утверждающий, что там, где объекты движутся быстро, возникает теплород. И наоборот, другой связующий закон гласит, что теплород может оказывать давление на вещи и заставлять их двигаться, поэтому более горячий газ оказывает большее давление на стенки сосуда (и потому паровой двигатель может использовать пар для приведения в движение поршня).

Во-вторых, вы можете предположить, что тепло и движение — это, в каком-то пока еще таинственном смысле, одно и то же.

«Чепуха,