Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

созерцательность». И это все еще ложная редукция, и вы все еще не заглянули внутрь «черного ящика». Вы по-прежнему не можете сказать, что сделает «созерцательное» существо, используя неэмпатическую модель. Вы просто взяли коробочку с надписью «куча нейронов» и нарисовали стрелочку с надписью «эмерджентность» к черному ящику, содержащему ваши воспоминания об ощущении созерцательности, которое, когда вы его представляете, велит вашему мозгу сопереживать этой коробочке путем созерцания.

Так как же выглядят настоящие редукции?

Например, как связь между чувством «свидетельственности», «обоснованности» и книгой Э. Т. Джейнса «Теория вероятностей: логика науки». Вы можете целый день ходить по кругу, твердя, что природа свидетельства заключается в том, что оно обосновывает некоторое суждение, означая, что оно с большей вероятностью окажется истинным, но все это лишь апеллирует к внутренним ощущениям вашего мозга о «свидетельственности», «обоснованности» и «вероятности». Эта часть проста — ходить по кругу. Но та часть, где вы переходите от этого к теореме Байеса, действительно трудна.

И фундаментальная ментальная способность, позволяющая человеку освоить искусственный интеллект, — это умение видеть разницу. Чтобы вы понимали, что еще не закончили работу и даже толком к ней не приступили, когда говорите: «Свидетельство — это когда наблюдение обосновывает убеждение». Но атомы не являются свидетельствующими, обосновывающими, осмысленными, вероятными, выражающими суждения или истинными; они просто атомы. Только вещи вроде

считаются существенным прогрессом. (И это лишь первый шаг редукции: что представляют собой эти объекты E и H, если не очередные загадочные «черные ящики»? Откуда берутся ваши гипотезы? Из вашей креативности? И что такое гипотеза, если ни один атом гипотезой не является?)

Еще один отличный пример подлинной редукции можно найти в книге Джуды Перла «Вероятностное рассуждение в интеллектуальных системах: сети правдоподобного вывода».1 Вы могли бы весь день ходить по кругу, рассуждая о том, что причина — это нечто, что заставляет произойти что-то другое, но пока вы не поймете природу условной независимости, вы будете бессильны создать ИИ, способный рассуждать о причинности. Потому что вы не поймете, что происходит, когда ваш мозг загадочным образом решает, что если вы узнали о сработавшей сигнализации в вашем доме, но затем узнали, что произошло небольшое землетрясение, то вы откажетесь от своего первоначального вывода о том, что ваш дом ограбили.

Если вы хотите создать шахматный ИИ, вы можете бесконечно ходить по кругу, твердя о том, что ИИ должен делать хорошие ходы, то есть такие ходы, от которых можно ожидать победы в игре, то есть ходы, являющиеся разумными стратегиями для победы над противником, и так далее. И хотя вы при этом можете иметь некоторое представление о том, какие ходы должен делать ИИ, все это бесполезно, пока вы не придете к понятию минимаксного дерева поиска.

Но до тех пор, пока вы не узнаете о деревьях поиска, до тех пор, пока вы не узнаете об условной независимости, до тех пор, пока вы не узнаете о теореме Байеса, вам все еще может казаться, будто вы прекрасно понимаете, откуда берутся хорошие ходы, немонотонные рассуждения и оценка свидетельств. Например, может казаться, что они происходят от охлаждения крови.

И действительно, я знаю многих людей, которые верят, что интеллект — это продукт знаний здравого смысла, или массивного параллелизма, или созидательного разрушения, или скорее интуитивного, нежели рационального мышления, или чего-нибудь еще. Но все это лишь фантазии, которые не дают никакой возможности сказать, что такое интеллект или что этот интеллект сделает в следующий момент, кроме как указав пальцем на человека. И когда кто-то из них принимается строить свой чудесный ИИ, он лишь строит систему разобщенных рычагов, где «знание» состоит из LISP-токенов с пометкой «яблоко» и тому подобного; или, возможно, создает «массивно-параллельную нейросеть, совсем как человеческий мозг». И искренне шокирован — шокирован! — когда практически ничего не происходит.

Проекты ИИ, собранные из человеческих деталей, — это всего лишь мечты; они могут существовать в воображении, но не переводятся на язык транзисторов. Это относится в первую очередь к «архитектурам ИИ», которые выглядят как блоки со стрелочками между ними и многозначительно звучащими надписями на блоках. (Поистине эпический тому пример можно найти на любой диаграмме Ментифекса.)

Позже я скажу об этом подробнее, но уже сейчас могу поделиться одним из руководящих принципов: если вы встретите человека, который утверждает, что его ИИ будет делать XYZ совсем как люди, не давайте ему венчурного капитала. Лучше скажите ему так: «Простите, я никогда не видел человеческого мозга или какого-либо другого интеллекта, и у меня пока нет причин полагать, что подобное вообще может существовать. Теперь, пожалуйста, объясните мне, что делает ваш ИИ и почему вы верите, что он будет это делать, не приводя в пример людей». При заданной конструкции самолеты летали бы точно так же, даже если бы птиц вообще никогда не существовало; их удерживают в воздухе не аналогии.

Поэтому теперь, я надеюсь, вы понимаете, почему, если бы вы хотели научить кого-то вести фундаментальную работу над сильным ИИ — памятуя о том, что это, очевидно, крайне сложное искусство, которое так и не осваивает подавляющее большинство студентов, изучающих лишь готовые редукции вроде деревьев поиска, — то вам пришлось бы довольно долго рассуждать о таких вещах, как тонкое искусство редукционизма, игра в рационалистическое «Табу» для исключения проблемных слов и замены их референтами, об антропоморфизме и, разумеется, о преждевременной остановке на таинственных ответах на таинственные вопросы.

*

1. Перл, «Вероятностное рассуждение в интеллектуальных системах».

263. Пространство проектирования разумов вообще.

Люди спрашивают меня: «Какими будут искусственные интеллекты? Что они будут делать? Расскажи нам свою удивительную историю о будущем».

И се, говорю я им: «Вы задали мне вопрос с подвохом».

АТФ-синтаза — это молекулярная машина (один из трех известных случаев, когда эволюция изобрела свободно вращающееся колесо), которая практически одинакова в митохондриях животных, хлоропластах растений и у бактерий. АТФ-синтаза существенно не изменилась с момента появления эукариотической жизни два миллиарда лет назад. Это то, что объединяет нас всех — благодаря тому, как эволюция жестко консервирует определенные гены; как только от какого-то гена начинает зависеть множество других генов, мутация в нем, скорее всего, разрушит все эти связи.

Любые две архитектуры ИИ могут быть менее похожи друг на друга, чем вы на петунию. Вопрос о том, что будут делать «ИИ», — это вопрос с подвохом, поскольку он