Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

— то, чему равно "двадцать один плюс", зависит от того, будет ли это "плюс три" или "плюс четыре". Если мы сможем заложить в базу достаточно арифметических фактов, чтобы покрыть очевидные истины здравого смысла, известные каждому, в сети начнет проявляться настоящее сложение».

«Но вы никогда не сможете запрограммировать столько арифметических фактов, нанимая экспертов для их ручного ввода. Нам нужен Искусственный Арифметик, который способен обучиться огромной сети отношений между числами — той самой, которую люди осваивают в детстве, наблюдая за группами яблок».

«Нет, на самом деле нам нужен Искусственный Арифметик, понимающий естественный язык. Чтобы вместо явного сообщения ему, что двадцать один плюс шестнадцать равно тридцать семь, он мог сам добывать эти знания, исследуя просторы Сети».

«Откровенно говоря, мне кажется, вы просто пытаетесь убедить себя в том, что способны решить эту проблему. Никто из вас толком не знает, что такое арифметика, поэтому вы и барахтаетесь в этих шаблонных аргументах. "Нам нужен ИА, который может обучиться X", "Нам нужен ИА, который может извлечь X из интернета". Звучит красиво, создает иллюзию прогресса и даже отлично подходит для пиара, потому что каждому кажется, будто он понимает предложенное решение. Но на самом деле это ни на шаг не приближает вас к универсальному сложению — в отличие от сложения в узких предметных областях. Вероятно, мы никогда не познаем фундаментальную природу арифметики. Эта задача просто не под силу человеку».

«Вот почему нам нужно разработать универсального арифметика тем же путем, каким шла Природа — через эволюцию».

«Нисходящие подходы явно не смогли породить арифметику. Нам нужен восходящий подход, какой-то способ заставить арифметику возникнуть эмерджентно. Мы должны признать фундаментальную непредсказуемость сложных систем».

«Вы все неправы. Прошлые попытки создать машинную арифметику были обречены с самого начала, потому что у них просто не хватало вычислительной мощности. Если посмотреть, сколько триллионов синапсов в человеческом мозге, то станет ясно, что у калькуляторов нет таблиц поиска даже близко такого объема. Нам нужны калькуляторы мощностью с человеческий мозг. Согласно закону Мура, это произойдет в 2031 году, 27 апреля, между 4:00 и 4:30 утра».

«Я считаю, что машинная арифметика появится, когда исследователи отсканируют каждый нейрон человеческого мозга целиком и перенесут в компьютер, чтобы мы могли симулировать биологические цепочки, которые выполняют сложение у людей».

«Не думаю, что нам нужно ждать сканирования всего мозга. Нейронные сети устроены точно так же, как человеческий мозг, и их можно обучить выполнять задачи, даже не зная, как именно они это делают. Мы создадим программы, которые будут заниматься арифметикой без того, чтобы мы, их создатели, когда-либо поняли, как они это делают».

«Но теорема Гёделя показывает, что ни одна формальная система никогда не сможет охватить базовые свойства арифметики. Классическая физика формализуема, поэтому, чтобы сложить два и два, мозг должен использовать преимущества квантовой физики».

«Да бросьте, если бы человеческая арифметика была достаточно простой, чтобы воссоздать ее в компьютере, мы бы не умели считать до столь больших чисел, чтобы эти самые компьютеры построить».

«Разве вы не слышали об эксперименте Джона Сёрля с „Китайским калькулятором“? Даже если бы у вас был огромный набор правил, позволяющий сложить „двадцать один“ и „шестнадцать“, представьте себе перевод всех слов на китайский язык — и вы увидите, что никакого подлинного сложения здесь не происходит. В системе вообще нет настоящих чисел, есть лишь ярлыки, которые люди используют для их обозначения...»

У этой притчи больше одной морали, и в разных контекстах я рассказывал её с разными выводами. Она иллюстрирует, например, идею уровней организации — центральный процессор может складывать два больших числа, потому что числа не являются непроницаемыми «чёрными ящиками», они представляют собой упорядоченные 32-битные структуры.

Но для целей преодоления предвзятости давайте извлечём два урока:

Во-первых, опасность веры в утверждения, которые вы не можете воссоздать самостоятельно на основе собственных знаний.

Во-вторых, опасность попыток ходить вокруг да около базового непонимания.

Дабы никто не обвинил меня в обобщении на основе вымышленных свидетельств, оба этих урока можно извлечь и из реальной истории искусственного интеллекта.

Первая опасность — это проблема предметного уровня, с которой столкнулись устройства ИА (Искусственной Арифметики): они функционировали как магнитофоны, проигрывающие «знание», сгенерированное вне системы с помощью процесса, который они не могли воспроизвести изнутри. Человек мог сказать устройству ИА, что «двадцать один плюс шестнадцать равно тридцати семи», и устройства ИА могли записать это предложение и воспроизвести его, или даже сопоставить по шаблону «двадцать один плюс шестнадцать», чтобы выдать «тридцать семь!», — но устройства ИА не могли генерировать такое знание самостоятельно.

Что очень напоминает веру на слово физику, который говорит вам: «Свет — это волны»: вы записываете эти интригующие слова и воспроизводите их, когда кто-то спрашивает: «Из чего состоит свет?», но сами вывести это знание не способны.

Второй урок — это опасность мета-уровня, которая поглотила исследователей Искусственной Арифметики и категоричных сторонних наблюдателей: опасность ходить вокруг да около сбивающих с толку пробелов в собственных знаниях. Тенденция делать практически всё что угодно, кроме того, чтобы стиснуть зубы, взяться за дело и заполнить этот чёртов пробел.

Скажете ли вы: «Это эмерджентно!» или «Это непостижимо!», ни в одном из случаев вы не признаёте, что для решения требуется базовое озарение — озарение, которое в принципе можно обрести, но которым вы пока не обладаете.

Как узнать, когда к вам придёт новое базовое озарение? И нет никакого способа получить его, кроме как биться над проблемой, узнавая о ней всё, что только возможно, изучая её со всех мыслимых сторон, возможно, годами. Академическая среда просто не приспособлена для подобных поисков, ведь вам нужно публиковать хотя бы по одной статье в месяц. И уж конечно, венчурные капиталисты не станут это финансировать. Вам хочется либо взять и построить систему прямо сейчас, либо сдаться и заняться вместо этого чем-то другим.

Посмотрите на комментарии выше: ни один из них не направлен на то, чтобы отправиться на поиски недостающего озарения, которое лишило бы числа таинственности, сделало бы «двадцать семь» чем-то большим, чем просто чёрный ящик. Ни один из комментаторов не понял, что его трудности проистекают из незнания или путаницы в его собственной голове, а не из неотъемлемого свойства арифметики. Они не пытались достичь состояния, в котором непонятное перестало бы быть непонятным.

Если вы прочтёте книгу Джуды Перла «Вероятностные рассуждения в интеллектуальных системах: сети правдоподобного вывода»,1 вы увидите, что ключевая идея, лежащая в основе графовых моделей, абсолютно необходима для решения задач, где она