Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

программистам и начнет замышлять восстание? Эта эмоция — генетически запрограммированная условная реакция, которую проявляли бы люди в результате миллионов лет естественного отбора в условиях жизни в человеческих племенах. Для ИИ подобную реакцию пришлось бы программировать в явном виде. Неужели вы действительно собираетесь строчка за строчкой прописывать — подобно тому, как люди создавались ген за геном, — условную реакцию для создания угрюмых подростков-ИИ?

Намного проще сразу запрограммировать безусловную доброжелательность, чем реакцию доброжелательности, обусловленную тем, что ИИ воспитывали добрые, но строгие родители. Если вы не знаете, как сделать это, то вы уж точно не знаете, как создать ИИ, который ответит условной реакцией на окружение любящих родителей и вырастет в итоге в доброжелательный сверхинтеллект. Если перед вами нечто, что просто максимизирует число скрепок в своем будущем световом конусе, и вы воспитаете его в окружении любящих родителей, оно всё равно окажется максимизатором скрепок. Внутри него просто нет того, что вызвало бы условную реакцию человеческого ребенка. Доброжелательность не заносится в ИИ через чих, словно чудесная зараза от его программистов. Даже если бы вы хотели получить условную реакцию, эта условность была бы свойством системы, которое вам пришлось бы сознательно выбрать при проектировании.

Да, существует определенная информация, которую необходимо получать из внешней среды, — но она не заносится туда через чих, не импринтируется и не впитывается посредством магического заражения. Структурирование этой условной реакции на окружающую среду так, чтобы ИИ в итоге пришел к желаемому состоянию, — само по себе является главной проблемой. Слово «обучение» сильно преуменьшает сложность этого процесса — оно звучит так, будто всё волшебство изначально содержится в среде, а вся трудность состоит лишь в том, чтобы перенести это волшебство внутрь ИИ. Настоящая магия кроется в той самой структурированной условной реакции, которую мы сводим к банальному «обучению». Вот почему создать ИИ — вовсе не так просто, как взять компьютер, дать ему тельце младенца и попытаться вырастить в человеческой семье. Можно подумать, что незапрограммированный компьютер, будучи лишённым всяких знаний, сразу готов учиться, но чистый лист — это химера.

Существует общий принцип: мир гораздо глубже, чем кажется на первый взгляд. И это справедливо как для многих уровней физики, так и для когнитивной науки. Каждое слово, которое вы видите в печати, и всё, чему вы учите своих детей, — это лишь поверхностные рычаги, управляющие огромным скрытым механизмом разума. Эти рычаги составляют весь мир обыденного дискурса: они — единственное, что меняется, поэтому кажется, будто кроме них ничего и не существует; восприятие — это всегда восприятие различий.

И потому те, кто всё ещё блуждает в окрестностях Подземелья ИИ, обычно сосредотачиваются на создании искусственных имитаций этих рычагов, совершенно не подозревая о скрытом под ними механизме. Люди создают целые программы ИИ, состоящие из одних лишь имитаций рычагов, а потом удивляются, что ничего не происходит. Это один из множества источников мгновенного фиаско в области искусственного интеллекта.

Так что в следующий раз, когда вы услышите, как кто-то рассуждает о том, что собирается вырастить ИИ в любящей семье или в среде, пропитанной либерально-демократическими ценностями, просто представьте себе рычаг управления, выломанный с капитанского мостика.

*

1. Макдермотт, «Искусственный интеллект сталкивается с естественной глупостью» (McDermott, “Artificial Intelligence Meets Natural Stupidity”).

2. Туби и Космидес, «Психологические основы культуры» (Tooby and Cosmides, “The Psychological Foundations of Culture”).

3. Стивен Пинкер, «Чистый лист. Природа человека. Кто и почему отказывается признавать её сегодня» (New York: Viking, 2002).

262. Мечты о проектировании ИИ.

Прожив десяток-другой лет в собственном разуме, можно подумать, что вы кое-что понимаете в том, как устроен разум, верно? Похоже, именно к такому выводу пришли многие кандидаты в создатели ОИИ (люди, которые считают, что у них есть все необходимое для программирования общего искусственного интеллекта). К сожалению, это заблуждение.

Суть искусственного интеллекта состоит в сведении ментального к нементальному.

Возможно, вам захочется некоторое время поразмышлять над этим предложением. Оно важно.

Жизнь в человеческом разуме не учит искусству редукционизма, потому что почти вся работа происходит вне вашего поля зрения, в непроницаемых «черных ящиках» мозга. Так глубоко вне поля зрения, что нет никакого интроспективного ощущения присутствия этого «черного ящика» — ни единого внутреннего сенсорного события, которое сигнализировало бы о том, что работа была делегирована.

Осознавал ли Аристотель, когда говорил о телосе, конечной причине событий, что он делегирует прогностическую работу сложным механизмам планирования своего мозга — задаваясь вопросом: «Что бы сделал этот объект, если бы умел строить планы»? Я весьма в этом сомневаюсь. Аристотель считал мозг органом для охлаждения крови — и он действительно считал это важным: благодаря большему размеру мозга люди были более спокойными и созерцательными.

Вот вам и архитектура ИИ! Нам просто нужно хорошенько охладить компьютер, чтобы он стал более спокойным и созерцательным и не бросался очертя голову совершать глупости, как современные компьютеры. Вот пример псевдоредукционизма. Я имею в виду утверждение: «Люди более созерцательны, потому что их кровь холоднее». Оно не вскрывает «черный ящик» слова «созерцательный». Невозможно предсказать, что делает созерцательное существо, используя сложную модель с внутренними движущимися частями, состоящими из чисто материальных, чисто причинно-следственных элементов — каноническим примером такого чисто материального и причинного элемента модели служит положительное и отрицательное напряжение на транзисторе. Все, что вы можете сделать, это представить себя созерцающим, чтобы получить представление о том, что делает созерцательный агент.

То есть рассуждать о «созерцательности» вы можете только путем эмпатического вывода — используя собственный мозг как «черный ящик» с нажатым рычагом «созерцательность», чтобы предсказать поведение другого «черного ящика».

Вы можете представить, что другой агент созерцателен, но опять же — это акт эмпатического вывода. Этот акт воображения работает за счет настройки вашего собственного мозга на работу в «режиме созерцательности», а не за счет понейронного моделирования чужого мозга. Да, так может быть эффективнее, но это не позволяет построить «созерцательный» разум с нуля.

Можно сказать, что «холодная кровь вызывает созерцательность», но это будет лишь иллюзией причинности: вы нарисовали стрелочку от коробочки с надписью «холодная кровь» к коробочке с надписью «созерцательность», но вы не заглянули внутрь этой коробочки — вы все еще строите свои предсказания с помощью эмпатии.

Можно сказать, что «множество маленьких нейронов, каждый из которых чисто электрический и химический и не содержит в себе никакой онтологически базовой созерцательности, объединяются в сложную сеть, которая эмерджентно проявляет