Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

class="p">Хороший пример — скептик, который соглашается: «Ну, религию нельзя доказать или опровергнуть фактическими свидетельствами». Как я уже писал в других статьях, с точки зрения теории вероятностей это попросту неверно. И это также абсолютно неверно с точки зрения реальной психологии религии — еще несколько веков назад за подобные слова вас сожгли бы на костре. Мать, чья дочь больна раком, молится: «Боже, пожалуйста, исцели мою дочь», а не: «Дорогой Боже, я знаю, что у религии не должно быть фальсифицируемых следствий, а значит, Ты никак не можешь исцелить мою дочь, так что... ну, в общем, я молюсь просто чтобы утешить себя, вместо того чтобы сделать что-то, что действительно могло бы ей помочь».

Но люди читают фразу «Религию нельзя доказать или опровергнуть фактическими свидетельствами», а потом, когда в следующий раз видят свидетельство, опровергающее религию, их мозг просто достраивает шаблон. Даже некоторые атеисты без колебаний повторяют эту нелепицу. Если бы они сами додумались до этой идеи, а не услышали ее от кого-то еще, они отнеслись бы к ней гораздо более скептически.

Смерть. Достройте шаблон: «Смерть придает смысл жизни».

Невероятно досадно разговаривать с хорошими, порядочными людьми — теми, кто и за тысячу лет сам по себе никогда бы не додумался до истребления человечества, — поднимать тему экзистенциального риска и слышать от них: «Ну, может быть, человечество и не заслуживает выживания». Они ни за что на свете не застрелили бы собственного ребенка, который является частью человечества, но мозг достраивает шаблон.

Какие шаблоны достраиваются в вашем разуме, хотя вы никогда не выбирали, чтобы они там были?

Рациональность. Достройте шаблон: «Любовь нерациональна».

Если бы эта идея внезапно пришла в голову лично вам, как совершенно новая мысль, как бы вы её критически оценили? Я знаю, что сказал бы я, но что бы сказали вы? Бывает трудно взглянуть на вещи свежим взглядом. Постарайтесь удержать свой разум от достраивания шаблона стандартным, предсказуемым, уже известным способом. Возможно, лучшего ответа, чем стандартный, не существует, но вы не сможете по-настоящему подумать над ответом, пока не заставите свой мозг перестать подставлять его автоматически.

Теперь, когда вы это прочитали, в следующий раз, услышав, как кто-то без колебаний повторяет мем, кажущийся вам глупым или ложным, вы подумаете: «Кэшированные мысли». Моё убеждение теперь у вас в голове, оно ждёт возможности достроить шаблон. Но правда ли это? Не позволяйте своему разуму достраивать шаблон! Думайте!

*

91. Коробка «Вне коробки».

Всякий раз, когда вас призывают «мыслить вне коробки», вам обычно, для вашего же удобства, в точности указывают, где именно это «вне коробки» находится. Разве не забавно, что все нонконформисты одеваются одинаково...

В области искусственного интеллекта у каждого за пределами этой сферы есть закешированный ответ на тему блестящей новой революционной идеи в ИИ — нейросети, которые работают точно так же, как человеческий мозг! Новая идея в ИИ. Достройте паттерн: «Логические ИИ, несмотря на все громкие обещания, десятилетиями не могли продемонстрировать настоящий интеллект — нам нужны нейросети!»

Эта закешированная мысль существует уже три десятка лет. Интеллекта общего уровня всё ещё нет. Но каким-то образом каждый за пределами этой области знает, что нейросети — это Сметающая-Доминирующую-Парадигму Новая Идея, ещё с тех пор, как в 1970-х изобрели метод обратного распространения ошибки. Вот вам и стареющие хиппи.

Образы нонконформистов по самой своей природе не допускают отклонений от нормы. Если вы не носите чёрное, как люди узнают, что вы — страдающий художник? Как люди распознают уникальность, если вы не вписываетесь в стандартный шаблон того, как эта уникальность должна выглядеть? Как кто-то поймёт, что у вас революционная концепция ИИ, если она не связана с нейросетями?

Другой пример того же тропа — «подрывная» литература, которая вся звучит одинаково и поддерживается крошечной, дерзкой лигой бунтарей, контролирующей всю кафедру английской филологии. Как спрашивает Аноним в блоге Скотта Ааронсона:

Заставило ли вас хоть одно из прочитанных произведений «подрывной» литературы изменить какие-либо из ваших политических взглядов?

Или как замечает Lizard:

Революцию уже показали по телевизору. Революцию выставили на продажу. Революция — это товар, готовый стиль жизни в упаковке, доступный в местном торговом центре. За $19,95 вы получаете чёрную маску, баллончик с краской, протестный плакат «Раздави фашистов» и доступ к блогу, где вы сможете писать о полицейском насилии, которому подверглись, когда приковали себя к пожарному гидранту. Капитализм научился продавать антикапитализм.

Многие в Кремниевой долине замечали, что подавляющее большинство венчурных капиталистов в любой момент времени гоняются за одной и той же Революционной Инновацией — причём той самой, которая вышла на IPO полгода назад. Для венчурного капитала это особенно убийственное наблюдение, поскольку здесь есть прямой экономический мотив не следовать за стадом: либо кто-то другой уже разрабатывает этот продукт, либо кто-то другой предлагает за стартап слишком высокую цену. Стив Юрветсон как-то рассказывал мне, что в Draper Fisher Jurvetson для финансирования любого стартапа на сумму до 1,5 миллиона долларов достаточно согласия всего двух партнёров. И если все партнёры согласны, что идея кажется отличной, они за неё не возьмутся. О, если бы грантовые комитеты были столь же разумны.

Проблема с оригинальностью заключается в том, что для её достижения вам действительно нужно думать, а не позволять мозгу просто достраивать паттерн. Не существует удобно подписанной коробки «Вне коробки», куда можно было бы сразу сбежать. В этом есть что-то почти дзэнское — точно так же нельзя объяснить сатори словами, потому что сатори — это переживание того, как слова вас подводят. Чем сильнее вы пытаетесь следовать словесным наставлениям мастера дзэн, тем дальше вы от обретения пустоты ума.

Думаю, есть причина, почему люди не достигают новизны, когда стремятся именно к ней. Такие свойства, как истинность или хороший дизайн, не зависят от новизны: 2 + 2 = 4 — да, действительно, пусть даже все остальные думают так же. Люди, стремящиеся открыть истину или создать хороший дизайн, со временем могут обрести способность к творчеству. Не всякое изменение — это улучшение, но всякое улучшение — это изменение.

Всякое улучшение — это изменение, но не всякое изменение — улучшение. Тот, кто говорит: «Я хочу создать оригинальную мышеловку!», а не «Я хочу создать оптимальную мышеловку!», почти всегда хочет, чтобы его воспринимали как оригинального. «Оригинальность» в этом смысле социально обусловлена, поскольку её можно определить только в сравнении с другими людьми. Поэтому мозг такого