Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Робин Хансон поднял тему медленного одобрения FDA препаратов, уже одобренных в других странах. Кто-то в комментариях указал, что талидомид продавался в 50 странах под 40 названиями, но в США распространили лишь небольшое его количество, поэтому во всём мире родилось 10 000 детей с пороками развития, тогда как в США — всего 17.

Но сколько людей умерло из-за медленного одобрения в США лекарств, которые быстрее одобрили в других странах — всех тех лекарств, с которыми не возникло никаких проблем? И я задаю этот вопрос, потому что на этот счёт можно попытаться собрать статистику, — но ведь это ничего не говорит обо всех тех препаратах, которые так и не были разработаны из-за слишком длительного и дорогого процесса одобрения. Согласно этому источнику, более долгий процесс одобрения FDA предотвращает 5000 жертв в год, отсеивая препараты, оказавшиеся вредными, но приводит как минимум к 20 000–120 000 жертв ежегодно просто из-за задержки одобрения тех полезных лекарств, которые всё же разрабатываются и в конечном итоге получают одобрение.

Так что действительно есть повод для аллергии на людей, твердящих: «Ах, но у технологий помимо преимуществ есть и риски». Исторический опыт указывает на избыточный консерватизм, когда множество незаметных смертей от регулирования перевешивают несколько наглядных смертей от его отсутствия. Если вы действительно придерживаетесь середины, почему бы не сказать: «Ах, но у технологий помимо рисков есть и преимущества»?

Что ж, это не такое уж плохое описание Плохих Парней. (За исключением того, что следовало бы сильнее подчеркнуть: это не злые мутанты, а обычные люди, действующие в рамках иного мировоззренческого гештальта, в котором они правы; некоторые из них неизбежно окажутся компетентнее других, а компетентность значит очень много.) Даже оглядываясь назад, я не думаю, что моя детская технофилия сильно ошибалась насчёт того, кто является Плохим Парнем и в чём заключалась ключевая ошибка. Но всегда гораздо проще сказать, чего делать не нужно, чем сделать всё правильно. И одним из моих фундаментальных изъянов в то время было убеждение, будто достаточно изо всех сил избегать того, что делают Плохие Парни, чтобы автоматически стать Хорошим Парнем.

Особенно пагубным, как мне кажется, был дурной пример претендентов на Глубокую Мудрость, пытавшихся застолбить за собой срединный путь; они снисходительно улыбались и технофилам, и технофобам, называя и тех, и других незрелыми. Это воистину неверный путь; и в самом деле, идея поиска срединного пути в целом обычно ошибочна. Верный Путь — это не компромисс с чем-либо; это чистое воплощение собственных критериев.

Но из-за этого молодому Элиезеру было труднее отклониться от решения «идти напролом», потому что любое отклонение казалось присоединением к претендентам на Глубокую Мудрость.

Первая трещина в моей детской технофилии появилась, кажется, в 1997 или 1998 году, когда я заметил, что мои собратья-технофилы говорят глупости о том, будто с молекулярными нанотехнологиями будет легко управиться. (Как вы, возможно, снова замечаете, молодым Элиезером в огромной степени двигала способность находить изъяны — у меня даже была собственная философия, объясняющая, почему это хорошая идея.)

Шли дебаты о молекулярных нанотехнологиях и о том, окажется ли нападение асимметрично проще обороны. И находились люди, утверждавшие, что обороняться будет легко. В области нанотехнологий, ради Гху, — программируемой материи! — притом что мы, похоже, не способны решить проблему безопасности даже в компьютерных сетях, где можем наблюдать и контролировать каждый ноль и единицу. Люди рассуждали о неприступных алмазоподобных стенах. Я же заметил, что алмаз не устоит перед ядерным оружием, что нападение держит оборону на лопатках еще с 1945 года и нанотехнологии вряд ли это изменят.

И к тому времени, как эти дебаты закончились, молодой Элиезер — увлеченный пылом спора — кажется, впервые ухитрился заметить, что выживание разумной жизни земного происхождения находится под угрозой.

Оглядываясь назад, странно думать, что было время, когда я считал, будто в будущем на кону стоят лишь отдельные человеческие жизни. В каком поразительно более дружелюбном мире я тогда жил... хотя не то чтобы я думал об этом в то время. Я не столько отвергал эту возможность, сколько ухитрялся вообще изначально её не замечать. Но стоило этой теме всплыть, как я сразу же её разглядел. Я толком не помню, как работал этот трюк. Не зря я говорю о себе прежнем в третьем лице.

Может показаться, что Элиезер-1998 был полным идиотом, но в каком-то смысле это было бы слишком удобной отговоркой; правда гораздо страшнее. Элиезер-1998 был толковым традиционным рационалистом, насколько это вообще было возможно. Я знал, что гипотезы должны быть проверяемыми, знал, что рационализация — недопустимая мысленная операция, знал, как играть в «Рационалистическое табу», был одержим самосознанием... еще не до конца понимал концепцию «таинственных ответов»... и вообще не знал ни Байеса, ни Канемана. И все же — толковый традиционный рационалист, намного выше среднего... Ну и что с того? Природа не ставит нам оценки по кривой распределения. Один шаг в сторону от Пути, один толчок неоправданного влияния на ваши мыслительные процессы — и все остальные защиты аннулируются.

Один из главных уроков, которые я извлекаю, оглядываясь на свою историю, состоит в том, что неудивительно, почему во внешнем мире многие считают, будто «ум — это еще не всё» или что рационалистам в реальной жизни живется не лучше других. Немного рациональности — да даже и много рациональности — не преодолевает ту астрономически высокую планку, за которой вещи действительно начинают работать.

И пусть за мое неверное истолкование Верного Пути не винят ни Джерри Пурнеля, ни моего отца, ни научную фантастику в целом. Думаю, характер молодого Элиезера наложил изрядный фильтр отбора на то, какие именно части их учений смогли пробиться в его разум. Нельзя сказать, чтобы Пурнель не говорил: «Правила меняются, стоит вам покинуть Землю, колыбель; зазеваетесь хоть раз, закрывая скафандр, — и вы покойник». Он повторял это частенько. Но эти слова почему-то не казались важными: ведь подобное происходило со второстепенными персонажами романов, а главный герой почему-то обычно не погибал на середине книги.

Сквозь какую же призму я фильтровал эти наставления? Надежда. Оптимизм. Ожидание светлого будущего. Вот в чем заключался для меня фундаментальный смысл книги «Шаг ещё дальше» — урок, который я усвоил в противовес мрачному унынию Сьерра-клуба. На одной стороне были рациональность и надежда, на другой — невежество и отчаяние.

Некоторые подростки считают себя бессмертными и гоняют на мотоциклах. Я не питал подобных иллюзий