Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Вы помните, чтобы вас когда-нибудь предостерегали от этой ошибки прямым текстом? Тогда почему бы людям не совершать именно эту ошибку? Сколько людей самостоятельно сделают этот дополнительный шаг и станут еще строже к себе? Некоторые, но немногие.

Многие ученые верят во всякую нелепицу за пределами лаборатории, пока могут убеждать себя, что она не опровергнута окончательно, или пока им удается не задавать вопросов. Существует ли какая-то стандартная лекция для аспирантов, при виде подобной глупости люди спрашивают: «Они что, прогуляли это занятие?» Нет, насколько я могу судить.

Может быть, если вам безумно повезет и вашим наставником станет светило науки, он поведает вам редкие личные секреты вроде: «Спроси себя, какие проблемы в твоей области действительно важны, и работай над одной из них вместо того, чтобы скатываться в легкую банальность» или «Будь осторожнее, чем требуют редакторы журналов; ищи новые способы уберечь эксперимент от влияния твоих собственных ожиданий, даже если это не принято стандартами».

Но я действительно не думаю, что существует какая-то великая тайная стандартная научная традиция высокоточного рационального рассуждения на основе скудных свидетельств. Половина всех ученых до сих пор считают, что верят в Бога! Более сложные навыки не являются стандартом!

*

249. Нет надежной защиты, даже в науке.

Я не расспрашиваю друзей об их детстве — мне не хватает социального любопытства, — и поэтому не знаю, насколько это действительно устойчивая тенденция:

Среди моих знакомых, которые стремятся расти как рационалисты и сами рассказывают о своем детстве, на удивление часто приходится слышать что-то вроде: «Моя семья вступила в секту, и мне пришлось из нее вырываться» или «Один из моих родителей был клинически безумен, и мне пришлось учиться отделять реальность от его безумия».

Мой собственный опыт взросления в ортодоксальной еврейской семье кажется безобидным по сравнению с этим... но он привел к тому же результату: он разрушил мое базовое эмоциональное доверие к здравомыслию окружающих людей.

Пока это базовое эмоциональное доверие не разрушено, вы не начнете расти как рационалист. Мне трудно выразить словами, почему это так. Возможно, любые необычные навыки, которые вы приобретаете — всё, что делает вас необычайно рациональным, — требуют от вас делать зиг, когда другие делают заг. Может быть, это просто слишком страшно, если мир всё ещё кажется вам разумным местом.

Или, возможно, вы просто не станете утруждать себя тяжелой работой ради порции сверх-здравомыслия, если нормальность не пугает вас до чертиков.

Я знаю, что многие начинающие рационалисты заходят в тупик, сталкиваясь с такими вещами, как крионика или многомировая интерпретация. Не то чтобы они не видели логики; они видят логику и недоумевают: «Неужели это правда, если сейчас это кажется настолько очевидным, но при этом никто вокруг меня в это не верит?»

Да. Добро пожаловать на Землю, где этанол делают из кукурузы, а экологи выступают против ядерной энергетики. Сочувствую.

(См. также: «Сектантское контрсектантство». Если вы ловите себя на том, что нервно ищете одобрения, это ни к чему хорошему не приведет — даже если причина в том, что вы готовы поверить во что-то логичное, из-за чего окружающие могут посмотреть на вас косо.)

Люди, чье доверие к здравомыслию окружающих было разрушено, судя по всему, способны оценивать странные идеи по существу, не нервничая из-за их странности. Клей, привязывавший их к прежнему месту, растворился, и теперь они могут идти в каком-то направлении, хочется надеяться, вперед.

Одинокое инакомыслие — так я это назвал. Настоящее инакомыслие не ощущается как поход в школу во всем черном; оно ощущается как поход в школу в костюме клоуна.

Вот что нужно для того, чтобы оказаться тем единственным голосом, который спрашивает: «Если вы правда думаете, будто знаете, кто победит на выборах, почему вы не забираете бесплатные деньги на рынке предсказаний Intrade?», в то время как все вокруг думают: «Быть индивидуальностью и иметь собственное мнение — это здорово, так сказали мне в рекламе кроссовок».

Возможно, в каком-то другом мире, в какой-нибудь альтернативной эвереттовской ветви с более разумным человечеством, все было бы иначе... но в этом мире я ни разу не видел, чтобы кто-то начинал расти как рационалист, пока не совершит глубокий эмоциональный разрыв с мудростью своей стаи.

Возможно, в другом мире все было бы иначе. А возможно, и нет. Я не уверен, что люди в действительности способны доверять и думать одновременно.

Когда-то давно существовало нечто, чему я доверял.

Элиезер18 доверял Науке.

Элиезер18 послушно признавал, что социальные механизмы науки несовершенны. Элиезер18 послушно признавал, что академический мир неповоротлив, нерационально распределяет ресурсы, потворствует любимчикам и плохо обходится со своими драгоценными еретиками.

В этом и состоит удобство признания изъянов в людях, которые не смогли соответствовать вашему идеалу: вам не приходится ставить под сомнение сам идеал.

Но кто вообще может быть настолько глуп, чтобы подвергать сомнению принцип: «Какая гипотеза победит — решит экспериментальный метод»?

Отчасти Элиезера18 обманула свойственная ему проблема — отвращение к идеям, похожим на то, что говорят идиоты. Элиезер18 видел немало людей, оспаривающих идеалы Самой Науки, и все они без исключения были на Тёмной стороне. Те, кто ставил под сомнение идеал Науки, неизменно пытались всучить вам шарлатанское снадобье, или оградить от критики свою любимую глупость, или выдать свою капитуляцию за Глубоко Мудрое принятие тщетности всего сущего.

Будь это любой другой идеал возрастом в пару веков, юный Элиезер посмотрел бы на него и сказал: «Интересно, действительно ли это правильно и можно ли сделать лучше?» Но только не идеал Науки. Наука была сверхидеей — идеей, которая позволяла менять другие идеи. Её можно было подвергать сомнению, но предполагалось, что вы подвергнете её сомнению, а затем примете, а не заявите на самом деле: «Погодите! Это же неверно!»

И поэтому, когда давным-давно мне в голову пришла глупая идея, я считал, что поступаю добродетельно, если забочусь о наличии Нового Предсказания и заявляю о своем желании проверить идею экспериментально. Мне казалось, я сделал всё, что был должен.

Так что я считал себя в безопасности — не в безопасности от какой-то конкретной внешней угрозы, а в безопасности на каком-то более глубоком уровне, подобно ребенку, который доверяет родителю и послушно выполняет все его правила.

Я уже давно утратил доверие к здравомыслию моей