Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Это общее заблуждение, вероятно, возникает из-за того, что существуют случаи, когда отсутствие научного доказательства служит весомым свидетельством против — поскольку эксперимент было бы легко провести, и его непроведение само по себе подозрительно. (Хотя и не так подозрительно, как я думал раньше: учитывая все эти удивительно разнообразные разрозненные свидетельства, поступающие из уважаемых источников, какого чёрта никто до сих пор не проверяет теорию подавления аппетита Сета Робертса?2)

Ещё одним источником путаницы может быть то, что если протестировать лекарство X на 1000 испытуемых и обнаружить, что выздоровели 56% контрольной группы и 57% экспериментальной, некоторые назовут это вердиктом «Не доказано». Я бы назвал это экспериментальным вердиктом: «Лекарство X работает плохо, если вообще работает». То, что этот вердикт теоретически может быть пересмотрен при появлении новых доказательств, ещё не делает его неопределённым.

В любом случае, прямо сейчас люди с порога отвергают крионику как «ненаучную», будто это какой-то медицинский препарат, который можно запросто дать 1000 пациентов и посмотреть, что произойдёт. «Позвоните мне, когда крионисты действительно кого-нибудь оживят», — говорят они. А это, как замечает Майк Ли, всё равно что сказать: «Я отказываюсь садиться в эту скорую; позвоните мне, когда она уже будет в больнице». Возможно, Мартин Гарднер предостерегал их от веры в странные вещи без экспериментальных доказательств. И вот они ждут окончательного, безошибочного вердикта Науки, пока их близкие, друзья и ещё 150 000 человек в день умирают прямо сейчас, хотя их, возможно, ещё можно было бы спасти —

— просчитанная ставка, которую можно сделать только рационально.

Стремление Науки — собрать такую огромную гору доказательств, чтобы её не смогли неверно истолковать даже подверженные ошибкам учёные. Но даже это порой даёт сбой, когда люди начинают путаться, какая теория что предсказывает, или закладывают крайне труднопроверяемые компоненты в раннюю версию своей теории. А иногда получить чёткие экспериментальные свидетельства попросту невозможно.

Так или иначе, вам приходится пытаться делать то, в чём Наука не доверяет никому — думать рационально и находить ответ до того, как вас огреют им по голове.

(Ах да, и иногда опровергающий экспериментальный результат выглядит так: «Весь ваш биологический вид только что был уничтожен! С научной точки зрения теперь вы обязаны отказаться от своей теории. Если вы публично отречётесь от неё — вы молодец! Помните: чтобы отказаться от твёрдых убеждений, требуется недюжинная сила ума. В следующий раз смело пробуйте другую гипотезу!»)

*

1. Этой цитаты больше нет в Викицитатнике, но она есть на персональной странице цитат Маккарти.

2. Сет Робертс, «What Makes Food Fattening?: A Pavlovian Theory of Weight Control» (неопубликованная рукопись, 2005), http://media.sethroberts.net/about/whatmakesfoodfattening.pdf.

247. Наука недостаточно строга.

Когда-то давно у юного Элиезера была глупая теория. Элиезер18 старательно следовал предписаниям Традиционной Рациональности, которым его учили; он позаботился о том, чтобы у его глупой теории были экспериментальные следствия. Элиезер18 заявлял, в соответствии с преподанными ему добродетелями ученого, что хочет проверить свою глупую теорию.

Этого было вполне достаточно для добродетели — согласно тому, чему учили Элиезера18 как добродетели на пути науки.

Это даже отдаленно не соответствовало тому масштабу усилий, который требовался, чтобы оказаться правым.

Традиционные идеалы Науки слишком охотно раздают золотые звездочки. Отрицательные результаты экспериментов — это тоже знание, так что каждый участник игры получает награду. Если вы способны придумать какой-нибудь эксперимент для проверки вашей теории, действительно проводите его и принимаете результаты — вы сыграли по правилам, вы хороший ученый.

Вы не обязательно оказались правы, но вы — славный, законопослушный гражданин Науки.

(Здесь я хочу отметить, что говорю именно о Науке, а не о науке как социальном процессе, каковой она является на практике. На то есть две причины. Во-первых, я сбился с пути, пытаясь следовать идеалу Науки — дело вовсе не в том, что меня срезал какой-то мстительный редактор научного журнала, и я вовсе не пытался копировать недостатки академической среды. Во-вторых, если я укажу на изъян в идеале в том виде, в каком его традиционно проповедуют, ученые из реального мира вовсе не обязаны тоже сбиваться с пути!)

Наука зародилась как бунт против грандиозных философских схем и кабинетных рассуждений. Поэтому в Науке нет правила о том, какие гипотезы вам разрешено или запрещено проверять; это остается на усмотрение конкретного ученого. Попытка угадать это априори потребовала бы некой грандиозной философской схемы и рассуждений до получения свидетельств. Как социальный идеал, Наука не считает вас плохим человеком за выдвижение еретических гипотез; честные эксперименты и признание результатов — вот истинная добродетель ученого.

До тех пор, пока большинство ученых способно принимать определенные, очевидные, недвусмысленные экспериментальные доказательства, наука может развиваться. Возможно, это происходит слишком медленно — возможно, это занимает больше времени, чем следовало бы, — возможно, придется ждать, пока вымрет поколение патриархов, — но в конце концов храповик познания щелкает, продвигаясь еще на один зубец вперед. Год за годом, десятилетие за десятилетием колесо поворачивается вперед. Этого достаточно для поддержания цивилизации.

Вот и все, чего на самом деле требует от вас Наука, — способность признать реальность, когда вас бьют ею по голове. Немного, но этого достаточно, чтобы поддерживать научную культуру.

Сравните это с понятием точного количественного рационального суждения в теории вероятностей. Если 1% женщин, проходящих плановое обследование, больны раком груди, у 80% женщин с раком груди маммография дает положительный результат, а у 10% женщин без рака груди результат ложноположительный, то какова вероятность того, что женщина с положительным результатом маммографии при плановом обследовании действительно больна раком груди? Она равна 7,5%. Вы не можете сказать: «Я считаю, что у нее нет рака груди, потому что эксперимент недостаточно определенный». Вы не можете сказать: «Я считаю, что у нее есть рак груди, потому что разумно быть пессимистом, а единственный имеющийся на данный момент эксперимент, похоже, указывает именно на это». Семь целых пять десятых процента — это рациональная оценка на основе этих свидетельств, а не 7,4% и не 7,6%. Законы вероятности — это законы.

В «Двенадцати добродетелях» о третьей добродетели, легкости, сказано:

«Если ты воспринимаешь свидетельства как ограничение и стремишься освободиться от них, ты отдаешь себя в оковы собственных капризов. Ибо ты не сможешь составить верную карту города, сидя в спальне с закрытыми глазами и чертя линии на бумаге по наитию. Ты должен пройтись по городу и наносить на бумагу те линии,