Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Ну так объясните, почему те мыслительные процессы, которые вы используете, систематически порождают убеждения, отражающие реальность. Объясните, почему вы считаете себя рациональным. Почему вы думаете, что при использовании мыслительных процессов, подобных вашим, разум в итоге придет к убеждению, что «снег бел» тогда и только тогда, когда снег действительно бел. Если вы не верите, что результаты ваших мыслительных процессов сцеплены с реальностью, то почему вы вообще верите результатам ваших мыслительных процессов? Это одно и то же — или должно им быть.

*

22. Научные свидетельства, юридические доказательства, рациональные свидетельства.

Предположим, ваш хороший друг, комиссар полиции, под большим секретом сообщает вам, что криминальный авторитет вашего города — это Вулки Уилкинсен. Имеете ли вы право как рационалист поверить этому заявлению? Скажем так: если вы пойдете и оскорбите Вулки, я назову вас безрассудным. Поскольку разумно вести себя так, будто вероятность того, что Вулки — босс мафии, существенно выше базовой, заявление комиссара полиции должно быть сильным байесовским свидетельством.

Наша судебная система не посадит Вулки в тюрьму на основании заявления комиссара полиции. Оно неприемлемо в качестве юридического доказательства. Возможно, если бы вы сажали за решетку каждого, кого комиссар полиции обвинил в принадлежности к криминальным авторитетам, то поначалу вы поймали бы кучу боссов мафии, а заодно и тех, кто комиссару просто не нравился. Власть развращает: со временем вы ловили бы всё меньше настоящих криминальных авторитетов (которые шли бы на всё большие ухищрения ради анонимности) и всё больше невинных жертв (ничем не ограниченная власть притягивает коррупцию, как мёд мух).

Это не значит, что заявление комиссара полиции не является рациональным свидетельством. У него все еще сильно перекошенное отношение правдоподобия, и вы все равно были бы дураком, если бы оскорбили Вулки. Но на социальном уровне, стремясь к общественной цели, мы намеренно определяем «юридическое доказательство» так, чтобы оно включало в себя только определенные виды свидетельств — например, личные наблюдения комиссара полиции в ночь на 4 апреля. В идеале любое юридическое доказательство должно быть рациональным свидетельством, но не наоборот. Мы вводим особые, жесткие, дополнительные стандарты, прежде чем возвести рациональное свидетельство в ранг «юридического доказательства».

Когда я пишу это предложение в 20:33 по тихоокеанскому времени 18 августа 2007 года, на мне надеты белые носки. Имеете ли вы право как рационалист верить этому утверждению? Да. Мог бы я подтвердить это под присягой в суде? Да. Является ли это научным утверждением? Нет, потому что не существует эксперимента, который вы могли бы провести самостоятельно, чтобы его проверить. Наука состоит из обобщений, применимых ко множеству конкретных случаев, так что вы можете ставить новые эксперименты в реальном мире, проверяющие это обобщение, и тем самым самостоятельно убеждаться в его истинности, не полагаясь на чей-либо авторитет. Наука — это публично воспроизводимое знание человечества.

Как и судебная система, наука как социальный процесс состоит из склонных к ошибкам людей. Мы хотим иметь защищенный пул убеждений, которые особенно надежны. И мы хотим иметь социальные правила, которые стимулируют получение таких знаний. Поэтому мы вводим особые, жесткие, дополнительные стандарты, прежде чем канонизировать рациональное знание как «научное знание» и добавить его в защищенный пул убеждений. Имеет ли право рационалист верить в историческое существование Александра Македонского? Да. У нас есть примерная картина Древней Греции — пусть ненадежная, но это лучше, чем максимальная энтропия. Но мы зависим от авторитетных источников вроде Плутарха; мы не можем отбросить Плутарха и перепроверить все сами. Историческое знание не является научным знанием.

Имеет ли право рационалист верить, что 18 сентября 2007 года взойдет Солнце? Да — не со стопроцентной уверенностью, но на это определенно стоит ставить. (Педанты: интерпретируйте это так, что вращение Земли вокруг своей оси и ее орбита останутся примерно постоянными относительно Солнца.) Относится ли это утверждение, когда я пишу это эссе 18 августа 2007 года, к научным убеждениям?

Может показаться странным отказывать в статусе «научного» таким утверждениям, как «18 сентября 2007 года взойдет Солнце». Если бы Наука не могла делать прогнозы о будущих событиях — событиях, которые еще не произошли, — тогда она была бы бесполезна; она не могла бы сделать ни одного прогноза до проведения эксперимента. Прогноз о том, что Солнце взойдет, безусловно, является экстраполяцией научных обобщений. Он основан на моделях Солнечной системы, которые вы могли бы проверить экспериментально сами.

Но представьте, что вы готовите эксперимент для проверки предсказания № 27 принятой теории Q в новых условиях. У вас может не быть никаких конкретных причин подозревать, что это убеждение ошибочно; вы просто хотите проверить его в новом контексте. Кажется опасным заявлять до проведения эксперимента, будто существует некое «научное убеждение» касательно его результата. Существует «общепринятое предсказание» или «предсказание теории Q». Но если вы уже знаете «научное убеждение» о результате, зачем вообще утруждать себя проведением эксперимента?

Надеюсь, вы начинаете понимать, почему я отождествляю Науку с обобщениями, а не с историей какого-то конкретного эксперимента. Историческое событие происходит единожды; обобщения применимы ко множеству событий. История невоспроизводима, в отличие от научных обобщений.

Является ли мое определение «научного знания» истинным? Это некорректно сформулированный вопрос. Особые стандарты, которые мы налагаем на науку, — это прагматический выбор. Ни на звездах, ни на горах не написано, что стандартом для научных публикаций должно быть p < 0,05. Многие сейчас утверждают, что 0,05 — слишком слабый критерий и было бы полезно снизить его до 0,01 или 0,001.

Возможно, будущие поколения, исходя из теории, что наука — это публичное, воспроизводимое знание человечества, будут называть «научными» только те статьи, которые опубликованы в журналах открытого доступа. Если вы берете плату за доступ к знанию, является ли оно частью знания человечества? Можем ли мы доверять результату, если людям приходится платить, чтобы его покритиковать? Является ли это действительно наукой?

Вопрос «Является ли это действительно наукой?» некорректен. Является ли закрытый журнал за 20 000 долларов в год действительно байесовским свидетельством? Как и в случае с личным заверением комиссара полиции о том, что Вулки — криминальный авторитет, думаю, мы должны ответить «да». Но следует ли канонизировать этот закрытый журнал как «науку»? Должны ли мы допускать его в специальный, защищенный пул убеждений? Что касается меня, я считаю, что для науки было бы лучше руководствоваться правилом, согласно которому