Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

таких вполне фальсифицируемых теорий, как квантовая теория и общая теория относительности. Таким образом, теория мультивселенной устоит или рухнет в зависимости от того, насколько успешно эти другие теории выдержат эмпирическую проверку.

[ . . . ]

Но если простота фальсификации вводит в заблуждение, то чем ученым заниматься вместо этого? Хаусон считает, что пришло время отказаться от попперовского представления об описании научного процесса с помощью дедуктивной логики. Вместо этого внимание следует сосредоточить на отражении того, что ученые делают на самом деле: накапливают массу доказательств в пользу конкурирующих теорий и оценивают их относительное правдоподобие.

Хаусон — ведущий сторонник альтернативного взгляда на науку, основанного не на упрощенной логике «истинно/ложно», а на гораздо более тонком понятии степени уверенности. В основе этого взгляда лежит фундаментальная связь между субъективным понятием убеждения и холодной, строгой математикой вероятностей.

Я далеко не такой одинокий бунтарь, каким кажусь. Возможно, всё дело в моей манере выражаться.

Мои расхождения с мейнстримным течением «давайте-ка-переформулируем-науку-на-байесовский-лад» состоят в следующем:

(1) Я не связан с академической средой и могу гораздо меньше заниматься самоцензурой, когда дело доходит до высказывания «крайних» вещей, о которых другие, возможно, уже вовсю думают.

(2) Я считаю, что одного лишь преподавания теории вероятностей будет далеко не достаточно. Нам придется объединить уроки множества научных дисциплин, включая изучение когнитивных искажений и социальную психологию, сформировав новое цельное Искусство байескрафта, прежде чем мы действительно начнем справляться в реальном мире лучше, чем современная наука. Наука терпит ошибки; байескрафт — нет. Лауреат Нобелевской премии Роберт Ауманн, который первым доказал, что байесовцы с одинаковыми априорными вероятностями не могут согласиться остаться при своих мнениях, — верующий ортодоксальный иудей. Одной теории вероятностей будет мало, когда дело дойдет до настоящего обучения ученых. Это мое главное отличие, и я не видел, чтобы кто-то еще предлагал нечто подобное.

(3) Я считаю, что справляться лучше в реальном мире действительно возможно. В крайнем случае, байесовскому сверхинтеллекту потребовалось бы колоссально меньше сенсорной информации, чем ученому-человеку, чтобы прийти к правильным выводам. Увидев в самый первый раз, как падает яблоко, вы замечаете, что координата меняется пропорционально квадрату времени, изобретаете математический анализ, обобщаете законы Ньютона... затем видите, что законы Ньютона подразумевают дальнодействие, ищете альтернативные, более локальные объяснения, изобретаете релятивистскую ковариантность на основе гипотетического предела скорости и приходите к выводу, что общую теорию относительности неплохо бы протестировать.

Люди обрабатывают свидетельства неэффективно — в нашем разуме слишком много шума, так что нам требуется на порядки больше дополнительных свидетельств, чтобы вернуть нас на верный путь после того, как мы сбились с курса. Наш коллективный разум — академическое сообщество — работает ещё медленнее.

*

1. Роберт Мэттьюс, «Нужно ли нам менять определение науки?», New Scientist (май 2008 г.).

251. Быстрее, чем наука.

Иногда я говорю, что метод науки состоит в том, чтобы накопить такую огромную гору свидетельств, которую не смогут игнорировать даже ученые; и что именно в этом заключается отличительная черта ученого. (Не-ученый все равно ее проигнорирует.)

Макс Планк был настроен еще менее оптимистично:1

Новая научная истина торжествует не потому, что она убеждает своих оппонентов и заставляет их прозреть, а скорее потому, что ее оппоненты в конце концов умирают, а новое поколение вырастает уже знакомым с ней.

Меня очень забавляет эта мысль, ведь она подразумевает, что способность науки отличать истину от лжи в конечном счете держится на хорошем вкусе аспирантов.

Постепенный рост признания многомировой интерпретации в академической физике наводит на мысль, что существуют физики, которые примут новую идею лишь при определенном сочетании эпистемического обоснования и достаточно многочисленной академической стаи, в компании которой им будет комфортно. По мере того как идею принимает все больше физиков, стая растет, и, следовательно, все больше людей переступают свой индивидуальный порог обращения — притом что эпистемическое обоснование остается практически неизменным.

Но Наука все же в конце концов приходит к цели, и этого достаточно, чтобы храповик Науки двигался вперед, выстраивая технологическую цивилизацию.

Учеными могут двигать безосновательные предрассудки, несостоятельные интуиции, чистой воды стадное поведение — весь спектр человеческих слабостей. Каждый раз, когда ученый меняет свои убеждения по эпистемически неоправданным причинам, требуется больше свидетельств или новых аргументов, чтобы погасить этот шум.

«Коллапс волновой функции» не имеет экспериментального обоснования, но он апеллирует к (несостоятельной) интуиции существования единственного мира. Из-за этого может потребоваться дополнительный аргумент — скажем, что коллапс нарушает специальную теорию относительности, — чтобы запустить медленный процесс академического распада идеи, которой изначально вообще не следовало присваивать непренебрежимую вероятность.

С байесовской точки зрения человеческая академическая наука в целом — крайне неэффективный процессор свидетельств. Каждый раз, когда необоснованный аргумент сдвигает убеждение, вам требуется дополнительный обоснованный аргумент, чтобы сдвинуть его обратно. Социальный процесс науки опирается на избыточные свидетельства, чтобы преодолеть когнитивный шум.

Выражаясь мягче, можно сказать, что ученые занимают позиции, которые теоретически недостаточно радикальны по сравнению с идеальными позициями, которые ученые заняли бы, если бы они были байесовскими ИИ и могли доверять ясности своего мышления.

Но не будьте слишком снисходительны. Шум, о котором идет речь, — это далеко не всегда невинные ошибки. Во многих областях дебаты затягиваются на десятилетия после того, как вопрос уже должен был быть решен. И не потому, что ученые с обеих сторон отказываются доверять себе и соглашаются, что нужно искать дополнительные свидетельства. А потому, что одна из сторон продолжает выдвигать все более нелепые возражения и требовать все больше и больше доказательств, окопавшись на позициях академической власти, — и это происходит еще долго после того, как становится ясно, откуда дует ветер свидетельств. (Здесь я имею в виду дебаты вокруг возникновения эволюционной психологии, а не многомировую интерпретацию.)

Возможно ли для отдельных людей или групп обрабатывать свидетельства более эффективно — и приходить к верным выводам быстрее, чем человеческая академическая наука в целом?

«Идеи проверяются экспериментом. В этом суть науки». И это должно быть правдой, ведь если нельзя доверять Зомби-Фейнману, то кому вообще можно доверять?

И все же откуда берутся сами идеи?

Возможно, вам захочется ответить: «Они исходят от ученых. Есть еще вопросы?» В Науке не принято интересоваться тем, откуда берутся гипотезы, — важно лишь то, проходят они экспериментальную проверку или нет.

Хорошо, но если убрать все новые идеи, научный процесс в целом перестанет работать, потому что не останется альтернативных гипотез для проверки. Так что изобретение новых идей — отнюдь не та часть