Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

допущений. Неспособность осознать, что фраза «духи говорили со мной в моем сердце» описывает частный случай «причинно-следственного взаимодействия», аналогична неспособности студента-физика понять, что «среда с показателем преломления» означает вещество вроде воды.

Возможно, легко обмануться тем фактом, что люди в лабораторных халатах используют фразу «причинно-следственное взаимодействие», а люди в броских украшениях — фразу «духи говорят». Собеседники в разной одежде, как всем нам известно, разграничивают независимые сферы существования — «непересекающиеся магистерии», если использовать бессмертный ляп Стивена Дж. Гулда. На самом же деле «причинно-следственное взаимодействие» — это просто заумный способ сказать «нечто, заставляющее произойти нечто другое», а теории вероятностей совершенно безразлично, во что вы одеты.

В современном обществе широко распространено представление о том, что духовные вопросы нельзя решить с помощью логики или наблюдений, а потому вы вольны придерживаться любых религиозных убеждений, каких пожелаете. Если ученый покупается на это и решает строить свою внелабораторную жизнь соответствующим образом, то для меня это означает, что он понимает экспериментальный принцип лишь как социальную условность. Он знает, когда от него ожидают проведения экспериментов и проверки результатов на статистическую значимость. Но поместите его в условия, где социально принято выдумывать нелепые верования, не глядя по сторонам, и он с той же радостью займется именно этим.

Ученику пастуха говорят: если ушли «семь» овец и ушли «восемь» овец, то вернуться должны именно «пятнадцать» овец. Почему «пятнадцать», а не «четырнадцать» или «три»? Да потому что иначе ты сегодня останешься без ужина, вот почему! Что ж, это своего рода профессиональное обучение, и до определенной степени оно работает. Но если социальная условность — единственная причина, почему семь овец плюс восемь овец равняется пятнадцати овцам, то, возможно, семь яблок плюс восемь яблок равняется трем яблокам. Кто сказал, что для яблок правила не могут быть другими?

Но если вы знаете, почему эти правила работают, вы понимаете, что сложение одинаково и для овец, и для яблок. Исаака Ньютона справедливо почитают не за его устаревшую теорию тяготения, а за открытие того, что — как ни поразительно, как ни удивительно — планеты в величественных небесах подчиняются точно тем же законам, что и падающие яблоки. В макромире — привычной среде обитания наших предков — разные деревья приносят разные плоды, у разных народов в разные времена бытуют разные обычаи. Идея подлинно единой вселенной с неизменными универсальными законами крайне контринтуитивна для человека! Лишь ученые по-настоящему верят в нее, хотя некоторые религии горазды красиво рассуждать о «единстве всего сущего».

Как выразился Ричард Фейнман:

Если мы вглядимся в бокал вина достаточно пристально, мы увидим в нем всю Вселенную. Здесь есть явления физики: кружащаяся жидкость, которая испаряется в зависимости от ветра и погоды, отражения в стекле, а наше воображение добавляет к этому атомы. Бокал — это дистиллят земных пород, и в его составе мы видим тайну возраста Вселенной и эволюции звезд. Что за странный набор химических веществ содержится в вине? Как они возникли? Здесь есть дрожжи, ферменты, субстраты и продукты их взаимодействия. Именно в вине мы находим великое обобщение: вся жизнь — это брожение. Никто не смог бы постичь химию вина, не открыв при этом, как Луи Пастер, причину многих болезней. Как ярок этот кларет, впечатывающий свое существование в созерцающее его сознание! Если наш ограниченный разум ради удобства делит этот бокал вина, эту вселенную, на части — физику, биологию, геологию, астрономию, психологию и так далее, — помните, что Природа этого не знает! Так давайте соберем все это воедино, не забывая в конечном счете, для чего оно нужно. Пусть оно доставит нам еще одно, последнее удовольствие: выпейте его и забудьте обо всем!

Некоторые религии — особенно те, что были созданы или отреставрированы уже после Исаака Ньютона, — могут проповедовать, что «всё связано со всем остальным». (Поскольку между графами и их дополнениями существует тривиальный изоморфизм, эта глубокая мудрость несет ровно столько же полезной информации, сколько граф без ребер.) Но когда дело доходит до самой сути религии, пророки и жрецы следуют древней человеческой привычке выдумывать всё на ходу. И они выдумывают одно правило для женщин младше двенадцати лет, другое — для мужчин старше тринадцати; одно правило для субботы, другое — для будней; одно правило для науки, другое — для колдовства...

Реальность, как мы к своему потрясению выяснили, не представляет собой набор непересекающихся магистерий, а является единым процессом, управляемым математически простыми низкоуровневыми правилами. Разные здания университетского кампуса не принадлежат к разным вселенным, хотя порой это именно так и выглядит. Вселенная не разделена на разум и материю, или живое и неживое; атомы в наших головах бесшовно взаимодействуют с атомами окружающего воздуха. Да и теорема Байеса не меняется от места к месту.

Если за пределами своей узкой специальности некий ученый столь же подвержен нелепым идеям, как и любой другой человек, то он, вероятно, так никогда и не понял, почему работают научные правила. Возможно, он может как попугай повторять обрывки попперовского фальсификационизма; но он не понимает этого на глубоком уровне — на алгебраическом уровне теории вероятностей, на причинно-следственном уровне мышления как механизма. Его научили вести себя определенным образом в лаборатории, но он не любит ограничивать себя доказательствами; приходя домой, он снимает лабораторный халат и расслабляется, предаваясь уютной чепухе. И да, это действительно заставляет меня задуматься, могу ли я доверять мнению такого ученого даже в его собственной области — особенно когда речь заходит о спорных вопросах, открытых проблемах или о чем-либо, что еще не закреплено железно весомыми доказательствами и социальной условностью.

Может быть, мы можем опровергнуть эту пословицу — быть рациональными в личной жизни, а не только в профессиональной. Не стоит позволять обычной пословице останавливать нас: «Остроумное изречение ничего не доказывает», как говорил Вольтер. Возможно, мы способны на большее, если изучим теорию вероятностей в достаточной степени, чтобы понять, почему работают эти правила, и экспериментальную психологию в достаточной мере, чтобы увидеть, как они применяются на практике, — если мы сможем научиться смотреть на воду. Подобным амбициям чужда та уютная скромность, что позволяет признать, будто за пределами своей специальности ты ничем не лучше всех остальных. Но если наши теории рациональности не распространяются на повседневную жизнь, мы делаем что-то не так. Внутри лаборатории и за её пределами — вовсе не разные вселенные.

*

186. Второй закон термодинамики и двигатели познания.

Первый закон термодинамики,