Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Идея о том, что оптимальная стратегия может состоять в том, чтобы мыслить закономерно даже в условиях неопределенности, весьма контринтуитивна.

И потому рационалистов не так уж много: ведь большинство тех, кто видит мир хаотичным, пытаются бороться с хаосом с помощью хаоса. Нужно сделать дополнительный шаг и додуматься до того, что не приходит в голову само собой, чтобы представить себе борьбу с огнем при помощи чего-то, что само огнем не является.

Вы слышали, как непросвещенные говорят: «Рациональность отлично работает, когда имеешь дело с рациональными людьми, но мир нерационален». Но перед лицом нерационального противника отказ от собственного разума вам не поможет. Существуют закономерные формы мышления, которые всё равно дают наилучший ответ, даже при столкновении с противником, нарушающим эти законы. Теория решений не вспыхивает пламенем и не погибает при встрече с противником, который ей не подчиняется.

Это ничуть не более очевидно, чем идея всегда ставить на синее, когда перед вами последовательность из синих и красных карт. Но каждая ставка на красное — это ожидаемый убыток, и точно так же обстоит дело с каждым отклонением от Пути в вашем собственном мышлении.

Сколько серий «Звёздного пути» тем самым опровергается? Сколько теорий ИИ?

*

1. Доуз, Rational Choice in An Uncertain World; Яаков Шуль и Рут Майо, «Searching for Certainty in an Uncertain World: The Difficulty of Giving Up the Experiential for the Rational Mode of Thinking», Journal of Behavioral Decision Making 16, no. 2 (2003): 93–106, doi:10.1002/bdm.434.

2. Амос Тверски и Уорд Эдвардс, «Information versus Reward in Binary Choices», Journal of Experimental Psychology 71, no. 5 (1966): 680–683, doi:10.1037/h0023123.

40. Моя бурная и безрассудная юность. Говорят, родители сами перепробовали всё то, что запрещают делать своим детям, — потому-то они и знают, что этого делать не стоит.

Давным-давно, в немыслимо далеком прошлом, я был преданным Традиционным Рационалистом, мнящим себя искусным в этом деле, но я не ведал Пути Байеса. Когда юный Элиезер сталкивался с вопросом, который казался таинственным, предписания Традиционной Рациональности не мешали ему придумывать Таинственный Ответ. Это, безусловно, самая постыдная ошибка в моей жизни, и меня до сих пор передёргивает при одной мысли о ней.

Каков же был мой таинственный ответ на таинственный вопрос? Описывать его я не стану, ибо это долгая и запутанная история. Я был молод и оставался всего лишь Традиционным Рационалистом, не знавшим трудов Тверски и Канемана. Я знал о бритве Оккама, но не об ошибке конъюнкции. Я думал, что мне сойдет с рук самостоятельное выстраивание сложных мыслей в литературном стиле тех сложных рассуждений, которые я читал в научных книгах, не понимая, что верная сложность возможна лишь тогда, когда каждый шаг закреплен с абсолютной надежностью. Сегодня один из главных советов, которые я даю начинающим молодым рационалистам, звучит так: «Не пытайтесь строить длинные цепочки рассуждений или сложные планы».

Тут достаточно сказать лишь одно: даже после того, как я изобрел свой «ответ», само явление по-прежнему оставалось для меня загадкой и обладало все тем же свойством поразительной непостижимости, что и в самом начале.

Не обманывайтесь: тот юный Элиезер вовсе не был глуп. Все ошибки, в которых повинен юный Элиезер, по сей день совершают уважаемые ученые в уважаемых научных журналах. Чтобы уберечь его, потребовалось бы куда более тонкое мастерство, чем то, которому его учили как Традиционного Рационалиста.

Более того, сбиваясь с пути, юный Элиезер старательно и скрупулезно следовал предписаниям Традиционной Рациональности.

Будучи Традиционным Рационалистом, юный Элиезер позаботился о том, чтобы его Таинственный Ответ давал смелое предсказание относительно будущего опыта. А именно: я ожидал, что нейробиологи будущего обнаружат, что нейроны используют квантовую гравитацию в духе сэра Роджера Пенроуза. Это требовало от нейронов поддержания определенной степени квантовой когерентности — вещи, которую можно было искать и либо найти, либо не найти. Либо вы это наблюдаете, либо нет, верно?

Но моя гипотеза не делала никаких ретроспективных предсказаний. С точки зрения Традиционной Науки, ретроспективные предсказания не считаются — так зачем вообще утруждать себя ими? Для байесианца же, напротив, если гипотеза сегодня не имеет более благоприятного отношения правдоподобия по сравнению с «я не знаю», возникает вопрос: почему вы сегодня верите во что-то более сложное, чем «я не знаю»? Но я не ведал Пути Байеса, а потому не думал об отношениях правдоподобия или о концентрации плотности вероятности. Я Сделал Фальсифицируемое Предсказание — разве не в этом заключался Закон?

Будучи Традиционным Рационалистом, юный Элиезер тщательно следил за тем, чтобы не верить в магию, мистицизм, углеродный шовинизм или чему-то в этом роде. Я с гордостью заявлял о своем Таинственном Ответе: «Это просто физика, как и вся остальная физика!» Как будто можно избавить магию от того, чтобы быть когнитивным изоморфом магии, просто назвав ее квантовой гравитацией. Но я не ведал Пути Байеса и не видел уровня, на котором моя идея была изоморфна магии. Я присягнул на верность физике, но это меня не спасло; что теории вероятностей известно о верности? Я избегал всего, что Традиционная Рациональность объявляла запретным, но то, что осталось, все равно было магией.

Вне всякого сомнения, моя преданность Традиционной Рациональности помогла мне выбраться из ямы, которую я сам себе вырыл. Не будь я Традиционным Рационалистом, я бы окончательно пропал. Но Традиционной Рациональности все же не хватило для того, чтобы сделать все правильно. Она лишь привела меня к иным ошибкам, нежели те, что были ею явно запрещены.

Когда я думаю о том, как моё юное «я» очень тщательно следовало правилам Традиционной Рациональности и в итоге ответил неверно, это проливает свет на вопрос, почему люди, называющие себя «рационалистами», не правят миром. Вам требуется чертовски много рациональности, прежде чем она начнет приносить пользу, а не просто приводить вас к новым интересным ошибкам.

Традиционную Рациональность преподают скорее как искусство, а не как науку: вы читаете биографии знаменитых физиков, где описываются преподнесенные им жизнью уроки, и пытаетесь делать то, что они советуют. Но вы не прожили их жизни, а половина того, что они пытаются описать, — это натренированная интуиция.

Традиционная Рациональность устроена так, что для меня было бы вполне приемлемо потратить тридцать лет на свою глупую идею — при условии, что в итоге