Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

И всё же, поскольку я не хочу сеять ненужное отчаяние, здесь я скажу несколько обнадеживающих слов:

Если будущее человечества сложится правильно, мы, возможно, сможем сделать наш световой конус будущего (более) справедливым. Мы не можем изменить фундаментальную физику, но на более высоком уровне организации мы могли бы построить защитные ограждения и обеспечить какую-то амортизацию; упорядочить частицы в структуру, которая проводит внутренние проверки на случай катастрофы. Там, вовне, есть много вещей, до которых мы не можем дотянуться, — но, возможно, будет полезно рассматривать всё, что находится за пределами нашего светового конуса будущего, как часть «обобщённого прошлого». Как будто всё это уже произошло. По крайней мере, существует перспектива победы над нейтральностью в единственном будущем, которого мы можем коснуться, — единственном мире, забота о котором способна что-то изменить.

Возможно, когда-нибудь незрелые умы будут надёжно защищены. Даже если дети будут сталкиваться с условным лишением леденца или даже обжигать пальцы, они никогда не попадут под машину.

Да и взрослым не угрожала бы столь большая опасность. Сверхразум — разум, способный продумать триллион мыслей без единого промаха, — не спасовал бы перед испытанием, ценой единственной ошибки в котором является смерть. Первозданная вселенная уже не казалась бы такой суровой, она стала бы лишь очередной задачей, требующей решения.

Проблема в том, что создание взрослого — это само по себе взрослая задача. Вот что я наконец осознал много лет назад.

Если (более) справедливая вселенная и возможна, нам нужно прийти к ней, начав с этого мира — нейтрального мира, мира твёрдого бетона без какой-либо амортизации, мира, где испытания не подстраиваются под ваши навыки.

Не каждому ребёнку нужно смотреть Природе прямо в глаза. Пристегнуть ремень безопасности или выписать чек — не столь сложно и не смертельно опасно. Я не говорю, что каждый рационалист должен размышлять о нейтральности. Я не говорю, что каждый рационалист должен размышлять обо всех этих неприятных вещах. Но любой, кто планирует столкнуться лицом к лицу с неоткалиброванным испытанием, грозящим мгновенной смертью, не должен их избегать.

Что должен делать ребёнок — каким правилам следовать, как себя вести, — чтобы решить взрослую проблему?

*

303. Моё байесовское просветление.

Я смутно помню (насколько вообще смутна человеческая память), когда впервые осознал себя «байесовцем». Кто-то как раз некорректно сформулировал старую вероятностную задачу:

«Если я встречу на улице женщину-математика, и она скажет: „У меня двое детей, и как минимум один из них — мальчик“, какова вероятность того, что у неё оба мальчика?»

В правильной версии этой истории математик говорит: «У меня двое детей», вы спрашиваете: «Есть ли среди них хотя бы один мальчик?», и она отвечает: «Да». Тогда вероятность того, что оба ребёнка — мальчики, равна 1/3.

Но в искажённой версии — как я тогда указал — здравый смысл подсказывает следующее рассуждение:

Если у математика мальчик и девочка, то моя априорная вероятность того, что она скажет «по крайней мере один из них — мальчик», равна 1/2, а априорная вероятность того, что она скажет «по крайней мере один из них — девочка», тоже равна 1/2. Нет причин априори полагать, будто математик упомянет девочку только в том случае, если нет иной альтернативы.

Я указал на это и рассчитал ответ по правилу Байеса, получив вероятность 1/2 того, что оба ребёнка — мальчики. Не уверен, знал ли я на тот момент, что это правило называется именно так, но воспользовался я именно им.

И тут кто-то сказал мне: «Ну, то, что вы сейчас привели, — это байесовский ответ, а в ортодоксальной статистике ответ — 1/3. Мы просто исключаем невозможные варианты и подсчитываем оставшиеся, не пытаясь угадать вероятность того, что математик скажет то или это, поскольку у нас нет возможности узнать эту вероятность наверняка — она слишком субъективна».

Я возразил — заметьте, совершенно спонтанно: «Что вы вообще имеете в виду? Нельзя избежать приписывания вероятности тому или иному высказыванию математика. Вы просто предполагаете, что эта вероятность равна единице, а это ничем не обосновано».

На что собеседник ответил: «Да, именно это и говорят байесовцы. Но частотники в это не верят».

И я изумлённо спросил: «Как вообще может существовать небайесовская статистика?»

Именно тогда я обнаружил, что принадлежу к типу людей, называемому «байесовцами». Насколько я могу судить, я таким родился. Моя математическая интуиция была устроена так, что всё, о чём говорили байесовцы, казалось абсолютно логичным и простым — очевидным решением, которое я и сам бы принял; в то время как рассуждения частотников звучали как изощрённое, извращённое, безумное богохульство грезящего Ктулху. Я не выбирал становиться байесовцем, как и рыбы не выбирают дышать водой.

Но это не то, что я называю своим «байесовским просветлением». Впервые услышав о «байесианстве», я счёл его очевидным и не стал копать намного глубже самого правила Байеса. В то время я всё ещё относился к теории вероятностей как к инструменту, а не как к закону. Я не думал, что существуют математические законы интеллекта (моя лучшая и худшая ошибка). Как и почти все, кто грезил об AGI, Элиезер2001 года мыслил категориями техник, методов, алгоритмов, собирая ящик, полный крутых штук, которые он мог бы делать; он искал инструменты, а не понимание. Правило Байеса было отличным инструментом, применимым в удивительно большом количестве случаев.

Затем произошло моё посвящение в тему эвристик и когнитивных искажений. Всё началось с того, что я наткнулся на веб-страницу, созданную на основе вводной презентации в PowerPoint по поведенческой экономике. Там вскользь, без каких-либо ссылок, упоминались некоторые результаты исследований эвристик и искажений. Я был настолько поражён, что написал автору по электронной почте, чтобы спросить, был ли это настоящий эксперимент или просто байка. В ответ он прислал мне скан статьи Тверски и Канемана 1973 года.

Как ни стыдно признаться, моя история началась не совсем тогда. Я просто внёс эту тему в список того, с чем нужно разобраться. Я знал, что существует сборник статей «Принятие решений в неопределенности: Правила и предубеждения», но никогда его не видел. В то время я рассуждал так: если книги нет в онлайне, я попробую обойтись без неё. У меня в стопке для чтения и так было полно всего, а простого доступа к университетской библиотеке не имелось. Думаю, я упомянул об этом в какой-то рассылке, потому что