Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

требуется. (Боюсь, это не то, что можно уместить на футболке, так что вам придётся пойти и прочесть саму книгу. Я не видел в Сети ни одного научно-популярного изложения байесовских сетей, которое адекватно передавало бы причины, стоящие за этими принципами, или важность того, чтобы математика была именно такой, какая она есть, но книга Перла просто великолепна.) Когда-то существовали десятки «немонотонных логик», неуклюже пытавшихся отразить интуитивные представления вроде: «Если сработала моя охранная сигнализация, вероятно, забрался вор; но если я затем узнаю, что рядом с моим домом произошло небольшое землетрясение, то вора, скорее всего, не было». Имея в руках понимание графовых моделей, вы можете дать точное математическое объяснение того, почему именно логика первого порядка обладает неподходящими для этой задачи свойствами, и выразить правильное решение в компактной форме, которая одним элегантным махом охватывает все детали, подсказываемые здравым смыслом. Пока у вас нет этого понимания, вы будете продолжать латать логику тут и там, добавляя всё новые и новые костыли, чтобы насильно подогнать её под всё, что кажется «очевидно истинным».

Вы не узнаете, что задача Искусственной Арифметики неразрешима без ключа к ней. Если вы не знаете правил, вы не знаете и правила, гласящего, что вам нужно знать правила, чтобы вообще хоть что-то сделать. И потому будут возникать самые разные умные идеи, которые кажутся вполне рабочими, — например, создать Искусственного Арифметика, способного понимать естественный язык и скачивать миллионы арифметических утверждений из интернета.

И всё же каким-то образом эти умные идеи никогда не работают. Почему-то всегда оказывается, что вы «не видели причин, почему это не сработает» из-за своего неведения о препятствиях, а не потому, что этих препятствий не существовало. Это как стрелять с завязанными глазами по удалённой мишени — вы можете делать выстрел за выстрелом вслепую, крича: «Вы не можете доказать мне, что я не попаду в яблочко!» Но пока вы не снимете повязку, вы даже не начали прицеливаться. Когда «никто не может доказать вам», что ваша драгоценная идея неверна, это означает лишь то, что у вас недостаточно информации, чтобы поразить крошечную цель в бескрайнем пространстве ответов. Пока вы точно не будете знать, что ваша идея сработает, она не сработает.

Из истории прошлых ключевых озарений в области искусственного интеллекта и того грандиозного хаоса, который предлагался до этих открытий, я вывожу важный жизненный урок: когда фундаментальная проблема заключается в вашем незнании, хитрые стратегии по обходу этого незнания приводят лишь к тому, что вы стреляете себе в ногу.

*

1. Перл, Вероятностный вывод в интеллектуальных системах.

148. Терминальные ценности и инструментальные ценности.

На чисто инстинктивном уровне любой планирующий человек ведет себя так, будто он разделяет средства и цели. Хотите шоколада? Шоколад есть в супермаркете Publix. Добраться до супермаркета можно, если проехать одну милю на юг по Вашингтон-авеню. Проехать можно, если сесть в машину. Сесть в машину можно, если открыть дверь. Открыть дверь можно, если у вас есть ключи от машины. И вот вы кладете ключи в карман и готовитесь выйти из дома…

…как вдруг по радио сообщают, что землетрясение уничтожило весь шоколад в местном Publix. Что ж, нет смысла ехать в Publix, если там нет шоколада; нет смысла садиться в машину, если вы никуда не едете; и нет смысла держать ключи в кармане, раз уж вы никуда не едете. Так что вы вытаскиваете ключи из кармана, звоните в местную службу доставки пиццы и заказываете шоколадную пиццу. М-м, вкуснотища.

Я редко замечаю, чтобы люди сбивались с планов, которые сами же и придумали. Обычно люди не едут в супермаркет, если знают, что шоколад закончился. Но я также заметил, что, когда люди начинают явно говорить о системах целей, вместо того чтобы просто чего-то хотеть, и упоминать «цели», вместо того чтобы их использовать, они часто путаются. Люди — мастера планирования, а не его теоретики, иначе в мире было бы гораздо больше разработчиков искусственного интеллекта.

В частности, я заметил, что люди путаются, когда — в абстрактных философских дискуссиях, а не в повседневной жизни — они рассматривают различие между средствами и целями; выражаясь более формально, между «инструментальными ценностями» и «терминальными ценностями».

Как мне кажется, отчасти проблема заключается в том, что человеческий разум использует довольно ситуативную систему для отслеживания своих целей — она работает, но не идеально. В английском языке нет четкого разграничения между средствами и целями: фразы «Я хочу спасти жизнь своей сестре» и «Я хочу ввести сестре пенициллин» используют одно и то же слово «хочу».

Можем ли мы описать — хотя бы на обычном английском — то различие, которое здесь теряется?

В качестве первой попытки:

«Инструментальные ценности» желательны строго при условии их ожидаемых последствий. «Я хочу ввести сестре пенициллин» не потому, что накачанная пенициллином сестра — это само по себе благо, а в ожидании того, что пенициллин вылечит её от плотоядной пневмонии. Если бы вместо этого вы ожидали, что инъекция пенициллина растопит вашу сестру в лужицу, как Злую Ведьму Запада, вы бы столь же яростно боролись за то, чтобы не допустить введения пенициллина.

«Терминальные ценности» желательны безотносительно к другим последствиям: фраза «Я хочу спасти жизнь своей сестре» никак не связана с вашими ожиданиями того, введут ли ей после этого пенициллин.

Эта первая попытка страдает от очевидных изъянов. Если бы спасение жизни моей сестры привело к тому, что Землю поглотила бы черная дыра, я бы пошел поплакал в сторонке, но вводить пенициллин не стал бы. Значит ли это, что спасение жизни сестры не было «терминальной» или «самоценной» ценностью только потому, что теоретически оно зависит от последствий? Неужели я только потому пытаюсь спасти её жизнь, что верю, будто черная дыра после этого не поглотит Землю? Здравый смысл подсказывает, что дело вовсе не в этом.

Так что забудьте об английском. Мы можем составить математическое описание системы принятия решений, в которой терминальные и инструментальные ценности представляют собой разные и несовместимые типы данных — как целые числа и числа с плавающей запятой в языке программирования без автоматического приведения типов.

Идеальную байесовскую систему принятия решений можно построить всего из четырех элементов:

Outcomes : тип Outcome[]

список возможных исходов

{сестра выживает, сестра умирает}

Actions : тип Action[]

список возможных действий

{ввести пенициллин, не вводить пенициллин}

Utility_function : тип Outcome -> Utility

функция полезности, которая сопоставляет каждому