Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Он проецируется на похожую человеческую деятельность: когда мы говорим другому человеку, что делать. Как будто «программа» дает указания маленькому призраку, сидящему внутри машины, который изучит ваши инструкции и решит, нравятся они ему или нет.

Нет никакого призрака, который изучал бы инструкции и решал, как их выполнять. Программа и есть ИИ.

Это не значит, что призрак исполнит любое ваше желание, как джинн. И не значит, что он сделает всё в точности так, как вы хотите, словно послушнейший раб. Это значит, что ваша инструкция и есть единственный призрак, который там существует — по крайней мере, в момент запуска.

Создать ИИ гораздо труднее, чем люди инстинктивно предполагают, именно потому, что призраку нельзя просто сказать, что делать. Вам нужно построить призрака с нуля, и всё, что кажется очевидным вам, призрак не увидит, если только вы не знаете, как заставить его это увидеть. Вы не можете просто велеть призраку увидеть это. Вам нужно с нуля создать то-что-видит.

Если вы не знаете, как построить нечто, обладающее, казалось бы, странными и невыразимыми свойствами — скажем, способностью «принимать решения», — вы не можете просто пожать плечами и предоставить всю работу свободной воле призрака. Вы останетесь покинутым и беспризрачным.

Для создания шахматной программы недостаточно просто создать очень быстрый процессор (чтобы ИИ был по-настоящему умным) и затем ввести в командной строке: «Делай любые шахматные ходы, какие ты считаешь лучшими». Вы можете подумать, что раз сами программисты не очень хорошо играют в шахматы, любые советы, которые они попытаются дать электронному супермозгу, только замедлят призрака. Но никакого призрака нет. Вы видите проблему.

И не существует простого заклинания, чтобы — пуф! — призвать полноценного призрака в машину. Вы не можете сказать: «Я призвал призрака, и он появился; вот вам и причина со следствием». (Это не сработает, даже если использовать понятия «эмерджентность» или «сложность» вместо слова «призвать»). Вы не можете дать процессору команду: «Будь хорошим шахматистом!» Вам придется проникнуть в тайну шахматного мышления и полностью сконструировать призрака с нуля.

Каким бы продиктованным здравым смыслом, каким бы логичным, «очевидным», «правильным», «самоочевидным» или «разумным» ни казалось вам что-либо, внутри призрака этого не произойдет. Если только это не произойдет в конце причинно-следственной цепочки, берущей начало в инструкциях, которые вам пришлось определять, плюс любые причинные зависимости от сенсорных данных, которые вы заложили в исходные инструкции.

Это не значит, что вы явно программируете каждое решение. Deep Blue был шахматистом, значительно превосходящим своих программистов. Deep Blue делал лучшие ходы, чем всё, что его создатели могли бы запрограммировать явным образом, — но не потому, что программисты пожали плечами и оставили всё на усмотрение призрака. Deep Blue ходил лучше своих программистов... в конце причинно-следственной цепочки, которая начиналась в коде программистов и далее закономерно развивалась оттуда. Ничто не происходило просто потому, что ход был настолько очевидно хорош, что призрачная свобода воли Deep Blue брала верх без участия кода и его закономерных следствий.

Если вы попытаетесь умыть руки и отказаться от наложения ограничений на ИИ, у вас не останется свободного призрака вроде освобожденного раба. У вас останется лишь куча песка, которую никто не очистил до кремния, не превратил в процессор и не запрограммировал думать.

Попробуйте, скажите компьютерному чипу: «Делай всё, что хочешь!» И что произойдет? Ничего. Потому что вы не наложили на него ограничений, которые позволили бы ему понимать свободу.

Достаточно одного-единственного шага, который кажется настолько очевидным, логичным и само собой разумеющимся, что ваш разум просто перескакивает через него, — и вы уже сошли с пути программиста ИИ. Чтобы удержать разум от этого, потребуется усилие вроде того, что я описываю в главе «Ухватить ускользающее».

*

147. Искусственное сложение.

Представьте, что люди абсолютно не имели понятия, как они выполняют арифметические вычисления. Представьте, что способность считать и складывать овец у людей появилась в ходе эволюции, а не была усвоена в процессе обучения. Пользуясь этой встроенной способностью, люди даже не догадывались бы, как она устроена — точно так же как Аристотель не имел ни малейшего представления о том, как его зрительная кора обеспечивает способность видеть. Арифметика Пеано в привычном нам виде еще не изобретена. Философы пытаются формализовать числовые интуиции, но используют обозначения вроде:

Плюс-От(Семь,Шесть) = Тринадцать

чтобы формализовать интуитивно очевидный факт: когда вы прибавляете к «семи» «шесть», то, конечно же, получаете «тринадцать».

В этом мире карманные калькуляторы работают на основе гигантской таблицы поиска арифметических фактов, вручную занесенных туда командой экспертов — Искусственных Арифметиков — для исходных значений в диапазоне от нуля до ста. Хотя эти калькуляторы могут быть полезны с практической точки зрения, многие философы утверждают, что они лишь имитируют сложение, а не складывают по-настоящему. Ни одна машина не способна по-настоящему считать — именно поэтому человеку приходится сначала отсчитать тринадцать овец, прежде чем ввести «тринадцать» в калькулятор. Калькуляторы могут воспроизводить сохраненные факты, но они никогда не поймут, что эти утверждения значат. Если ввести «двести плюс двести», калькулятор выдаст «Ошибка: Вне диапазона», хотя интуитивно очевидно — если вы знаете, что означают эти слова, — что ответ должен быть «четыреста».

Некоторые философы, разумеется, не настолько наивны, чтобы попадаться на удочку подобных интуиций. Числа — это на самом деле чисто формальная система: обозначение «тридцать семь» имеет смысл не из-за каких-то присущих самим словам свойств, а потому, что это обозначение отсылает к тридцати семи овцам во внешнем мире. Это референциальное свойство число обретает благодаря своей семантической сети отношений с другими числами. Вот почему в компьютерных программах ЛИСП-токену для «тридцати семи» не требуется никакая внутренняя структура — он обретает смысл только благодаря отсылкам и отношениям, а не за счет какого-то вычислительного свойства самого по себе понятия «тридцать семь».

Никто еще не создал Искусственного Универсального Арифметика, хотя, конечно же, существует множество специализированных, узких Искусственных Арифметиков, работающих с числами в диапазоне от «двадцати» до «тридцати» и так далее. И если посмотреть, как медленно продвигается работа с числами в районе «двухсот», то становится ясно, что Искусственной Универсальной Арифметики нам в ближайшее время не видать. Лучшие специалисты в этой области оценивают, что пройдет не менее ста лет, прежде чем калькуляторы научатся складывать так же хорошо, как двенадцатилетний ребенок.

Но не все согласны с этой оценкой или с общепринятыми представлениями об Искусственной Арифметике. Часто можно услышать подобные заявления:

«Это проблема фрейминга