Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

*

1. Дрю Макдермотт, «Искусственный интеллект сталкивается с естественной глупостью», SIGART Newsletter, № 57 (1976): 4–9, doi:10.1145/1045339.1045340.

2. Ричард Рорти, «Вне Матрицы: как покойный философ Дональд Дэвидсон показал, что реальность не может быть иллюзией», The Boston Globe (октябрь 2003).

Интерлюдия. Простая истина.

Я помню эссе по экзистенциализму, которое когда-то написал. Преподавательница вернула его мне с двойкой. Она подчеркнула слова «истина» и «истинный» везде, где они встречались в тексте — наверное, раз двадцать, — и рядом с каждым поставила знак вопроса. Ей хотелось знать, что я имею в виду под истиной.

— Даниэль Эган, журналистка

Это эссе призвано вернуть наивный взгляд на истину.

Кто-то говорит вам: «Моё чудодейственное змеиное масло излечит вас от рака легких всего за три недели». Вы отвечаете: «Но разве клиническое исследование не показало, что это утверждение ложно?» Собеседник возражает: «Это понятие "истины" весьма наивно. Что вы понимаете под "истинным"?»

Многие, столкнувшись с таким вопросом, не знают, как ответить на него со всей строгой детальностью. И тем не менее им вряд ли стоит отказываться от концепции «истины». Было время, когда никто не знал уравнений гравитации во всей их строгой детальности, но если бы вы шагнули с обрыва, вы бы всё равно упали.

Мне часто доводилось видеть — особенно в интернет-рассылках, — как посреди беседы кто-то говорит: «X истинно», и тут же разгорается спор об использовании слова «истинно». Это эссе не претендует на роль энциклопедического справочника по этому спору. Скорее, я надеюсь, что спорящие прочтут его и вернутся к тому, что обсуждали до того, как кто-то подверг сомнению природу истины.

В этом эссе я задаю вопросы. Если вы видите решение, которое кажется совершенно очевидным, скорее всего, именно его я и имел в виду. Очевидный выбор не всегда лучший, но иногда, ей-богу, он действительно лучший. Я не прекращаю поиски, как только нахожу очевидный ответ, но если я продолжаю искать, а кажущийся очевидным ответ всё еще выглядит очевидным, я не испытываю чувства вины за то, что оставил его. О да, конечно, все думают, что дважды два — четыре, все говорят, что дважды два — четыре, и в обычной повседневной рутине все ведут себя так, будто дважды два — четыре. Но чему дважды два равно на самом деле, в конечном итоге? Насколько я могу судить, четырем. Оно остается четырьмя, даже если я произнесу этот вопрос торжественным, многозначительным тоном. Слишком просто, скажете вы? Возможно, на сей раз жизни просто не нужно быть сложной. Разве это не принесло бы облегчения?

Если вы из тех счастливчиков, кому этот вопрос с самого начала кажется банальным, надеюсь, он останется таковым для вас и в конце. Если же вы окажетесь в тупике перед глубокими и исполненными смысла вопросами, помните: если вы точно знаете, как устроена система, и могли бы сами собрать ее из ведер и гальки, она не должна быть для вас загадкой.

Если попытка истолковать метафору как метафору грозит запутать вас, попробуйте воспринимать всё абсолютно буквально.

Представьте, что в эпоху до появления письменной истории или формальной математики я — пастух, и мне трудно вести счет моим овцам. Мои овцы спят в загоне — в кошаре, — забор которого достаточно высок, чтобы уберечь их от бродящих по ночам волков. Каждый день я должен выпускать овец из загона на пастбище, а каждый вечер — находить их и загонять обратно. Если какая-то овца останется снаружи, наутро я найду ее тушу, растерзанную и полуобъеденную волками. Но как же уныло часами прочесывать поля в поисках одной-единственной последней овцы, зная, что, скорее всего, все они уже в загоне. Иногда я сдаюсь раньше времени, и обычно мне это сходит с рук; но примерно в одном случае из десяти наутро меня ждет мертвая овца.

Ах, если бы только существовал способ узнать, не остался ли кто-то пастись, избавляющий от необходимости искать! Я пробую разные методы: бросаю гадальные палочки моего племени, развиваю экстрасенсорные способности, чтобы находить овец с помощью ясновидения, тщательно ищу причины верить, что все овцы уже в загоне. Никакой разницы. Примерно в одном случае из десяти, когда я ложусь спать пораньше, наутро я нахожу мертвую овцу. Возможно, я понимаю, что мои методы не работают, а возможно, нахожу благовидные оправдания для каждой неудачи; но дилемма остается прежней. Я могу потратить час на осмотр каждого закоулка, хотя в большинстве случаев никаких овец там не осталось; или могу лечь спать пораньше и терять в среднем одну десятую овцы за ночь.

Однажды к вечеру я чувствую себя особенно усталым. Я бросаю гадальные палочки, и они говорят, что все овцы вернулись. Я мысленно представляю себе каждый закоулок и не вижу там мысленным взором ни одной овцы. Уверенности мне всё еще не хватает, поэтому я заглядываю в загон, и мне кажется, что овец там много; я вспоминаю свои дневные усилия и решаю, что потрудился на славу. Моя тревога рассеивается, и я ложусь спать. На следующее утро я обнаруживаю двух мертвых овец. Что-то во мне ломается, и я начинаю мыслить творчески.

В тот день со стороны ворот овечьего загона доносится громкий стук молотка.

На следующее утро я лишь слегка приоткрываю ворота загона и, по мере того как овцы выходят наружу, бросаю по камешку в ведерко, прибитое у двери. К вечеру, по мере того как возвращающиеся овцы проходят мимо, я вынимаю по одному камешку из ведерка. Когда в ведерке не останется камешков, я смогу прекратить поиски и лечь спать. Это гениальная идея. Она произведет революцию в овцеводстве.

Это было в теории. На практике потребовалось немало доработок, прежде чем метод заработал надежно. Несколько раз я часами искал и не находил овец, а на следующее утро оказывалось, что отбившихся и не было. В каждом таком случае требовались долгие размышления, чтобы понять, в чем дала сбой моя система с ведром. Вернувшись из одного бесплодного поиска, я вспомнил подробности и понял, что в самом начале в ведре уже лежали камешки; это, как выяснилось, было плохой идеей. В другой раз я ради забавы бросал в ведро случайные камешки между утром и вечером; это тоже оказалось плохой идеей, как я понял после нескольких часов