Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Книги по бизнесу всегда, для вашего удобства, подсказывают, куда переложили ваш сыр. Иначе читатели в растерянности топтались бы на месте, вопрошая: «И где это „Вне коробки“, куда мне велено идти?»

Настоящее мышление, как и сатори, — это бессловесный акт разума.

Выдающиеся философы из Монти Пайтон лучше всего выразили это в «Житии Брайана»:1

«Вы должны думать самостоятельно! Вы все личности!»

«Да, мы все личности!»

«Вы все разные!»

«Да, мы все разные!»

«Вы все должны во всём разобраться сами!»

«Да, мы должны во всём разобраться сами!»

*

1. Грэм Чепмен и др., «Житие Брайана по Монти Пайтону (из Назарета)» (Eyre Methuen, 1979).

92. Собственное видение.

Поскольку Роберт Пирсиг выразил это очень хорошо, я просто перепишу то, что он сказал. Не знаю, основана ли эта история на реальных событиях, но в любом случае она правдива.1

У него постоянно возникали трудности со студентами, которым нечего было сказать. Сначала он думал, что это от лени, но потом стало ясно, что дело в другом. Они просто не могли придумать, что сказать.

Одна из них, девушка в очках с толстыми линзами, хотела написать эссе на пятьсот слов о Соединенных Штатах. Он уже привык к тоскливому чувству, которое вызывают подобные заявления, и без всякого пренебрежения предложил ей сузить тему до одного лишь Бозмена.

Когда подошел срок сдачи работы, у нее ничего не было готово, и она была очень расстроена. Она пыталась снова и снова, но так и не смогла придумать, о чем писать.

Это поставило его в тупик. Теперь уже он не знал, что сказать. Повисло молчание, а затем последовал странный ответ: «Сузь тему до главной улицы Бозмена». Это было озарение.

Она послушно кивнула и вышла. Но прямо перед следующим занятием вернулась в самом настоящем отчаянии, на этот раз в слезах — отчаянии, которое, очевидно, мучило её уже давно. Она по-прежнему не могла придумать, о чём писать, и не понимала, почему, если уж она не смогла написать о всем Бозмене, у неё должно получиться написать об одной-единственной улице.

Он разозлился. «Ты не смотришь!» — сказал он. В памяти всплыло его собственное исключение из университета за то, что ему самому было слишком много чего сказать. На каждый факт приходится бесконечное множество гипотез. Чем больше ты смотришь, тем больше видишь. Она действительно не смотрела, но почему-то не понимала этого.

Он сердито сказал ей: «Сузь тему до фасада одного здания на главной улице Бозмена. Оперного театра. Начни с верхнего левого кирпича».

Её глаза за толстыми линзами очков широко раскрылись.

На следующее занятие она пришла с недоумевающим видом и протянула ему эссе на пять тысяч слов о фасаде Оперного театра на главной улице Бозмена, штат Монтана. «Я сидела в закусочной напротив, — сказала она, — и начала писать о первом кирпиче, потом о втором, а к третьему кирпичу дело пошло само собой, и я уже не могла остановиться. Окружающие думали, что я сошла с ума, и подшучивали надо мной, но вот оно всё здесь. Я не понимаю, как это получилось».

Он тоже не понимал, но во время долгих прогулок по улицам города думал об этом и пришел к выводу, что её, по всей видимости, сдерживал тот же внутренний барьер, который парализовал его самого в первый день преподавания. Она зашла в тупик, потому что пыталась воспроизвести на письме то, что уже слышала, точно так же, как в первый день он пытался воспроизвести то, что заранее решил сказать. Она не могла придумать, что написать о Бозмене, потому что не помнила ничего из слышанного, что стоило бы повторить. Она почему-то не подозревала, что может смотреть и видеть всё по-новому, сама по себе прямо в процессе письма, не оглядываясь в первую очередь на то, что уже было сказано до неё. Сужение задачи до одного кирпича преодолело этот барьер, потому что стало совершенно очевидно: ей придётся увидеть всё непосредственно и самой.

— Роберт М. Пирсиг,

Дзен и искусство ухода за мотоциклом

*

1. Пирсиг, Дзен и искусство ухода за мотоциклом.

93. Страннее, чем история. Предположим, я бы сказал вам, что точно знаю: следующие утверждения — чистая правда:

Если вы покраситесь в некий точный цвет между синим и зеленым, это обратит для вас силу тяжести вспять, и вы упадете вверх.

В будущем небо заполнят миллиарды парящих черных сфер. Каждая сфера будет больше всех когда-либо существовавших дирижаблей вместе взятых. Если предложить сфере денег, она спустит с неба на эластичном тросе мужчину по вызову.

Ваши внуки будут считать не просто глупостью, а злом сажать воров в тюрьму вместо того, чтобы пороть их.

Вы бы решили, что я сошел с ума, верно?

А теперь представьте, что на дворе 1901 год, и вам приходится выбирать: поверить в те утверждения, которые я только что привел, или же в заявления вроде следующих:

Существует абсолютный предел скорости, с которой, как может казаться, два объекта движутся друг относительно друга, — ровно 670 616 629,2 мили в час. Если вы запрыгнете в поезд, несущийся почти с такой скоростью, и выстрелите из пистолета в окно, фундаментальные единицы длины изменятся так, что вам покажется, будто пуля летит впереди вас, но другие люди увидят совсем иное. Ах да, и время тоже изменится.

В будущем возникнет глобальная суперсеть из миллиардов арифмометров, каждый из которых будет мощнее всех арифмометров мира до 1901 года, вместе взятых. И одним из главных способов применения этой сети будет передача движущихся картинок с лесбийским сексом под видом чисел.

Ваши внуки будут считать не просто глупостью, а злом утверждение, будто женщина не должна быть президентом США только потому, что она чернокожая.

Навеяно комментарием Робина Хансона: «Интересно, можно ли описать вымышленную альтернативную реальность в таких подробностях, чтобы наши предки не смогли отличить её от правды, — просто для того, чтобы наглядно показать, насколько удивительной оказалась действительность?»

*

94. Логическая ошибка обобщения на основе вымышленных свидетельств. Когда я пытаюсь заговорить о продвинутом ИИ, что первое я слышу чаще чем