Рациональность: от ИИ до зомби (другой перевод) - Элиезер Шломо Юдковски

И развивающемуся Искусству необходимо будет черпать силы из множества источников. Насколько мне известно, не существует ни одной истинной науки, которая черпала бы силу лишь из одного человека. Насколько мне известно, это исключительно черта культов. У настоящей науки могут быть свои герои, даже свои одинокие непокорные герои, но их всегда будет больше одного.

Второе — то, что я создавал своё Искусство в процессе попыток сделать нечто конкретное, что вдохновляло все мои усилия. Возможно, я слишком идеалистичен — возможно, слишком много думаю о том, как мир должен быть устроен, — но даже в этом случае я подозреваю, что вы не сможете развивать Искусство, просто сидя сложа руки и размышляя: «Так, и как мне бороться с этой штукой под названием акразия?» Вы будете развивать остальную часть Искусства в процессе попыток сделать что-то. Возможно, даже — если я не слишком обобщаю собственный опыт — в процессе решения какой-то задачи, достаточно сложную, чтобы испытать на прочность и сломать ваше прежнее понимание и вынудить вас переизобрести несколько вещей. Но, может быть, я ошибаюсь, и следующий этап работы будет осуществлен посредством прямого, детального исследования «рациональности», без всякой необходимости в каком-то конкретном применении, которое считалось бы более важным.

Моя прошлая попытка описать этот принцип — в терминах сохранения тайной личности или основной работы, на которой человек не преподаёт рациональность, — была категорически отвергнута моей аудиторией. Может быть, выражение «выйти из дома» подошло бы лучше? По-моему, это звучит как действительно хорошая, здравая идея. И всё же — возможно, я заблуждаюсь. Мы ещё увидим, откуда на самом деле придут следующие элементы Искусства.

Я уже долгое время стремлюсь передать, вручить, разделить с вами частицу той странной вещи, к которой я прикоснулся и которая кажется мне столь драгоценной. И я не уверен, что мне вообще когда-либо удавалось облечь её центральный ритм в слова. Возможно, вы сможете уловить его, вслушиваясь в ноты. Я могу произнести эти слова, но не правило, которое их порождает, и не правило, стоящее за этим правилом; остаётся лишь надеяться, что благодаря использованию этих идей в вас, возможно, зародится схожий внутренний механизм. Помните, что все человеческие попытки постичь тайные знания по умолчанию скатываются к паролям, гимнам и подвешенным в воздухе утверждениям.

Я уже долгое время стремлюсь передать своё Искусство. До нынешней попытки — по большей части безуспешно. Раньше я предпринимал усилия лишь мимоходом и получал, пожалуй, ровно столько успеха, сколько заслуживал. Это было похоже на бросание камешков в пруд, которые вызывают лишь лёгкую рябь, а затем она затухает... На этот раз я приложил немало сил и швырнул огромный валун. Время покажет, был ли он достаточно велик — действительно ли я всколыхнул кого-то настолько глубоко, что волны от удара продолжат расходиться сами по себе. Время покажет, создал ли я что-то, что способно двигаться самостоятельно.

Я хочу, чтобы люди шли вперёд, но также и возвращались. Или, может быть, даже уходили и оставались одновременно — ведь это интернет, и здесь нам такие вещи сходят с рук; в последнее время я узнал много интересного на Less Wrong, и если сохранение мотивации на протяжении многих лет представляет для вас хоть какую-то проблему, общение с другими (или даже просто возможность видеть, что другие тоже стараются) часто помогает.

Но в любом случае, если я хоть как-то на вас повлиял, я надеюсь, что вы пойдёте вперёд навстречу трудностям, добьётесь чего-то за пределами своего уютного кресла и создадите новое Искусство; а затем, помня, откуда вы пришли, выйдете на связь, чтобы рассказать остальным, чему научились.

*

1. Дэвид Чарльз Стоув, «Культ Платона и другие философские глупости» (Cambridge University Press, 1991).

Библиография. Альберт, Дэвид З. Квантовая механика и опыт. Harvard University Press, 1994.

Александр, Скотт. «Почему я не Рене Декарт». Slate Star Codex (блог) (2014). http://slatestarcodex.com/2014/11/27/why-i-am-not-rene-descartes/.

Алле, Морис. «Le Comportement de l’Homme Rationnel devant le Risque: Critique des Postulats et Axiomes de l’Ecole Americaine». Econometrica 21, № 4 (1953): 503–546. doi:10.2307/1907921.

Ариели, Дэн. Предсказуемая иррациональность: скрытые силы, определяющие наши решения. HarperCollins, 2008.

Аш, Соломон Э. «Исследования независимости и конформизма: один против единогласного большинства». Psychological Monographs 70 (1956).

Эшмор, Ричард Д., Васантха Рамчандра и Рассел А. Джонс. «Цензура как метод изменения установок». Доклад, представленный на собрании Восточной психологической ассоциации (1971).

Азимов, Айзек. Относительность неправды. Oxford University Press, 1989.

Баэс, Джон. «Индекс крэкпота». 1998. http://math.ucr.edu/home/baez/crackpot.html.

Бэнкс, Иэн. Игрок. Orbit, 1989.

Барац, Дафна. Насколько оправдана «очевидная» реакция? Stanford University, 1983.

Барбур, Джулиан. Конец времени: следующая революция в физике. 1-е изд. New York: Oxford University Press, 1999.

Барон, Джонатан. Мышление и принятие решений. Cambridge University Press, 2007.

Барон, Джонатан и Джошуа Д. Грин. «Факторы нечувствительности к количеству при оценке общественных благ: вклад, "теплое свечение", бюджетные ограничения, доступность и значимость». Journal of Experimental Psychology: Applied 2, № 2 (1996): 107–125. doi:10.1037/1076-898X.2.2.107.

Барретт, Джеффри. Формулировка квантовой механики Эверетта через относительные состояния. Под редакцией Эдварда Н. Залты. http://plato.stanford.edu/archives/fall2008/entries/qm-everett/.

Бенсон, Питер Л., Стюарт А. Карабеник и Ричард М. Лернер. «Красивые „пожалуйста“: влияние физической привлекательности, расы и пола на получение помощи». Journal of Experimental Social Psychology 12 (5 1976): 409–415. doi:10.1016/0022-1031(76)90073-1.

Бонд, Род и Питер Б. Смит. «Культура и конформизм: метаанализ исследований с использованием задачи Аша (1952b, 1956) на сравнение длины отрезков». Psychological Bulletin 119 (1996): 111–137.

Бостром, Ник. «История трансгуманистической мысли». Journal of Evolution and Technology 14, № 1 (2005): 1–25. http://www.nickbostrom.com/papers/history.pdf.

———. «Экзистенциальные риски: анализ сценариев вымирания человечества и связанных с этим опасностей». Journal of Evolution and Technology 9 (2002). http://www.jetpress.org/volume9/risks.html.

———. Искусственный интеллект: этапы, угрозы, стратегии. Oxford University Press, 2014.

Бостром, Ник и Милан М. Чиркович, ред. Глобальные катастрофические риски. New York: Oxford University Press, 2008.

Бостром, Ник и Джулиан Савулеску. «Этика улучшения человека: состояние дискуссии». В Human Enhancement, под редакцией Ника Бострома и Джулиана Савулеску. 2009.

Бостром, Ник и Элиезер Юдковский. «Этика искусственного интеллекта». В Кембриджском руководстве по искусственному интеллекту, под редакцией Кита Фрэнкиша и Уильяма Рэмси. New York: Cambridge University Press, 2014.

Бурже, Давид и Дэвид Дж. Чалмерс. «Во что верят философы?» Philosophical Studies (2013): 1–36.

Бойнтон,