Революция разума: на подступах к Сингулярности. Как технологии изменят общество и сознание - Рэймонд Курцвейл

64. Винт Серф, один из создателей интернета, написал важную статью о роли агентства DARPA в создании Всемирной сети. См. Vint Cerf, “A Brief History of the Internet and Related Networks”, Internet Society, последняя проверка доступности 5 марта 2023 года, https://www.internetsociety.org/internet/history-internet/brief-history-internet-related-networks.

65. “Asilomar AI Principles”, Future of Life Institute.

66. “Lethal Autonomous Weapons Pledge”, Future of Life Institute, 2019, https://futureoflife.org/lethal-autonomous-weapons-pledge.

67. Kelley M. Sayler, “Defense Primer: U.S. Policy on Lethal Autonomous Weapon Systems” (report IF11150, Congressional Research Service, updated November 14, 2022), https://crsreports.congress.gov/product/pdf/IF/IF11150.

68. Department of Defense Directive 3000.09—Autonomy in Weapon Systems, US Department of Defense, November 21, 2012 (effective January 25, 2023), https://www.esd.whs.mil/Portals/54/Documents/DD/issuances/dodd/300009p.pdf.

69. Erico Guizzo and Evan Ackerman, “Do We Want Robot Warriors to Decide Who Lives or Dies?”, IEEE Spectrum, May 31, 2016, https://spectrum.ieee.org/robotics/military-robots/do-we-want-robot-warriors-to-decide-who-lives-or-dies.

70. Guizzo and Ackerman, “Do We Want Robot Warriors to Decide Who Lives or Dies?”.

71. Bureau of Arms Control, Verification and Compliance, “Political Declaration on Responsible Military Use of Artificial Intelligence and Autonomy”, US Department of State, February 16, 2023, https://www.state.gov/political-declaration-on-responsible-military-use-of-artificial-intelligence-and-autonomy.

72. Brian M. Carney, “Air Combat by Remote Control”, Wall Street Journal, May 12, 2008, https://www.wsj.com/articles/SB121055519404984109.

73. “Supporters of a Ban on Killer Robots”, Campaign to Stop Killer Robots, updated May 18, 2021, https://web.archive.org/web/20210518133318/https://www.stopkillerrobots.org/en dorsers.

74. Brian Stauffer, “Stopping Killer Robots: Country Positions on Banning Fully Autonomous Weapons and Retaining Human Control”, Human Rights Watch, August 10, 2020, https://www.hrw.org/report/2020/08/10/stopping-killer-robots/country-positions-banning-fully-autonomous-weapons-and.

75. Для лучшего понимания проблемы непрозрачности работы ИИ можно рассмотреть аналогичную ситуацию в математике, а именно: разницу между нахождением решения задачи и проверкой, что предоставленное решение верно. В некоторых случаях человеку не составит труда убедиться, что ответ, предоставленный машиной, действительно правильный. Например, если программе дана команда найти наибольшее нечетное число, не превосходящее 1 000 000, то несложно увидеть, что 999 999 удовлетворяет заданным требованиям. С другой стороны, если мы попросим компьютер найти наибольшее простое число, не превосходящее 1 000 000, нам очень сложно будет убедиться, что 999 983 и вправду простое. Аналогично, если программа дает ответ на основе алгоритма, содержащего четко сформулированные программистами критерии, можно легко «заглянуть под капот» и узнать, какие конкретно факторы повлияли на решение. Например, ИИ, который оценивает ход игры го на основании заданных правил, может сразу сказать оператору, почему выбранный ход ему кажется наилучшим. Но в случае нейросетевого подхода наподобие глубокого обучения ответ «почему», как правило, недоступен не только оператору, но и самому ИИ. По-видимому, универсального метода для получения понятной человеку мотивировки решения нейросети не существует. Подробнее о так называемой «проблеме черного ящика» в сфере ИИ: Will Knight, “The Dark Secret at the Heart of AI”, MIT Technology Review, April 11, 2017, https://www.technologyreview.com/s/604087/the-dark-secret-at-the-heart-of-ai.

76. Paul Christiano, “Eliciting Latent Knowledge”, AI Alignment, Medium, February 25, 2022, https://ai-alignment.com/eliciting-latent-knowledge-f977478608fc.

77. John-Clark Levin and Matthijs M. Maas, “Roadmap to a Roadmap: How Could We Tell When AGI Is a ‘Manhattan Project’ Away?”, arXiv:2008.04701 [cs.CY], August 6, 2020, https://arxiv.org/pdf/2008.04701.pdf.

78. “The Bletchley Declaration by Countries Attending the AI Safety Summit, 1–2 November 2023”, UK Government, November 1, 2023, https://www.gov.uk/government/publications/ai-safety-summit-2023-the-bletchley-declaration/the-bletchley-declaration-by-countries-attending-the-ai-safety-summit-1-2-november-2023.

79. Что касается долгосрочной тенденции к снижению уровня насилия в мире, в прекрасной книге моего друга Стивена Пинкера можно найти множество интересных соображений, основывающихся на анализе данных. См. Steven Pinker, The Better Angels of Our Nature (New York: Viking, 2011).

80. Хороший обзор антипрогрессивных настроений, подпитываемых страхом перед опасностями, которые несут новые технологии: Lawrence Lessig, “Stamping Out Good Science”, Wired, July 1, 2004, https://www.wired.com/2004/07/stamping-out-good-science.

81. Walter Suza, “I Fight Anti-GMO Fears in Africa to Combat Hunger”, The Conversation, February 7, 2019, https://theconversation.com/i-fight-anti-gmo-fears-in-africa-to-combat-hunger-109632; Editorial Board, “There’s No Choice: We Must Grow GM Crops Now”, Guardian, March 16, 2014, https://www.theguardian.com/commentisfree/2014/mar/16/gm-crops-world-food-famine-starvation.

82. Обзор характерных возражений: Joël de Rosnay, “Artificial Intelligence: Transhumanism Is Narcissistic. We Must Strive for Hyperhumanism”, Crossroads to the Future, April 26, 2015, https://web.archive.org/web/20230322182945/https://www.crossroads-to-the-future.com/articles/artificial-intelligence-transhumanism-is-narcissistic-we-must-strive-for-hyperhumanism; Wesley J. Smith, “Jeffrey Epstein, a Narcissistic Transhumanist”, National Review, August 1, 2019, https://www.nationalreview.com/corner/jeffrey-epstein-a-narcissistic-transhumanist; Sarah Spiekermann, “Why Transhumanism Will Be a Blight on Humanity and Why It Must Be Opposed”, The Privacy Surgeon, July 6, 2017, https://web.archive.org/web/20180212062523/http://www.privacysurgeon.org/blog/incision/why-transhumanism-will-be-a-blight-on-humanity-and-why-it-must-be-opposed.

83. В 2021 году мировое потребление энергии составило 595,15 эксаджоулей, или 165 320 тераватт-часов, что эквивалентно круглогодичной выработке 18,8 тераватта. Для сравнения, поток солнечной энергии, достигающий нашей планеты, равен примерно 173 000–175 000 ТВт. По оценкам Сандийских национальных лабораторий поверхности Земли достигает поток в 89 300 ТВт, из которых 58 300 ТВт можно преобразовать в электричество с помощью солнечных панелей. 7500 ТВт, в свою очередь, можно получить на хорошо освещенных участках планеты, применяя технологии 2006 года. Построив солнечные электростанции, обеспечивающие получение всего лишь четверти процента этой доступной мощности, мы покроем все наши потребности в энергии на сегодняшний день, причем не только электрической, но и вырабатываемой благодаря сжиганию ископаемого топлива. См. BP Statistical Review of World Energy 2022 (London: BP, 2022), https://www.bp.com/content/dam/bp/business-sites/en/global/corporate/pdfs/energy-economics/statistical-review/bp-stats-review-2022-full-report.pdf, 9; Jeff Tsao et al., “Solar FAQs”, US Department of Energy (working paper SAND 2006-2818P, Sandia National Laboratories 2006), 9, https://web.archive.org/web/20200424084337/https://www.sandia.gov/~jytsao/Solar%20FAQs.pdf.

84. Два отличных обзора мнений ведущих мировых футурологов об экзистенциальных рисках, то есть вероятности событий, которые могут привести к полному вымиранию человечества: Sebastian Farquhar et al., Existential Risk: Diplomacy and Governance, Global Priorities Project, 2017, https://www.fhi.ox.ac.uk/wp-content/uploads/Existential-Risks-2017-01-23.pdf; Nick Bostrom, “Existential Risks: Analyzing Human Extinction Scenarios and Related Hazards”, Journal of Evolution and Technology 9, no. 1 (2002), https:// www.nickbostrom.com/existential/risks.html.

Сноски

1

Книга выходила на русском языке под названием «Всеобщее благоденствие. Как нанотехнологическая революция изменит цивилизацию» в Издательстве Институт Гайдара (Москва), в 2014 году. – Прим. ред.

2

Рос. хим. ж. (Ж. Рос. хим. об-ва им. Д. И. Менделеева), 2002, т. XLVI, № 5. Перевод с английского канд. физ. – мат. наук А. В. Хачояна. – Прим. пер

3

Перевод Геннадия Башкова. – Прим. пер

4

Безумный. – Прим. пер

5

Скорбный. – Прим. пер

6

В древнегреческой мифологии имя Кассандра носила троянская царевна, наделенная даром пророчества. Однако из-за наложенного на нее проклятия никто не верил в ее предсказания. – Прим. пер