Революция разума: на подступах к Сингулярности. Как технологии изменят общество и сознание - Рэймонд Курцвейл

По возможности мы старались использовать данные о розничных ценах на оборудование, так как они наилучшим образом отражают текущий уровень соотношения цена/производительность. Тензорные процессоры, работающие в облачных системах Google, не продаются, но их можно арендовать. Если бы мы использовали стоимость часа аренды в качестве цены для расчета, то получили бы очень высокую оценку эффективности. Такая оценка могла бы быть справедливой для небольших проектов, например, для простых задач машинного обучения, где покупка оборудования не имеет смысла. Однако она не соответствовала бы типичным сценариям использования этих ресурсов. Поэтому в качестве грубого приближения мы выбрали стоимость 4000 часов аренды в качестве замены розничной цены, основываясь на предполагаемых режимах использования и типичных циклах замены оборудования. (Вряд ли такой способ годился бы для сравнения цен на компьютеры одного и того же года выпуска, но учитывая широкий временной промежуток и логарифмический масштаб графика, наблюдаемая тенденция нечувствительна к изменениям методики определения параметров для отдельных точек.) На практике условия аренды облачных вычислительных мощностей обсуждаются индивидуально и могут существенно различаться в зависимости от нужд клиента и специфики проекта. В качестве более-менее репрезентативной суммы можно принять 5120 долларов за час аренды v4-4096 TPU компании Google, что соответствует 20,48 миллиона долларов, которые клиент мог бы заплатить за покупку такого оборудования. Приведенные цены не были официально озвучены на момент написания книги. Они представляют собой обобщение информации, доступной публично или полученной от экспертов отрасли в частных беседах.

Компания Google, вероятно, обнародует более подробную информацию о ценах к моменту выхода книги, но все равно эти данные будут неточны, так как специфические обстоятельства каждого отдельного проекта будут играть существенную роль в ценообразовании.

Источники данных о производительности: Tao Wang and Aarush Selvan, “Google Demonstrates Leading Performance in Latest MLPerf Benchmarks”, Google Cloud, June 30, 2021, https://cloud.google.com/blog/products/ai-machine-learning/google-wins-mlperf-bench marks-with-tpu-v4; Samuel K. Moore, “Here’s How Google’s TPU v4 AI Chip Stacked Up in Training Tests”, IEEE Spectrum, May 19, 2021, https://spectrum.ieee.org/heres-how-googles-tpu-v4-ai-chip-stacked-up-in-training-tests.

2023 GOOGLE CLOUD TPU V5E

Проиндексированная стоимость: 3016 долларов 46 центов

Операций в секунду: 393 000 000 000 000

Операций в секунду/доллар: 130 285 276 114

Источники данных о цене: Как сообщает команда Google Cloud, эффективность процессора TPU v5e в соотношении цена/производительность в 2,7 раза выше, чем у TPU v4. Эти данные получены на основе теста MLPerf v3.1 Inference Closed, который считается золотым стандартом оценки производительности для систем, обеспечивающих работу больших языковых моделей. В целях сопоставления с ценами на TPU v4-4096, которые получены исходя из прейскуранта на долгосрочную аренду, стоимость TPU v5e была нами вычислена с помощью коэффициента улучшения эффективности. Если бы мы использовали доступную информацию о стоимости часа аренды TPU v5e (1 доллар 20 центов), мы бы получили результат 82 миллиарда операций в секунду за доллар. Однако, поскольку для аренды больших объемов облачных мощностей всегда предусмотрены скидки, такая оценка производительности получилась бы заниженной. См. Amin Vahdat and Mark Lohmeyer, “Helping You Deliver High-Performance, Cost-Efficient AI Inference at Scale with GPUs and TPUs”, Google Cloud, September 11, 2023, https://cloud.google.com/blog/products/compute/performance-per-dollar-of-gpus-and-tpus-for-ai-inference.

Источники данных о производительности: INT8 performance per chip. See Google Cloud, “System Architecture”, Google Cloud, accessed November 13, 2023, https://cloud.google.com/tpu/docs/system-architecture-tpu-vm#tpu_v5e.

Примечания

Введение

1. Источники архивных данных для расчета соотношения цена/производительность всех машин, упомянутых в этой книге, перечислены в приложении.

2. William D. Nordhaus, “Two Centuries of Productivity Growth in Computing”, Journal of Economic History 67, no. 1 (March 2007): 128–59, https://doi.org/10.1017/S0022050707000058.

Глава 1. На какой из шести стадий мы находимся?

1. Alan M. Turing, “Computing Machinery and Intelligence”, Mind 59, no. 236 (October 1, 1950): 435, https://doi.org/10.1093/mind/LIX.236.433.

Глава 2. Изобретая разум заново

1. Alan M. Turing, “Computing Machinery and Intelligence”, Mind 59, no. 236 (October 1, 1950): 435, https://doi.org/10.1093/mind/LIX.236.433.

2. Alex Shashkevich, “Stanford Researcher Examines Earliest Concepts of Artificial Intelligence, Robots in Ancient Myths”, Stanford News, February 28, 2019, https://news.stanford.edu/2019/02/28/ancient-myths-reveal-early-fantasies-artificial-life.

3. John McCarthy et al., “A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence”, conference proposal, August 31, 1955, http://www-formal.stanford.edu/jmc/history/dartmouth/dartmouth.html.

4. McCarthy et al., “Proposal for the Dartmouth Summer Research Project”.

5. Martin Childs, “John McCarthy: Computer Scientist Known as the Father of AI”, The Independent, November 1, 2011, https://www.independent.co.uk/news/obituaries/john-mc carthy-computer-scientist-known-as-the-father-of-ai-6255307.html; Nello Christianini, “The Road to Artificial Intelligence: A Case of Data Over Theory,” New Scientist, October 26, 2016, https://institutions.newscientist.com/article/mg23230971-200-the-irresistible-rise-of-artificial-intelligence.

6. James Vincent, “Tencent Says There Are Only 300,000 AI Engineers Worldwide, but Millions Are Needed”, The Verge, December 5, 2017, https://www.theverge.com/2017/12/5/16737224/global-ai-talent-shortfall-tencent-report.

7. Jean-Francois Gagne, Grace Kiser, and Yoan Mantha, Global AI Talent Report 2019, Element AI, April 2019, https://jfgagne.ai/talent-2019.

8. Daniel Zhang et al., The AI Index 2022 Annual Report, AI Index Steering Committee, Stanford Institute for Human-Centered AI, Stanford University, March 2022, 36, https://aiin dex.stanford.edu/wp-content/uploads/2022/03/2022-AI–Index-Report_Master.pdf; Nestor Maslej et al., The AI Index 2023 Annual Report, AI Index Steering Committee, Stanford Institute for Human-Centered AI, Stanford University, April 2023, 24, https://aiin dex.stanford.edu/wp-content/uploads/2023/04/HAI_AI–Index-Report_2023.pdf.

9. Снижение корпоративных затрат на разработку ИИ в 2022 году по сравнению с 2021-м составило 26,7 %, но, скорее всего, было связано с макроэкономическими циклами, а не разворотом долгосрочной тенденции делать все большую ставку на ИИ. См. Maslej et al., AI Index 2023 Annual Report, 171, 184.

10. Ray Kurzweil, The Age of Spiritual Machines: When Computers Exceed Human Intelligence (New York: Penguin, 2000; первое издание: Viking, 1999), 313; Dale Jacquette, “Who’s Afraid of the Turing Test?”, Behavior and Philosophy 20/21 (1993): 72, https://www.jstor.org/stable/27759284.

11. Katja Grace et al., “Viewpoint: When Will AI Exceed Human Performance? Evidence from AI Experts”, Journal of Artificial Intelligence Research 62 (July 2018): 729–54, https:// doi.org /10.1613/jair.1.11222.

12. Чтобы узнать подробнее, на чем основывается мой прогноз и как он соотносится со взглядами других экспертов в области ИИ, см. Ray Kurzweil, “A Wager on the Turing Test: Why I Think I Will Win”, KurzweilAI.net, April 9, 2002, https://www.kurzweilai.net/a-wager-on-the-turing-test-why-i-think-i-will-win; Vincent C. Muller and Nick Bostrom, “Future Progress in Artificial Intelligence: A Survey of Expert Opinion”, in Fundamental Issues of Artificial Intelligence, ed. Vincent C. Müller (Cham, Switzerland: Springer, 2016), 553–71, https://philpapers.org/archive/MLLFPI.pdf; Anthony Aguirre, “Date Weakly General AI Is Publicly Known”, Metaculus, последняя проверка доступности 26 апреля 2023 года, https://www.metaculus.com /questions/3479/date-weakly-general-ai-system-is-devised.

13. Aguirre, “Date Weakly General AI Is Publicly Known”.

14. Raffi Khatchadourian, “The Doomsday Invention”, New Yorker, November 23, 2015, https://www.newyorker.com/magazine/2015/11/23/doomsday-invention-artificial-intelligence-nick-bostrom.

15. Newell, J. C. Shaw, and H. A. Simon, “Report on a General Problem-Solving Program”, RAND P-1584, RAND Corporation, February 9, 1959, http://bitsavers.informatik.uni-stuttgart.de/pdf/rand/ipl/P-1584_Report_On_A_General_Problem-Solving_Pro gram_Feb59.pdf. Все источники данных для