Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан

614

Hsu, IBM’s Deep Blue Chess Grandmaster Chips.

615

Настоящий материал (информация) произведен, распространен и (или) направлен иностран-

ным агентом Каспаровым Гарри Кимовичем либо касается деятельности иностранного агента

Каспарова Гарри Кимовича, содержащегося в реестре иностранных агентов. – Прим. ред.

616

Weber, What Deep Blue Learned in Chess School.

617

Schaeffer et al., A World Championship Caliber Checkers Program.

618

Fürnkranz and Kubat, Machines That Learn to Play Games.

619

Разумеется, существуют незначительные отличия между архитектурой и процедурами обучения Deep Blue и AlphaGo, см. Silver et al., Mastering the Game of Go with Deep Neural Networks and Tree Search.

620

Оценочная сеть AlphaGo развилась в процессе игры программы с самой собой, но ее политическая сеть была имитационной, натренированной с помощью контролируемого обучения на базе данных, состоящей из игр экспертов. Грубо говоря, она была совершенно обыкновенной с точки зрения ходов, которые рассматривала, но мыслила самостоятельно, когда решала, какой из них будет лучшим. См. Silver et al., Mastering the Game of Go with Deep Neural Networks and Tree Search.

621

Silver et al., Mastering the Game of Go Without Human Knowledge. В 2018 году AlphaGo Zero была усовершенствована до более универсальной программы под названием AlphaZero. Больше информации об AlphaZero см. в Silver et al., A General Reinforcement Learning Algorithm That Masters Chess, Shogi, and Go Through Self-Play. В 2019‐м следующая итерация системы MuZero достигла того же уровня производительности при меньшем количестве расчетов и менее совершенных знаниях о правилах игры, показав себя достаточно гибкой, чтобы достигнуть совершенства не только в настольных играх, но и в играх Atari; см. Schrittwieser et al., Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model.

622

Silver et al., Mastering the Game of Go Without Human Knowledge.

623

Взгляд с точки зрения психологии на «быстрые» и «медленные» психические процессы, также известные как «Система 1» и «Система 2», см. в Kahneman, Thinking, Fast and Slow.

624

См. Coulom, Efficient Selectivity and Backup Operators in Monte-Carlo Tree Search.

625

См. Silver et al., Mastering the Game of Go Without Human Knowledge. Если говорить точнее, программа использует «счетчик посещений» на каждом ходу с помощью MCTS, так что нейросеть фактически учится предсказывать, какое время займет обдумывание каждого хода. См. также придуманный в то же время и близко связанный «алгоритм экспертной итерации» в Anthony, Tian, and Barber, Thinking Fast and Slow with Deep Learning and Tree Search.

626

Shead, DeepMind’s Human-Bashing AlphaGo AI Is Now Even Stronger.

627

Марк Аврелий Антонин. Размышления. – Пер. и прим. А. К. Гаврилова. – Л.: Наука, 1985.

628

Andy Fitch, Letter from Utopia: Talking to Nick Bostrom, BLARB (блог), 24 ноября2017, https://blog.lareviewofbooks.org/interviews/letter-utopia-talking-nick-bostrom/.

629

Blaise Aguera y Arcas, The Better Angels of our Nature (лекция), 16 февраля 2017, конференция VOR: Superintelligence, Мехико.

630

Yudkowsky, Coherent Extrapolated Volition. См. также Tarleton, Coherent Extrapolated Volition.

631

Отмечу, что некоторые философы, а именно «моральные реалисты», верили в идею объективной моральной правды. Обзор такого рода положений см. в Sayre-McCord, Moral Realism.

632

Интервью Роба Уиблина с Полом Кристиано, The 80,000 Hours Podcast, 2 октября 2018.

633

См. Paul Christiano, A Formalization of Indirect Normativity, AI Alignment (блог), 20 апреля 2012, https://ai-alignment.com/a-formalization-of-indirectnormativity‐7e44db640160 и Ajeya Cotra, Iterated Distillation and Amplification, AI Alignment (блог), 4 марта 2018, https://ai-alignment.com/iterated-distillation-and-amplification‐157debfd1616.

634

Исчерпывающее обсуждение связи между стратегической сетью AlphaGo и идеей циклического усиления мощности см. в Paul Christiano, AlphaGo Zero and Capability Amplification, AI Alignment (блог), 19 октября 2017, https://ai-alignment.com/alphago-zero-and-capability-amplification-ede767bb8446.

635

Christiano, Shlegeris, and Amodei, Supervising Strong Learners by Amplifying Weak Experts.

636

Интервью автора с Полом Кристиано, 1 июля 2019.

637

См., к примеру, alignmentforum.org, а также семинары, конференции и исследовательские лаборатории, которых становится все больше.

638

См. Warneken and Tomasello, Altruistic Helping in Human Infants and Young Chimpanzees, а также Warneken and Tomasello, Helping and Cooperation at 14 Months of Age. Видеозаписи экспериментов см. Experiments with Altruism in Children and Chimps.

639

См. также Meltzoff, Understanding the Intentions of Others, где показано как полуторагодовалые дети успешно подражают целенаправленным действиям, которые взрослые безуспешно пытаются совершить. Это указывает на то, что дети «помещают людей в психологическую схему, отличающую поверхностное поведение людей и более глубокий уровень, затрагивающий цели и намерения».

640

См. Warneken and Tomasello, Altruistic Helping in Human Infants and Young Chimpanzees.

641

Tomasello et al., Understanding and Sharing Intentions.

642

Felix Warneken, Need Help? Ask a 2-Year-Old (лекция), TEDxAmoskeagMillyard 2013.

643

См. Our Research, Social Minds Lab, университет Мичигана, https://sites.lsa.umich.edu/warneken/lab/research‐2/.

644

Tomasello et al. (Отмечу, что они явно придают своему рассказу определенную форму, используя язык кибернетики и систем управления.)

645

Лейтон Р., Сэндс М., Фейнман Р. Ф. Фейнмановские лекции по физике. Том 1. Современная наука о природе. Законы механики. Пространство. Время. Движение. – Пер. Копылов Г., Хрусталев О., Ефремов А. – М.: АСТ, 2022.

646

Скетч из 14‐го эпизода «Летающего цирка Монти Пайтона», британского комедийного скетч-сериала комик-группы «Монти Пайтон». – Прим. пер.

647

Интервью автора со Стюартом Расселом, 13 мая 2018.

648

См. Uno, Kawato, and Suzuki, Formation and Control of Optimal Trajectory in Human Multijoint Arm Movement.

649

См. Hogan, An Organizing Principle for a Class of Voluntary Movements.

650