Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан

class="p">447

Skinner, A Case History in Scientific Method.

448

Макгонигал, Джейн. Реальность под вопросом. Почему игры делают нас лучше и как они могут изменить мир. – Пер. с англ. Н. Яцюк. – Науч. ред. В. Шульпин. – М.: Манн, Иванов и Фербер, 2018.

449

Jane McGonigal, Gaming Can Make a Better World, https://www.ted.com/talks/jane_mcgonigal_gaming_can_make_a_better_world/.

450

См. McGonigal, SuperBetter.

451

Jane McGonigal, The Game That Can Give You 10 Extra Years of Life, https://www.ted.com/talks/jane_mcgonigal_the_game_that_can_give_you_10_extra_years_of_life/.

452

См. Deterding et al., From Game Design Elements to Gamefulness.

453

См. Hamari, Koivisto, and Sarsa, Does Gamification Work?

454

Интервью автора с Фальком Лидером, 28 апреля 2018.

455

Чтобы получить общее представление о проблеме, см. Lieder, Gamify Your Goals. Более подробную информацию см. в Lieder et al., Cognitive Prostheses for Goal Achievement.

456

В последнее время эта идея изучалась в работе Sorg, Lewis, and Singh, Reward Design via Online Gradient Ascent.

457

Интервью автора с Фальком Лидером, 28 апреля 2018.

458

Если точнее, у них был выбор между тем, чтобы отказаться от задания и получить пятнадцать центов, и тем, чтобы взять задание, получить еще пять центов сверху и возможность за двадцать долларов написать ряд эссе к определенному дню.

459

Lieder et al., Cognitive Prostheses for Goal Achievement.

460

Там же.

461

См., к примеру, Evans et al., Evidence for a Mental Health Crisis in Graduate Education, где выясняется, что «студенты-постдипломники в шесть раз чаще склонны испытывать депрессию и тревожность по сравнению с населением в целом».

462

Turing, Intelligent Machinery.

463

Начиная с 2004 года, предпринимались попытки разработки стандартизированных эталонных тестов для обучения с подкреплением и конкурсов; см. Whiteson, Tanner, and White, The Reinforcement Learning Competitions.

464

Интервью автора с Марком Беллемаре, 28 февраля 2019.

465

Bellemare et al., The Arcade Learning Environment, источником которой является работа Naddaf, Game-Independent AI Agents for Playing Atari 260 °Console Games, проистекающая из Diuk, Cohen, and Littman, An Object-Oriented Representation for Efficient Reinforcement Learning, где в качестве среды для обучения с подкреплением использовалась игра Pitfall!.

466

См. Gendron-Bellemare, Fast, Scalable Algorithms for Reinforcement Learning in High Dimensional Domains.

467

Mnih et al., Playing Atari with Deep Reinforcement Learning.

468

Mnih et al., Human-Level Control Through Deep Reinforcement Learning.

469

Интервью Джона Харди с Робертом Джегером, http://www.digitpress.com/library/interviews/interview_robert_jaeger.html.

470

Больше информации по этому вопросу см. Salimans and Chen, Learning Montezuma’s Revenge from a Single Demonstration, где также исследуется интересная идея о том, чтобы двигаться назад от состояния успешного достижения цели, чтобы научить агента обучения с подкреплением, как играть в игру шаг за шагом.

471

См. Maier and Seligman, Learned Helplessness. Более современные работы в этой области – см., например, Lieder, Goodman, and Huys, Learned Helplessness and Generalization.

472

См. Henry Alford, The Wisdom of Ashleigh Brilliant, http://www.ashleighbrilliant.com/BrilliantWisdom.html, цитируется по Alford, How to Live (New York: Twelve, 2009).

473

Понятие внутренней мотивации было представлено в машинном обучении в работах Barto, Singh, and Chentanez, Intrinsically Motivated Learning of Hierarchical Collections of Skills и Singh, Chentanez, and Barto, Intrinsically Motivated Reinforcement Learning. Более современный обзор этой литературы см. в Baldassarre and Mirolli, Intrinsically Motivated Learning in Natural and Artificial Systems.

474

Гоббс Т. Левиафан, или Материя, форма и власть государства церковного и гражданского. – Пер. А. Гутермана // Гоббс Т. Сочинения: В 2 т. – Т. 2. – М.: Мысль, 1991.

475

Simon, The Cat That Curiosity Couldn’t Kill.

476

Berlyne, ‘Interest’ as a Psychological Concept.

477

См. Furedy and Furedy, ‘My First Interest Is Interest.’

478

Berlyne, Conflict, Arousal, and Curiosity.

479

См. Harlow, Harlow, and Meyer, Learning Motivated by a Manipulation Drive и Harlow, Learning and Satiation of Response in Intrinsically Motivated Complex Puzzle Performance by Monkeys.

480

Сценарии такого типа описаны в работах Barto, Intrinsic Motivation and Reinforcement Learning, Deci and Ryan, Intrinsic Motivation и Self-Determination in Human Behavior.

481

Berlyne, Conflict, Arousal, and Curiosity.

482

См., например, книгу Берлайна Uncertainty and Conflict: A Point of Contact Between Information-Theory and Behavior-Theory Concepts.

483

Обзоры понятия «интерес» в психологии XXI века см. в Silvia, Exploring the Psychology of Interest и Kashdan and Silvia, Curiosity and Interest.

484

Konečni, Daniel E. Berlyne.

485

Berlyne, Conflict, Arousal, and Curiosity.

486

Фильм «Энни с Клондайка», 1936.

487

Fantz, Visual Experience in Infants. Технически Фанц работал в университете Вестерн-Резерв, который был официально присоединен к Технологическому институту Кейса только несколько лет спустя, в 1967 году, чтобы стать университетом Кейс Вестерн.

488

См. Saayman, Ames, and Moffett, Response to Novelty as an Indicator of Visual Discrimination in the Human Infant.

489

Обзор, сделанный на рубеже веков, см. в Roder, Bushnell, and Sasseville, Infants’ Preferences for Familiarity and Novelty During the Course of Visual Processing.

490

К примеру, Марвин Минский писал в 1961 году: «Если бы мы могли… добавить премию к вознаграждению за предсказания, имеющие новый аспект, мы бы думали, что сумеем распознать поведение, мотивированное такого рода любопытством… В подкреплении механизмов подтверждения