Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан

651

Farley and Taylor, A Mechanical Trigger for the Trot-Gallop Transition in Horses. Больше информации о биомеханике движений у людей и животных см. также в работе прославленного (увы, ныне покойного) британского зоолога Роберта Макнила Александра (Robert McNeill Alexander): The Gaits of Bipedal and Quadrupedal Animals, The Human Machine и Optima for Animals. Как объяснял Александр, «конечности и поступь животных – это продукты двух отлично оптимизированных процессов, созданных эволюцией с помощью естественного отбора и выученных из опыта. Зоологи пытаются решить проблемы обратной оптимальности: они ищут критерии оптимизации, которые были важны в эволюции конечностей животных и в эволюции обучения походке». Современные исследования обратного контроля оптимальности в контексте походки человека см. в работе Кати Момбаур: Mombaur, Truong, and Laumond, From Human to Humanoid Locomotion— an Inverse Optimal Control Approach.

652

Больше о связях между обучением с подкреплением и дофаминовой системой см. в основном тексте и сносках к главе 4. Больше о связях с поисками пищи у животных см. в Montague et al., Bee Foraging in Uncertain Environments Using Predictive Hebbian Learning и Niv et al., Evolution of Reinforcement Learning in Foraging Bees.

653

Russell, Learning Agents for Uncertain Environments (Extended Abstract). Более раннюю работу, охватывающую эконометрическую точку зрения на похожую проблему, так называемую «структурную оценку», см. Rust, Do People Behave According to Bellman’s Principle of Optimality? и Structural Estimation of Markov Decision Processes, а также Sargent, Estimation of Dynamic Labor Demand Schedules Under Rational Expectations. Более раннюю работу по этому вопросу с точки зрения теории управления см. Kálmán, When Is a Linear Control System Optimal? В 1964 году, работая в Научно-исследовательском институте перспективных исследований в Балтиморе, получая финансирование от военно-воздушных сил США и NASA, Кальман заинтересовался тем, что назвал «обратной проблемой теории оптимального управления, которая заключается в следующем: взяв закон управления, найдите все критерии качества, по которым этот закон является оптимальным». Он отмечал: «Сегодня об этой проблеме известно очень мало».

654

Эти добавочные усиливающие изменения называются «афинной» трансформацией.

655

Ng and Russell, Algorithms for Inverse Reinforcement Learning.

656

Если говорить конкретно, Ын и Рассел использовали метод «l1‐регуляции», также известный как «лассо». Идея появилась в работе Tibshirani, Regression Shrinkage and Selection via the Lasso. Доступный обзор идей и методов регуляции см. в книге Гриффитс Т., Кристиан Б. Алгоритмы для жизни. – Пер. М. Волохова. – М.: Альпина Паблишер, 2019.

657

Abbeel and Ng, Apprenticeship Learning via Inverse Reinforcement Learning.

658

Эндрю Ын, вступление к защите диссертации Питера Аббеля на соискание докторской степени, Стэнфордский университет, 19 мая 2008 года, см. http://ai.stanford.edu/~pabbeel//thesis/PieterAbbeel_Defense_19May2008_320x180.mp4.

659

Abbeel, Coates, and Ng, Autonomous Helicopter Aerobatics Through Apprenticeship Learning.

660

Abbeel et al., An Application of Reinforcement Learning to Aerobatic Helicopter Flight. Они также успешно продемонстрировали носовую и хвостовую воронки.

661

«Поскольку повторяющиеся недостаточно оптимальные демонстрации отличаются частичной оптимальностью, вместе они часто содержат желаемую траекторию». См. Abbeel, Apprenticeship Learning and Reinforcement Learning with Application to Robotic Control, где автор ссылается на Coates, Abbeel, and Ng, Learning for Control from Multiple Demonstrations.

662

Abbeel, Coates, and Ng, Autonomous Helicopter Aerobatics Through Apprenticeship Learning.

663

См. веб-сайт Янгблада: http://www.curtisyoungblood.com/curtis-youngblood/.

664

Curtis Youngblood, Difference Between a Piro Flip and a Kaos, интервью Аарона Шелла.

665

Видеоклип, где стэнфордский вертолет демонстрирует хаос. см. Stanford University Autonomous Helicopter: Chaos.

666

Ziebart et al., Maximum Entropy Inverse Reinforcement Learning, где эффективно используется принцип максимальной энтропии, появившийся в работе Jaynes, Information Theory and Statistical Mechanics. См. также Ziebart, Bagnell, and Dey, Modeling Interaction via the Principle of Maximum Causal Entropy.

667

См. Billard, Calinon, and Guenter, Discriminative and Adaptive Imitation in Uni-Manual and Bi-Manual Tasks, обзор 2009 года см. в Argall et al., A Survey of Robot Learning from Demonstration.

668

См. Finn, Levine, and Abbeel, Guided Cost Learning. См. также Wulfmeier, Ondrúśka, and Posner, Maximum Entropy Deep Inverse Reinforcement Learning и Wulfmeier, Wang, and Posner, Watch This.

669

Если точнее, Лейке анализирует завершающие и не завершающие характеристики того, что называют «программами-лассо». См. Jan Leike, Ranking Function Synthesis for Linear Lasso Programs, диссертация на соискание степени магистра, Фрайбургский университет, 2013.

670

Интервью автора с Яном Лейке, 22 июня 2018.

671

См. Leike and Hutter, Bad Universal Priors and Notions of Optimality.

672

Статья Christiano et al., Deep Reinforcement Learning from Human Preferences. Посты о статье в блоге OpenAI см. Learning from Human Preferences, https://openai.com/blog/deep-reinforcement-learning-from-humanpreferences/, пост в блоге DeepMind см. Learning Through Human Feedback, https://deepmind.com/blog/learning-through-human-feedback/. Более ранние работы, исследующие идею обучения из предпочтений и обратной связи людей, см. Wilson, Fern, and Tadepalli, A Bayesian Approach for Policy Learning from Trajectory Preference Queries, Knox, Stone, and Breazeal, Training a Robot via Human Feedback, Akrour, Schoenauer, and Sebag, APRIL и Akrour et al., Programming by Feedback. См. также Wirth et al., A Survey of Preference-Based Reinforcement Learning Methods. Схему, объединяющую обучение с помощью демонстрации и обучение с помощью сравнения, см. в Jeon, Milli, and Drăgan, Reward-Rational (Implicit) Choice.

673

Интервью автора с Полом Кристиано, 1 июля 2019.

674

Todorov, Erez, and Tassa, MuJoCo.

675

В статье говорится: «В долгосрочной перспективе желательно, чтобы задача обучения из предпочтений людей была бы не сложнее, чем обучение с помощью запрограммированного сигнала вознаграждения. При этом следует убедиться, что мощная система обучения с подкреплением может быть применена для достижения сложных, а не простых человеческих ценностей». (Christiano et al., Deep Reinforcement Learning from Human Preferences.) Последующую работу Лейке и его коллег, где они стремились создать последовательность операций для моделирования человеческого вознаграждения, см. Leike et al., Scalable Agent Alignment via Reward Modeling.