Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан

и Гахрамани анализируют работы Lin, Chen, and Yan, Network in Network и Lee et al., Deeply- Supervised Nets. Отмечу, что к настройке уровня дропаута стоит подходить с осторожностью, см. Gal and Ghahramani, Dropout as a Bayesian Approximation. Для применения идеи к рекуррентным нейросетям и обучению с подкреплением см. соответственно Gal and Ghahramani, A Theoretically Grounded Application of Dropout in Recurrent Neural Networks, Gal, Uncertainty in Deep Learning, § 3.4.2 и Gal, McAllister, and Rasmussen, Improving PILCO with Bayesian Neural Network Dynamics Models.

724

Gal and Ghahramani, Dropout as a Bayesian Approximation.

725

Интервью автора с Ярином Галем, 11 июля 2019.

726

См. Engelgau et al., The Evolving Diabetes Burden in the United States и Zaki et al., Diabetic Retinopathy Assessment.

727

Leibig et al., Leveraging Uncertainty Information from Deep Neural Networks for Disease Detection.

728

Ряд исследовательских групп занимается изучением потенциала общей идеи «селективной классификации» в машинном обучении. Например, Коринна Кортес и ее коллеги из Google Research исследовали идею «обучения с отказом», то есть классификатор просто «лягается» или, иначе говоря, отказывается выносить суждение об отношении предмета к какой‐либо категории. См. Cortes, DeSalvo, and Mohri, Learning with Rejection, а также работу по статистике С. К. Чоу, который еще в середине ХХ века исследовал связанные идеи: Chow, An Optimum Character Recognition System Using Decision Functions и Chow, On Optimum Recognition Error and Reject Tradeoff. Подобный подход в контексте машинного обучения см. в Li et al., Knows What It Knows.

В 2018 году исследователи из университета Торонто под руководством аспиранта Дэвида Мадраса расширили восприятие этой идеи, задавшись вопросом не только о том, как система машинного обучения может попытаться справиться с неоднозначными или допускающими двоякое толкование случаями, чтобы избежать ошибок, но и как она может работать в тандеме с человеком, принимающим решения, который продолжает начатую кем‐то работу. Если этот человек будет особенно точен с определенным типом примеров, система должна относиться к его мнению с уважением, даже если уверена в обратном; напротив, если есть определенный тип примеров, где человек показывает себя плохо, система может просто рискнуть и высказать свое лучшее предположение, даже если в нем не уверена, поскольку целью является не только повышение ее точности, но и точности принятия решений в команде из человека и машины. См. Madras, Pitassi, and Zemel, Predict Responsibly.

В связанной работе Сун Цзян, Эдмунд Дюрфи и Сатиндер Сингх из Мичиганского университета исследовали идею агента в среде gridworld. Агент стремится минимизировать побочные эффекты, спрашивая, хочет ли пользователь изменить определенные вещи. Человек может предлагать ограничения для безопасного управления с минимальным возможным количеством таких вопросов. См. Zhang, Durfee, and Singh, Minimax-Regret Querying on Side Effects for Safe Optimality in Factored Markov Decision Processes.

729

Kahn et al., Uncertainty-Aware Reinforcement Learning for Collision Avoidance.

730

Связанные работы, соединяющие неопределенность с незнакомой обстановкой, см. Kenton et al., Generalizing from a Few Environments in Safety-Critical Reinforcement Learning. Связанную работу в контексте имитационного обучения и автономных автомобилей см. в Tigas et al., Robust Imitative Planning.

731

Holt et al., An Unconscious Patient with a DNR Tattoo, Bever, A Man Collapsed with ‘Do Not Resuscitate’ Tattooed on His Chest и Hersher, When a Tattoo Means Life or Death (освещение в прессе).

732

Holt et al., An Unconscious Patient with a DNR Tattoo.

733

Cooper and Aronowitz, DNR Tattoos.

734

Holt et al., An Unconscious Patient with a DNR Tattoo.

735

Bever, A Man Collapsed with ‘Do Not Resuscitate’ Tattooed on His Chest.

736

Sunstein, Irreparability as Irreversibility, Sunstein, Irreversibility.

737

Sunstein, Beyond the Precautionary Principle, Sunstein, Laws of Fear.

738

Amodei et al., Concrete Problems in AI Safety. В статье дается очень хорошее обширное описание «избегания отрицательных побочных эффектов» и «регуляторов воздействия». В статье Taylor et al., Alignment for Advanced Machine Learning Systems также обсуждаются различные идеи «мер воздействия». Хороший обзор более современных исследований воздействия см. в Daniel Filan, Test Cases for Impact Regularisation Methods, https://www.alignmentforum.org/posts/wzPzPmAsG3BwrBrwy/test-cases-for-impact-regularisation-methods.

Аспирант университета Карнеги – Меллона Бенджамин Айзенбах рассматривал подобную идею в трехмерной среде MuJoCo. Его идея – обратимость в соединении с кредо пеших путешественников и туристов «не оставлять следов». Он предложил использовать обычные методы обучения с подкреплением, чтобы развивать компетенции для решения различных задач с критически важным условием. В отличие от эргодической среды игр Atari, где обучение включает в себя сотни тысяч внешне предписанных перезагрузок, агенты Айзенбаха сами отвечали за перезагрузку в точную стартовую конфигурацию, прежде чем сделать еще одну попытку того, что они обучались делать. Первоначальные результаты были вдохновляющими: схематический гепард, к примеру, подползал к краю обрыва, а потом давал задний ход, и, кажется, усвоил, что не получится вернуться назад, если перевалил через край. См. Eysenbach et al., Leave No Trace. См. также гораздо более раннюю работу Weld and Etzioni, The First Law of Robotics (a Call to Arms), где рассматривается подобная идея.

739

Работу Армстронга по агентам ИИ с низким воздействием см. Armstrong and Levinstein, Low Impact Artificial Intelligences. Его статьи 2012 и 2013 годов были среди первых, где явно формулировалась проблема. См. Armstrong, The Mathematics of Reduced Impact и Armstrong, Reduced Impact AI.

740

Armstrong and Levinstein, Low Impact Artificial Intelligences.

741

Столица и крупнейший город Бангладеш. – Прим. пер.

742

Там же.

743

Как говорит Элиезер Юдковский: «Если вы собираетесь лечить рак, убедитесь, что пациент все еще умирает!» См. https://intelligence.org/2016/12/28/ai-alignment-why-its-hardand-where-to-start/. См. также Armstrong and Levinstein, Low Impact Artificial Intelligences, где в качестве примера приводится летящий к Земле астероид. Система, ограниченная исключительно низким воздействием, может не суметь отклонить его. Или, что еще хуже, система, способная на уменьшение воздействия, может отклонить астероид, спасти планету, а потом все равно ее взорвать.

744

Интервью автора с Викторией Краковной, 8 декабря 2017.

745

См. Krakovna et al., Penalizing