Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан

Side Effects Using Stepwise Relative Reachability. Для Краковны помещение проблемы в рамки «побочных эффектов», а не воздействия самого по себе, уничтожает по крайней мере один из парадоксов. «Если робот несет коробки и врезается в вазу, – говорит она, – разлетевшаяся на осколки ваза – это побочный эффект, потому что робот с легкостью мог ее обойти. С другой стороны, робот-повар должен разбить яйца для того, чтобы приготовить омлет, так что разбитые яйца нельзя назвать побочным эффектом». См. также Victoria Krakovna, Measuring and Avoiding Side Effects Using Relative Reachability, 5 июня 2018, https://vkrakovna.wordpress.com/2018/06/05/measuring-and-avoiding-side-effects-using-relative-reachability/.

746

Leike et al., AI Safety Gridworlds.

747

Интервью автора с Викторией Краковной, 8 декабря 2017.

748

Идея поэтапных параметров была предложена Александром Тернером на https://www.alignmentforum.org/posts/DvmhXysefEyEvXuXS/overcomingclinginess-in-impact-measures. Идея относительной достижимости исследовалась в статьях Krakovna et al., Penalizing Side Effects Using Stepwise Relative Reachability, Krakovna et al., Designing Agent Incentives to Avoid Side Effects, Deep-Mind Safety Research (блог), https://medium.com/@deepmindsafetyresearch/designing-agent-incentives-to-avoid-side-effects-e1ac80ea6107.

749

Turner, Hadfield-Menell, and Tadepalli, Conservative Agency via Attainable Utility Preservation. См. также последовательность Тернера Reframing Impact: https://www.alignmentforum.org/s/7CdoznhJaLEKHwvJW и продолжение обсуждения в его Towards a New Impact Measure, https://www.alignmentforum.org/posts/yEa7kwoMpsBgaBCgb/towards-a-new-impact-measure. Тернер пишет: «У меня есть теория, что сохранение достижимой полезности, возможно, сработает для продвинутых агентов не из-за того, что содержание достижимого набора подсистем в действительности имеет значение, а потому что там существует валюта достижения общей полезности – мощность». См. Turner, Optimal Farsighted Agents Tend to Seek Power. Больше о понятии мощности в контексте безопасности ИИ, в том числе информационно-теоретическую оценку «наделения полномочиями», см. в статье Amodei et al., Concrete Problems in AI Safety, которая, в свою очередь, ссылается на Salge, Glackin, and Polani, Empowerment: An Introduction и Mohamed and Rezende, Variational Information Maximisation for Intrinsically Motivated Reinforcement Learning.

750

Интервью автора с Александром Тернером, 11 июля 2019.

751

Wiener, Some Moral and Technical Consequences of Automation.

752

Согласно Полу Кристиано, «возможность внесения правок» как основное положение безопасности ИИ началось с Института исследования машинного интеллекта Элиезера Юдковского, а само название ввел в оборот Роберт Майлс. См. Christiano, Corrigibility, https://ai-alignment.com/corrigibility‐3039e668638.

753

Dadich, Ito, and Obama, Barack Obama, Neural Nets, Self-Driving Cars, and the Future of the World.

754

Интервью автора с Диланом Хэдфилдом-Менеллом, 15 марта 2018.

755

Turing, Can Digital Computers Think?

756

Рассел С. Совместимость. Рассел сформулировал эту проблему ранее, но другими словами в статье Should We Fear Supersmart Robots? За добрый десяток лет до Рассела Стив Омохундро в The Basic AI Drives отметил, что «почти все системы [будут] защищать свои служебные программы от изменений».

757

Soares et al., Corrigibility. См. также связанную работу Armstrong, Motivated Value Selection for Artificial Agents. Другие подходы к интересным проблемам, возникающим, когда агентов ИИ пытаются изменить или прерывают, см. Orseau and Armstrong, Safely Interruptible Agents и Riedl and Harrison, Enter the Matrix. Исследования роботов, которые действительно просили людей их не выключать, и о том, соглашались ли люди на их просьбу, см. Horstmann et al., Do a Robot’s Social Skills and Its Objection Discourage Interactants from Switching the Robot Off?

758

См. работу Nate Soares et al., Corrigibility, презентация на конференции AAAI‐15, 25 января 2015, https://intelligence.org/wp-content/uploads/2015/01/AAAI‐15‐corrigibilityslides.pdf.

759

Russell, Should We Fear Supersmart Robots?

760

Dylan Hadfield-Menell, The Off-Switch (лекция), Серия коллоквиумов по устойчивости и полезности ИИ (Colloquium Series on Robust and Beneficial AI, CSRBAI), Институт исследования машинного интеллекта, Беркли, Калифорния, 8 июня 2016.

761

Milli et al., Should Robots Be Obedient?. Другие работы по случаям, когда системе, возможно, было бы лучше не подчиняться команде человека, см. Coman et al., Social Attitudes of AI Rebellion и Aha and Coman, The AI Rebellion.

762

Smitha Milli, Approaches to Achieving AI Safety (интервью), Мельбурн, Австралия, август 2017.

763

Больше о возможности внесения правок и ошибке спецификации модели с использованием этой парадигмы см. также Carey, Incorrigibility in the CIRL Framework.

764

Интервью автора с Диланом Хэдфилдом-Менеллом, 15 марта 2018.

765

Рассел С. Совместимость.

766

Hadfield-Menell et al., Inverse Reward Design.

767

О схожей интерпретации проблемы Томом Эвериттом и его коллегами из DeepMind и Австралийского национального университета см. в Everitt et al., Reinforcement Learning with a Corrupted Reward Channel.

768

Hadfield-Menell et al., Inverse Reward Design.

769

Prümmer, Handbook of Moral Theology.

770

Руссо, Жан-Жак. Эмиль, или О воспитании. – Пер. с фр. М. А. Энгельгардта // Жан-Жак Руссо. Избранное. – Книговек, 2018.

771

В действительности создается ощущение, что практически все имевшие место исторические споры касались случаев, когда оспаривалось, греховно ли то или иное действие, но не тех случаев, когда речь шла о том, возможно ли не совершать греховных действий. Больше информации по теме см. Sepielli, ‘Along an Imperfectly-Lighted Path’.

772

Первоначально это часто цитируемое выражение появилось на редакторской странице San Diego Union 20 сентября 1930 года: «Торговцы ювелирными изделиями уверяют, что человек должен носить две пары часов. Но человек, у которого есть одни часы, знает точное время, человек, у которого две пары часов, никогда в нем не уверен».

773

См. Prümmer, Handbook of Moral Theology, § § 145–56.

774

См. Connell, Probabilism.

775

См. Prümmer, Handbook of Moral Theology.

776

Один из философов, ответственных за то, что на эти вопросы снова обратили внимание в наши дни, – это Тед Локхарт из Мичиганского технологического университета. См. Lockhart, Moral Uncertainty and Its Consequences. Как он подытоживает, «так что я должен делать, когда не уверен, как мне поступить с точки зрения морали? Философы обращают мало внимания