Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан

7

Anderson and Rosenfeld, Talking Nets.

8

Anderson and Rosenfeld, Talking Nets. Видимо, имелась в виду книга Карнапа «Преодоление метафизики логическим анализом языка» (Logische Syntax der Sprache), хотя некоторые источники называют «Логическую структуру мира» (Der logische Aufbau der Welt).

9

В зависимости от точной даты их знакомства, возможно, Питтсу уже было восемнадцать (а Летвину двадцать). Маккаллок пишет: «В 1941 году я представил свои размышления о потоке информации через ряды нейронов на семинаре Рашевского на факультете математической биологии Чикагского университета и познакомился с Уолтером Питтсом, которому тогда было около семнадцати». См. McCulloch, The Collected Works of Warren S. McCulloch, с. 35–36.

10

Некоторые истоки этих мыслей предвосхищают совместную работу Маккаллока и Питтса; см. McCulloch, Recollections of the Many Sources of Cybernetics.

11

Мак-Каллок У. С., Питтс В. Логическое исчисление идей, относящихся к нервной активности // Нейрокомпьютер. – 1992. – № 3, 4. – с. 40–53.

12

См. Piccinini, The First Computational Theory of Mind and Brain, and Lettvin, Introduction to McCulloch, The Collected Works of Warren S. McCulloch.

13

В докладе Джона фон Неймана об ЭДВАК (электронном автоматическом вычислителе с дискретными переменными) – первом в истории описании компьютера с хранимой в памяти программой – на 101 страницу текста приходится лишь одна ссылка: на статью Маккаллока и Питтса 1943 года. (См. Neumann, First Draft of a Report on the EDVAC. К слову, в фамилии Маккаллока фон Нейман сделал опечатку.) Фон Нейман был увлечен их доказательствами и в разделе «Нейронные аналогии» рассматривал практическое применение вычислительных устройств, появление которых предвидел. «Очевидно, что эти нейронные функции в упрощенном виде могут имитироваться с помощью телеграфных реле или вакуумных электронных ламп, – писал он. – Поскольку соединения этих ламп должны передавать числа посредством цифр, вполне естественно использовать арифметическую систему, где цифры имеют два значения. А это предполагает использование бинарной системы». Все мы знаем, во что превратились эти бинарные машины с хранимыми в памяти программами, построенные на базе логических элементов. Это компьютеры, которые распространились настолько, что сегодня их количество превышает численность людей на планете.

И, тем не менее, эта архитектура, вдохновленная строением головного мозга, быстро вышла за рамки «нейронной аналогии». Многие задавались вопросом: могут ли существовать машины, более близкие по своей архитектуре к мозгу? Такие, где использовался бы не один-единственный процессор, которому на огромной скорости поочередно «скармливают» четкие логические инструкции, а распределенная сеть из относительно простых, однотипно действующих ячеек, чья совокупная эффективность превышает простую сумму действий ее базовых компонентов. Возможно, даже не полностью бинарная, а наделенная той долей неупорядоченности, которую взял на вооружение Летвин, но которой избегал Питтс. Время от времени появлялись специализированные аппаратные средства для параллельной обработки нейронных сетей (включая перцептрон Mark I Фрэнка Розенблатта), но, как правило, это были уникальные, штучные устройства. Настоящая аппаратная революция, сделавшая возможным масштабное параллельное обучение нейросетей на базе графических процессоров (GPU), произошла лишь несколько десятилетий спустя – в середине 2000‐х годов.

14

Mikolov, Sutskever, and Le, Learning the Meaning Behind Words.

15

Mikolov, Yih, and Zweig, Linguistic Regularities in Continuous Space Word Representations.

16

Интервью автора с Толгой Болукбаси, 11 ноября 2016.

17

Интервью автора с Адамом Калаи, 4 апреля 2018.

18

В январе 2017 года компания Northpointe слилась с CourtView Justice Solutions и Constellation Justice Systems. Они переименовали себя в equivant (со строчной буквы) и открыли штаб-квартиру в Огайо.

19

«Эти проверки зачастую проводят те же самые люди, которые разработали инструмент» (Desmarais and Singh, Risk Assessment Instruments Validated and Implemented in Correctional Settings in the United States).

20

Angwin et al., Machine Bias.

21

Rensselaer Polytechnic Institute, A Conversation with Chief Justice John G. Roberts, Jr.

22

Эту шутку придумал руководитель программы Сэми Бенджио во время вступительного слова на конференции 2017 года, см. https://media.nips.cc/Conferences/NIPS2017/Eventmedia/opening_remarks.pdf. Тринадцать тысяч участников посетили конференцию в 2019 году, см. https://huyenchip.com/2019/12/18/key-trends-neurips‐2019.html

23

Bolukbasi et al., Man Is to Computer Programmer as Woman Is to Homemaker?

24

VPN (VPN-сервис) – С ноября 2022 г. на территории Российской Федерации запрещено распространять информацию о VPN-сервисах с целью доступа к запрещенному контенту. Научная, научно-техническая и статистическая информация о VPN-сервисах для обхода блокировок признана запрещенной в России, исключением является информация о VPN для обеспечения защищенного удаленного доступа. – Прим. ред.

25

Интервью автора с Дарио Амодеем 24 апреля 2018 года.

26

Эта хорошо запоминающаяся формулировка взята из классической статьи Керра On the Folly of Rewarding A, While Hoping for B.

27

Официальное сообщение компании Open AI об инциденте с гоночной лодкой можно увидеть в статье Clark and Amodei, Faulty Reward Functions in the Wild.

28

New Navy Device Learns by Doing.

29

«Немногие теоретики, – жаловался Розенблатт, – волнуются о том, как настроить неидеальную нейронную сеть, содержащую множество случайных связей, так, чтобы она идеально выполняла свои функции, представленные с помощью схем соединений». См. Rosenblatt, The Perceptron.

Розенблатта вдохновила работа канадского нейропсихолога Дональда Хебба конца 1940‐х годов; см. Hebb, The Organization of Behavior. Хебба считал, что «между клетками, которые работают одновременно, возникает прочная связь». Его идея в том, что актуальные связи между нейронами отличаются у разных людей и изменяются в связи с их опытом. Таким образом, в некоем фундаментальном смысле обучение – это изменение этих связей. Розенблатт применил это на практике, сделав машину, состоящую из математических или логических «нейронов» и способную обучаться.

30

Bernstein, A.I.

31

New Navy Device Learns by Doing.

32

Rival.

33

Andrew, Machines Which Learn.

34

Розенблатт, Ф. Принципы нейродинамики: Перцептроны и теория механизмов мозга = Principles of Neurodynamic: Perceptrons and the Theory of Brain Mechanisms. – М.: Мир, 1965.