Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан

Даже если специалисты по ИИ и этике избегут очевидных катастроф, им предстоит бороться с нарастающим формализмом. При этом сами люди – их жизни, воображение, тела – будут формироваться этими моделями.

Это обратная сторона знаменитого манифеста робототехники Родни Брукса: «Мир – лучшая модель самого себя». Сегодня это становится правдой, но не так, как предполагал Брукс: лучшая модель мира замещает сам мир и угрожает реальности.

Мы должны позаботиться о том, чтобы не игнорировать то, что непросто представить в количественной форме или превратить в модели. Перефразируя Ханну Арендт [828]: проблема не в том, что наши модели фальшивы, а в том, что они могут стать истиной.

В естественных науках это не так критично: механика Ньютона не «убрала» перигелий Меркурия, который позже объяснил Эйнштейн. Но в человеческих делах такая опасность реальна.

В 2018 году беспилотный автомобиль Uber сбил Элейн Херцберг в Темпе (Аризона). Расследование показало, что система не распознала ее как пешехода, потому что она переходила улицу не по переходу [829]. Система не учитывала такой сценарий. Мы должны избежать мира, где системы не позволяют нам делать то, что не укладывается в их модели.

Возможно, именно по этой причине нам так нравится проводить время на природе [830]. Хотя естественная среда во многом сформирована под влиянием человека, она постоянно «расстраивает» наши классификации и модели. Как писал Герберт Рид: «Только людям, побывавшим в учениках у природы, можно доверить машины» [831].

Коллективное и институциональные решения все чаще опираются на формальные показатели. Для взаимодействия с системами требуется формальная модель поведения – либо усредненная, либо индивидуальная.

В этой книге мы видели мощь таких моделей, видели, как они ошибаются и как мы пытаемся выравнивать их с нашими интересами.

* * *

Несмотря на поводы для беспокойства, финал книги не должен быть мрачным.

Волнения об этике и безопасности в машинном обучении получили широкую поддержку. Выделяются средства, пересматриваются табу, периферийные вопросы выходят на первый план, возникают новые институты, формируется сообщество вдумчивых ученых. Сигналы тревоги услышаны, первые борцы с рисками уже действуют.

Проект выравнивания ИИ, несмотря на свои риски, внушает надежду. По мере развития систем, которые понимают не только явные команды, но и наши намерения и предпочтения, жесткие процедурные модели будут терять доминирование. Невыразимое больше не будет неизменно уступать явному. Будущие технологии усилят некоторые проблемы, но смягчат другие.

Мы говорили, что проект выравнивания может стать уникальным инструментов личного и общественного самопознания. Несправедливые модели (например, для досудебного заключения) высвечивают неравенство. Пристрастные языковые модели помогают измерить состояние нашей системы понятий и задать ориентиры для улучшений.

Прозрачные и объяснимые системы, обученные в реальном мире, позволяют увидеть и осмыслить то, что остается в тени. Изучая, как ИИ классифицирует мир и реагирует на него, мы узнаем новое о мире и о себе.

Перспектива создания общего искусственного интеллекта (ОИИ) дает шанс увидеть себя в зеркале. Возможно, изучая ОИИ, мы поймем, какие аспекты интеллекта универсальны, а какие уникальны для человека. Это пугает и вдохновляет, но лучше знать правду, чем придумывать ее.

Выравнивание принесет в мир сумятицу, но иначе и быть не может. Его история станет нашей историей – к лучшему или худшему.

* * *

14 января 1952 года BBC выпустила в эфир радиопрограмму с участием четырех знаменитых ученых: Алана Тьюринга (основателя информатики, автора легендарной статьи 1950 года), Ричарда Брейтуэйта (специалиста по философии науки), Джеффри Джефферсона (нейрохирурга) и Макса Ньюмана (математика и криптографа). Темой разговора был вопрос: «Могут ли автоматические вычислительные машины считаться думающими?»

Круглый стол начался с обсуждения того, как машины могут учиться и как люди могут их научить:

– Когда ребенок учится, родители и учителя постоянно корректируют его действия. Это не менее важно при обучении машины. Я провел эксперименты: чтобы достичь результатов, требовалось множество вмешательств. Машины учатся очень медленно, – сказал Тьюринг [832].

– Но кто же учится: вы или компьютер? – спросил Джефферсон.

– Ну… – протянул Тьюринг. – Сдается мне, что мы оба.

Благодарности

Нервная система, обладающая эффекторами, способна оставлять отметки – например, наносить чернила на бумагу. В любой момент она может увидеть эти отметки… При определенных условиях такие отметки превращаются в знаки, которые обозначают все, что представлено в сознании этой нервной системы. Благодаря аналогичному процессу обусловливания эти знаки начинают передавать тот же смысл и другим нервным системам. Таким образом, с помощью знаков процессы вычисления и умозаключения распределяются между множеством нервных систем одновременно и продолжаются вне всякой меры. Именно так развивается история языка, литературы, философии, логики, математики и физики.

Уоррен Маккаллок [833]

Эта книга возникла благодаря сотням бесед с разными людьми. Одни разговоры приходилось планировать за несколько месяцев, другие случались спонтанно. Для некоторых я преодолевал тысячи километров, другие состоялись благодаря передаче UDP-пакетов на те же тысячи километров, а третьи прошли буквально за углом. Одни беседы проходили в тихом кабинете со включенным диктофоном, другие – тихим шепотом в аудитории, а третьи – громко и эмоционально, за напитками. Одни разговоры состоялись в самых авторитетных институтах мира, другие – на тренировке по скалолазанию, третьи – в сауне или за обеденным столом. Одни больше напоминали интервью или устные истории, другие – деловой разговор в неформальной обстановке, третьи – непринужденную болтовню.

Идеи носят социальный характер: они рождаются постепенно, шаг за шагом, в диалоге, а не как продукт чьего‐то индивидуального ума. Каждый раз, когда в беседе возникала идея, которая, как я знал или предполагал, вероятно войдет в книгу, я старался ее записать. Я сделал множество таких заметок, но уверен, что не менее часто упускал возможность это сделать – за что искренне извиняюсь.

Тем не менее я убежден: именно беседы и обмен мнениями с определенными людьми сделали эту книгу такой, какой она получилась.

Питер Аббель, Ребекка Аккерман, Дэйв Экли, Росс Экзо Адамс, Блез Агуэра-и-Аркас, Джеки Алсине, Дарио Амодей, Маккейн Эндрюс, Джулия Энгвин, Стюарт Армстронг, Густаф Аррениус, Аманда Эскелл, Майянк Бансал, Дэниел Баркей, Солон Барокас, Рената Баррето, Эндрю Барто, Басия Бартц, Марк Беллемаре, Толга Болукбаси, Ник Бостром, Мало Бургон, Тим Бреннан, Майлс Брандейдж, Джоанна Брайсон, Кристер Биквист, Майя Чакмак, Райан Кэри, Джозеф Карлсмит, Рич Каруана, Рут Чанг, Александра Чулдехова, Рэнди Кристиан, Пол Кристиано, Джонатан Коэн, Кэтрин Коллинз, Сэм Корбетт-Дэвис, Меган Крист, Эндрю Критч, Фиери Кашмэн, Аллан Дефо, Раф Д’Амико, Питер Даян, Майкл Деннис, Шири Дори-Хакоэн, Анка Драган, Эрик Дрекслер, Рахит Дьюби, Синтия Дворк, Питер Экерсли, Джо Эдельман, Оуэн Эванс, Том Эверитт, Эд Фельтен, Дэниел