Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан

2017 года на всемирной конференции сторонников эффективного альтруизма в Лондоне Макаскилл завершил выступление предупреждением. Он размышлял о том, как «создать общество и культуру, открытые новому, готовые менять образ мыслей». Он предупредил: превращение веры в догму – путь к краху движения, если появятся обязательные для всех воззрения. «Мы все согласны, что это плохо, – сказал он, – но создать культуру без этого чрезвычайно трудно».

Весной 2018 года на следующей конференции в Сан-Франциско Макаскилл выступил с более оптимистичной речью о том, «как эффективный альтруизм может сохранять любопытство».

Во время прогулки по лугу около колледжа Крайст-Черч я спросил Макаскилла о перспективе наделить ИИ с человекоподобными возможностями заранее заданной целевой функцией. «Да, – ответил он. – Я думал: „У нас только один шанс. Мы должны закодировать правильные ценности, и все готово!“ Этические проблемы сложны. Очевидно, нам нужна гибкость».

Он пояснил: разные моральные взгляды сильно расходятся в том, каков «хороший результат». Например, гедонистическая позиция считает смоделированное сознание не хуже естественного, а утилитарная настаивает, что мозг должен быть из плоти и крови. Это похожие теории, но они расходятся в том, как использовать человеческие амбиции во Вселенной. «Это будет война „нарциссизма малых различий“, но ставки будут космическими».

Однако конкурирующие моральные теории могут найти общее в том, на что тратить настоящее. Макаскилл называет это долгим размышлением – периодом, который может длиться миллионы лет. Мы можем решать проблемы ИИ и другие сложности, оставаясь относительно малыми по космическим меркам и пытаясь разобраться в своих ценностях.

«Одна из наших главных целей сейчас – сохранить общество, открытое самым разным моральным возможностям», – говорит Макаскилл. Это похоже на «сохранение достижимой полезности»: мы продолжаем преследовать разные цели для отдаленного будущего, даже если сейчас не знаем, какими они должны быть.

«Возможно, это настолько трудно, что потребует миллиона лет», – заметил Макаскилл.

«А может, стоит потратить миллион лет, чтобы сделать все правильно», – предположил я.

«Стоит, потому что это малая цена за правильные действия. Если мы заселим звезды, неся безнравственность, ценность наших достижений будет нулевой. Неверные моральные представления – риск глобальной катастрофы» [785], – заключил он.

Через коридор от Центра эффективного альтруизма находится оксфордский Институт будущего человечества, основанные Ником Бостромом. Одно из его ранних эссе – «Астрономические потери». Подзаголовок к нему гласит: «Альтернативные издержки отложенного технического развития».

Бостром рисует почти исступленное ощущение спешки: «Пока я пишу эти слова, солнца освещают и согревают пустые комнаты, энергия поглощается черными дырами, и наше общее достояние необратимо разрушается из-за энтропии в космическом масштабе. Это ресурсы, которые продвинутая цивилизация могла бы использовать для создания ценностей, например разумных существ, ведущих осмысленную жизнь. Уровень потерь поражает воображение».

Он оценивает: каждая секунда промедления в развитии космической цивилизации равна потере сотен триллионов человеческих жизней, которые могли бы существовать, если бы мы быстрее использовали энергию и материю.

Но как только прагматик решает, что технический прогресс важнее всего, эссе Бострома делает резкий поворот: «Подумайте, что будет, если мы вообще не достигнем этого будущего». Расчеты показывают: повышение шансов на успешное построение процветающей цивилизации на 0,1 % эквивалентно ускорению прогресса на десять миллионов лет. Значит, спешить не нужно.

Пол Кристиано размышлял над этими вопросами с 2010–2011 годов: «Сперва этот аргумент показался мне достаточно странным. Он сбивал с толку, но потом я осознал его и, можно сказать, купился» [786]. Собственные расчеты Пола были готовы в 2013–2014 годах. Он проверил математику Бострова и пришел к выводу: «Для отдельного ученого легче уменьшить риск исчезновения цивилизации на одну миллионную долю, чем ускорить прогресс на тысячу лет». Так он впоследствии и жил.

Создание сверхчеловеческого ИИ – один из необратимых шагов с серьезными последствиями. Сохранять неопределенность, неуверенность и открытость важно только для машин, но и для исследователей.

Бак Шлегерис из Института исследований машинного интеллекта вспоминал разговор о «волшебной кнопке» после Сингулярности: нажатие превратило бы человечество в однородную массу, оптимизированную для счастья (гедонизм). «Несколько лет назад я сам выступал за это, – признался он. – Теперь я не уверен. Возможно, это была бы хорошая идея, а может, и нет. Что делать, когда никто не знает?» [787]

«Я считаю, люди не должны нажимать такие кнопки», – заключил Шлегерис [788].

Заключение

Я думаю, что нечеткость играет гораздо более значимую роль в теории познания, чем принято считать на основании большинства существующих работ. Все обладает нечеткостью, однако мы не осознаем ее степени до тех пор, пока не пытаемся что‐либо прояснить. В то же время все строго определенное настолько далеко от тех представлений, с которыми мы обычно оперируем в мыслях, что невозможно даже на миг представить, что именно мы имеем в виду, когда формулируем свои мысли. Используя методы анализа и рефлексии, о которых я говорю, и двигаясь от нечеткого к точному, вы неизменно сталкиваетесь с риском допустить ошибку.

Бертран Рассел [789]

Излишняя оптимизация – корень всех зол.

Дональд Кнут [790]

В сочельник мы с женой приехали к моим родителям. Среди ночи я проснулся в испарине. Сначала я подумал, что просто слишком тепло укрылся. Сбросил одеяло, снял рубашку – но дело было не во мне. Осознание пришло внезапно, на стыке тревоги и ужаса: в комнате стояла невыносимая жара. Меня вдруг пронзила мысль – неужели пожар?

Я открыл дверь. В доме было темно и тихо. Воздух в коридоре оказался холодным.

Постепенно до меня дошло, что произошло. На верхнем этаже располагались две гостевые спальни и всего одна панель термостата – в незанятой комнате. Дверь в нашу спальню была закрыта, а в соседнюю – распахнута.

На дворе стояла типичная для Новой Англии морозная ночь, когда температура опускается ниже нуля. Система отопления подавала горячий воздух в обе спальни. Но из-за открытой двери в комнату с термостатом температура там никак не могла стабилизироваться – независимо от того, насколько интенсивно система нагревала воздух. Наша комната, отделенная от остального дома, получала тот же объем горячего воздуха, который система тратила на обогрев всего здания.

Что может быть проще термостата? В самом деле, он служит классическим примером простейшей замкнутой регулирующей системы – можно даже назвать его хрестоматийным кибернетическим образцом. Это скромный, непритязательный механический прибор, в котором нет и следа машинного обучения. Однако проблема выравнивания появилась во всей полноте – буквально заставила меня обливаться потом.

Во-первых, вы измеряете не то, что хотите измерить. Я стремился отрегулировать температуру в своей комнате, но мог контролировать ее только в другой комнате. Мне и в голову не пришло, что эти показатели никак не связаны – пока одна дверь закрыта,