Революция разума: на подступах к Сингулярности. Как технологии изменят общество и сознание - Рэймонд Курцвейл

нанотехнологий пока не было зафиксировано воплощения угроз, подобных «серой слизи», а у нас уже имеется теоретический план действий даже на случай продуманной двухэтапной атаки. Но самая серьезная опасность – по сути, фундаментальная угроза – исходит от сверхмощного искусственного интеллекта. Это связано с тем, что, когда ИИ станет умнее своих создателей, он теоретически сможет обойти любые предусмотренные нами защитные меры. Невозможно заранее предложить общую стратегию, которая гарантировала бы нам успех в борьбе с этой угрозой.

Существуют три основные категории причин, по которым мощный ИИ может демонстрировать нежелательное поведение. Их тщательное изучение поможет по крайней мере снизить уровень грозящей нам опасности. Первая категория – злоупотребление. Это ситуация, когда ИИ действует в строгом соответствии с желаниями операторов, но сами операторы намеренно причиняют вред другим людям56. Например, террористы могут воспользоваться ИИ для создания вируса, способного вызвать разрушительную эпидемию.

Второй проблемой может стать так называемое «внешнее рассогласование» – несоответствие реальных намерений программистов задачам, которые они ставят перед ИИ в надежде достичь своих целей57. Это классическая проблема, описанная в сказках о джиннах. Очень сложно объяснить, чего вы хотите, тому, кто воспринимает ваши слова буквально. Представьте, что программисты дадут команду ИИ создать вирус, который уничтожит все клетки с определенной онкогенной мутацией в ДНК. Они надеются таким образом излечить людей от рака. Однако они не учли, что мутация может затронуть и множество здоровых клеток, так что вирус просто убьет зараженных пациентов.

Наконец, «внутреннее рассогласование» возникает, когда методы, которые ИИ использует для достижения поставленных целей, приводят к нежелательным результатам, по крайней мере в отдельных случаях58. Например, если нейросеть обучают выявлять генетические изменения, характерные для раковых клеток, она может обнаружить структуры, которые присутствуют в тренировочной выборке, но не встречаются в реальном мире. Так может случиться, к примеру, если клетки из обучающего набора долго хранились при пониженной температуре и нейросеть научилась распознавать связанные с этим небольшие генетические изменения. Если на основе этой информации создать вирус, уничтожающий клетки, он не сможет вылечить пациентов. Это лишь один из простых примеров, но по мере роста сложности задач, с которыми сталкивается ИИ, нам будет все труднее избегать рассогласования.

В наши дни идут активные исследования, чтобы найти пути предотвращения обоих типов рассогласования. Хотя многое еще предстоит выяснить, уже существуют многообещающие теоретические разработки. В одном из подходов, называемом «имитационным обобщением», предполагается обучать ИИ подражать человеческим рассуждениям в надежде таким образом сделать его поведение в незнакомых ситуациях более предсказуемым и безопасным59. Метод «обучения через дебаты» строится на том, что конкурирующие системы ИИ будут указывать друг другу на недостатки в рассуждениях. По вопросам, которые слишком сложны для их самостоятельной оценки, арбитрами будут выступать люди60. При «итерационном развитии» более простые системы ИИ будут помогать людям создавать хорошо согласованные системы мощного ИИ. Повторяя этот процесс, можно будет создать ИИ, чье поведение будет намного более согласованным, чем если бы его тренировали только люди61.

Хотя задача создания дружественного ИИ очень сложна62, мы не останемся с ней один на один: при грамотном подходе мы сможем использовать сам ИИ для расширения наших возможностей по его нравственному обучению. То же самое касается проектирования систем ИИ, которые не допустят злоупотребления. В примере из области биоинженерии, рассмотренном ранее, правильно откалиброванный ИИ распознает вредоносный запрос и откажется его выполнять. Однако нам все равно необходимо установить этические рамки для использования ИИ. Для этого нужно принять строгие международные законы, которые будут регламентировать безопасное и добросовестное развертывание систем ИИ.

За последние десять лет ИИ стал настолько мощным, что предотвращение его неправомерного использования стало приоритетной задачей международного сообщества. В последние годы наблюдаем скоординированные усилия по разработке этического кодекса в этой области. В 2017 году я посетил Асиломарскую конференцию по дружественному ИИ, которая была организована в том же месте, где четыре десятилетия назад были приняты важные положения по безопасному использованию биотехнологий63. На этом симпозиуме был утвержден ряд полезных принципов, и я с радостью поставил свою подпись под этим решением. Однако даже если большая часть мира будет придерживаться этих принципов, несложно представить, что организации со взглядами, далекими от демократических, отрицающие идеи свободного самовыражения, все равно могут попытаться использовать ИИ в своих целях. Структуры, обладающие огромным военным потенциалом, не стали подписывать это соглашение, при том что в прошлом они неоднократно становились первопроходцами в разработке и внедрении передовых технологий. К слову, появлением интернета мы обязаны Агентству передовых оборонных исследовательских проектов (DARPA)64.

Тем не менее асиломарские принципы положили начало эпохе ответственной разработки ИИ, задав верное направление для отрасли. В шести из двадцати трех статей принятого документа упоминаются «гуманитарные ценности». Например, в статье 10 под названием «Учет ценностей» говорится: «Высокоавтономные системы ИИ должны быть спроектированы таким образом, чтобы в течение всего периода работы их цели и поведение гарантированно соответствовали гуманитарным ценностям»65.

Другой важный документ, известный как «Обязательство по автономным системам летального вооружения», следует аналогичной идее: «Мы, нижеподписавшиеся, убеждены, что право принимать решение о лишении жизни никогда не должно быть предоставлено машине. Это основополагающее требование нашей морали – не допускать, чтобы машина принимала решения, ведущие к гибели людей, при том что ответственность за эту гибель понесут другие люди либо вовсе никто»66. Несмотря на то что этот документ, содержащий требование запретить создание автономных летальных вооружений, подписали такие известные личности, как Стивен Хокинг, Илон Маск, Мартин Рис и Ноам Хомский, первые лица военных ведомств некоторых стран, включая США, Россию, Великобританию, Францию и Израиль, отказались поставить подпись.

Военные США не придерживаются указанных принципов, но у них есть собственная директива, согласно которой системы вооружений, нацеленные на людей, должны работать под управлением людей67. В 2012 году Пентагон выпустил распоряжение, в котором говорится, что «автономные и полуавтономные системы вооружений должны быть разработаны таким образом, чтобы у командира или оператора был должный уровень контроля над применением силы»68. В 2016 году заместитель министра обороны США Роберт Уорк заявил, что армия США «не будет передавать машинам полномочия по принятию решения об открытии огня на поражение»69. Он, однако, допустил, что в будущем эта политика может быть пересмотрена, если возникнет необходимость конкурировать с другим государством, «готовым передать машине больше полномочий, чем военные США»70. Я участвовал в обсуждениях, связанных с разработкой этой политики, а также в работе группы экспертов по противодействию биологическим опасностям.

В начале 2023 года по итогам международной конференции, в ходе которой состоялся конструктивный диалог с