Бессовестная машина. Можно ли научить ИИ эмпатии, состраданию и другим человеческим ценностям? - Брайан Кристиан

в 10 раз больше картинок, и она сделает в 10 раз больше ошибок. Но в имитационном обучении все хуже. Одна ошибка приводит систему в незнакомое состояние, где прогнозы становятся бессмысленными, что ведет к ошибкам. Здесь зависимость квадратичная: работа в 10 раз дольше приведет к 100‐кратному росту ошибок [585]. Теоретический вывод был неутешительным, но он подсказал направление: можно ли найти способ вернуть задачу в безопасную зону линейных ошибок? В какой момент вероятность аварии увеличивается всего в 10 раз, если ехать в 10 раз дольше? «Мы отправились на поиски священного Грааля, не иначе», – говорил исследователь.

Как оказалось, они его нашли. Ключом стало взаимодействие. Ученик должен не только наблюдать, но и иметь возможность обратиться к учителю: «Эй, я попытался сделать как ты, но получается плохо. Что делать в такой ситуации?»

Росс придумал два способа внедрить такое взаимодействие в SuperTuxKart [586]. Первый: пока нейросеть (поначалу ужасно) вела Тукса по трассе, Росс держал джойстик и двигал им так, как надо было бы рулить в этот момент. Система записывала «идеальные» команды для тех «плохих» ситуаций, в которые она сама себя загоняла.

Второй способ: управление случайно переключалось между Россом и нейросетью. «Это как будто ты играешь, а в какой‐то момент руль перехватывает нейросеть. Со временем ты управляешь все реже, но всегда готов вмешаться». Это ощущалось странно, неестественно, но работало. «Машина начинает вилять, ты ее ловишь… – усмехается Росс. – Потом она все реже ошибается, и ты вдруг перестаешь замечать, кто сейчас рулит».

Самым удивительным стало то, что этот метод (Росс назвал его DAgger – Dataset Aggregation) требовал невероятно мало данных. При пассивном наблюдении нейросеть была одинаково беспомощна и после тысячи кадров, и после миллиона. Но с методом DAgger она начинала ехать идеально уже к третьему кругу. «Когда мы этого добились, – рассказывал Росс, – я подумал: „Ух ты, это действительно круто!“ Это работает на порядок лучше стандартного подхода».

Получив докторскую степень, Стефан Росс сменил виртуальные трассы SuperTuxKart на реальные улицы Маунтин-Вью, где теперь возглавляет группу прогнозирования компании Waymo, которая занимается беспилотными автомобилями. Он учит машины предсказывать действия других водителей и пешеходов. «Уровень надежности здесь нужен на порядок выше. Модель должна работать всегда, 99 % времени – это недостаточно хорошо». Задача сложная, но вдохновляющая. «Это один из тех проектов, где успех может реально сделать мир лучше. Одной этой мысли достаточно, чтобы продолжать работать».

Хотя метод DAgger теоретически считается золотым стандартом, на практике не очень удобно бороться с настоящей машиной за руль, чтобы научить ее ездить. Есть и более простые способы, которые хорошо работают в реальности.

В 2015 году группа швейцарских робототехников применила остроумный подход для обучения дрона, который должен был летать по лесным тропам в Альпах, не теряясь. Вместо того чтобы пытаться программировать правила («тропа – это коричневая полоса среди зеленого»), они обучили систему напрямую преобразовывать картинку в команду моторам. На входе – пиксели (деревья и грязь), на выходе – «влево», «вправо» или «прямо». Годы исследований компьютерного зрения и ручного написания фильтров были заменены одной нейросетью.

Чтобы научить дрон исправлять ошибки, они использовали хитрость. На голову туристу надели не одну, а три камеры GoPro: одну прямо, другие – налево и направо. Турист шел по тропе, стараясь не вертеть головой. Данные с центральной камеры учили дрон: «когда видишь такое – лети прямо». Данные с левой камеры (которая смотрела в лес слева от тропы) учили: «когда видишь такое – поворачивай вправо». Данные с правой камеры учили поворачивать влево. Нейросеть обучили на этих данных и запустили дрон в лес. Он прекрасно справился, летая над тропинками. Главный урок: нужно не просто показать идеальный путь, но и дать данные о том, как вернуться на него, если сбился.

В 2016 году исследователи NVIDIA (Холмдел, штат Нью-Джерси) применили тот же трюк с тремя камерами на реальном автомобиле Linkoln MKZ. Получился многочасовой видеоматериал, показывающий, как выглядит окружение, когда машина слегка отклоняется от курса. Команда «скормила» эти данные системе, велев повторять за водителем и оставаться в пределах центральной полосы. После 72 часов обучения на видеозаписях машина уверенно ехала по извилистым дорогам и шоссе, не требуя вмешательства водителя. На видео, выпущенном командой, видно, как машина выезжает на магистраль, и сотрудник восклицает: «Она все еще едет сама?! Выглядит отлично». Он даже добавил, что автопилот ведет себя лучше, чем большинство живых водителей в Нью-Джерси [587].

В этой истории есть два забавных совпадения. Во-первых, то самое здание в Нью-Джерси, откуда выезжала машина NVIDIA, в конце 80‐х принадлежало Bell Labs. Именно там Ян Лекун изобрел сверточные нейросети и алгоритм обратного распространения ошибки – технологии, которые сегодня управляют этими самыми машинами [588]. Во-вторых, я сам учился водить именно на дорогах округа Монмут в Нью-Джерси, регулярно проезжая мимо того здания. И, честно говоря, я бы хотел, чтобы спустя 17 лет за рулем я чувствовал себя так же уверенно и безопасно, как эта нейросеть после 72 часов обучения.

На краю обрыва: поссибилизм против актуализма

Поступок должно совершать пусть не такой высокий, зато соответствующий твоим силам и возможностям, а не превышающий их и потому невыполнимый… Мы не должны присваивать себе поступки, принадлежащие тем, чьи духовные представления выше наших.

Айрис Мердок [589]

– Что бы ты делал на моем месте? – спросила она.

– Будучи тобой или мной?

– Мной.

– Именно то, что ты сейчас делаешь.

Роберт Хасс [590]

Если оставить в стороне вопрос исправления мелких ошибок, вторая проблема подражания как стратегии обучения состоит в том, что иногда вы просто не способны повторить то, что делает эксперт. В этом случае имитация означает, что вы беретесь за дело, которое не сможете довести до конца. И, возможно, вам вообще не стоит пытаться действовать как учитель.

И в реальной жизни, и в культуре полно примеров того, как новичок слепо копирует мастера, и это часто заканчивается катастрофой.

Как объясняет Гарри Каспаров [591]: «Игроки, даже любители-разрядники, тратят часы на заучивание любимых дебютов. Эти знания могут быть бесценны, но порой становятся ловушкой… Механическое запоминание, каким бы впечатляющим оно ни было, бесполезно без понимания. В какой‐то момент такой игрок добирается до дна своей памяти и остается без готового решения в позиции, которую на самом деле не понимает».

Каспаров вспоминает, как тренировал 12‐летнего шахматиста и разбирал начало одной из его партий. На вопрос, почему тот сделал особенно рискованный и спорный ход в сложном дебюте, мальчик ответил: «Так сыграл Вальехо!» «Конечно, я знал, что испанский гроссмейстер недавно