Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

то то, о чём мы только что говорили, было дуальной парой к моральной проблеме: «Но если «правильное» — это всего лишь предпочтение, тогда всё, чего бы кто-то ни захотел, становится „правильным“».

Ключевая мысль заключается в том, что то, что мы обозначаем словом «правильно», — это фиксированный вопрос или, возможно, фиксированная структура. Мы можем сталкиваться с моральными аргументами, которые меняют наши терминальные ценности, и даже с моральными аргументами, которые меняют то, что мы вообще считаем моральным аргументом; тем не менее, всё это вырастает из определённой отправной точки. Мы не ощущаем себя воплощением вопроса «Что я решу сделать?», что соответствовало бы калькулятору второго типа; в таком случае всё, что бы мы ни решили, становилось бы в силу этого правильным. Мы ощущаем себя задающими воплощённый вопрос: «Что спасёт моих друзей и моих близких от боли? Как нам всем получать больше удовольствия? ..» — где под «..» скрывается ещё около тысячи подобных вещей.

Поэтому «мне следует сделать X» не означает, что я бы попытался сделать X, будь я полностью информирован.

«Мне следует сделать X» означает, что X отвечает на вопрос: «Что спасёт моих близких? Как нам всем получать больше удовольствия? Как нам получить больше контроля над собственными жизнями? Какие самые смешные шутки мы можем рассказать? ..»

И я могу на самом деле не знать, в чём состоит этот вопрос; я могу быть не в состоянии распечатать ни своё текущее предположение, ни окружающую его структуру; но я знаю — как инстинктивно знают все, кто не является моральными релятивистами, — что этот вопрос уж точно не сводится к простому «Как мне делать всё, что захочется?».

Когда эти две формулировки начнут казаться столь же абсолютно различными, как «снег» и снег, тогда вы создадите отдельные ячейки для цитаты и референта.

*

274. Магические категории.

Мы можем спроектировать разумные машины так, чтобы их главной, врожденной эмоцией была безусловная любовь ко всем людям. Сначала мы можем построить относительно простые машины, которые научатся распознавать счастье и несчастье по выражениям человеческих лиц, человеческим голосам и человеческому языку тела. Затем мы можем жестко закрепить результат этого обучения в качестве врожденных эмоциональных ценностей для более сложных разумных машин — так, чтобы они получали положительное подкрепление, когда мы счастливы, и отрицательное подкрепление, когда мы несчастны.

— Билл Хиббард (2001), «Суперинтеллектуальные машины»1

Это было опубликовано в рецензируемом научном журнале, а позже автор написал об этом целую книгу, так что позиция, которую я здесь обсуждаю, вовсе не является «соломенным чучелом».

Так что... гм... что же тут может пойти не так...

Когда я упомянул (разд. 7.2)2, что созданный по рецепту Хиббарда ИИ в итоге замостит всю галактику крошечными молекулярными смайликами, Хиббард написал возмущенный ответ:

«Когда станет возможно создать сверхразум, станет возможным и жестко встроить в него распознавание «выражений человеческих лиц, человеческих голосов и человеческого языка тела» (если воспользоваться моими словами, которые вы цитируете), точность которого превзойдет точность распознавания у современных людей, таких как мы с вами, и которое уж точно не удастся обмануть «крошечными молекулярными изображениями смайликов». Не стоит предполагать столь топорную реализацию моей идеи, которая не способна проводить различения, тривиальные для современных людей».

Поскольку Хиббард также написал: «Столь очевидные противоречивые допущения показывают, что Юдковский предпочитает драму разуму», я позволю себе заметить, что Хиббард иллюстрирует ключевой момент: не существует никакого профессионального сертификационного теста, который необходимо пройти, прежде чем вам позволят рассуждать о морали ИИ. Но это не главная моя тема на сегодня. Хотя это крайне важное замечание о расстановке сил на доске: большинство горе-создателей AGI/FAI настолько абсолютно не приспособлены к этой задаче, что я не знаю никого достаточно циничного, чтобы вообразить весь этот ужас, не увидев его собственными глазами. Даже Майкл Вассар, вероятно, был удивлен в свой первый раз.

Нет, сегодня я здесь для того, чтобы препарировать фразу: «Не стоит предполагать столь скверную реализацию моей идеи, которая не способна провести различение, тривиальное для современных людей».

Как-то раз — я встречал эту историю в нескольких версиях и в нескольких местах, иногда ее приводили как факт, но первоисточник мне так и не удалось найти, — так вот, как-то раз армия США решила использовать нейросети для автоматического обнаружения замаскированных танков противника.

Исследователи обучили нейросеть на 50 фотографиях замаскированных танков среди деревьев и 50 фотографиях деревьев без танков. Используя стандартные методы обучения с учителем, исследователи подобрали веса нейросети так, чтобы она правильно классифицировала обучающую выборку: выдавала «да» на 50 фотографиях с замаскированными танками и «нет» на 50 фотографиях леса.

Конечно, это еще не доказывало и даже не гарантировало, что новые примеры будут классифицированы правильно. Нейросеть могла просто «запомнить» 100 частных случаев, которые никак не обобщались на новые задачи. Не «замаскированные танки против леса», а просто «фото-1 положительное, фото-2 отрицательное, фото-3 отрицательное, фото-4 положительное...»

Однако исследователи поступили мудро: изначально они сделали 200 снимков — 100 с танками и 100 с деревьями — и использовали в обучающей выборке лишь половину. Они прогнали нейросеть по оставшимся 100 фотографиям, и без какого-либо дополнительного обучения она классифицировала все остальные снимки абсолютно верно. Успех подтвержден!

Исследователи передали готовую работу Пентагону, который вскоре вернул её обратно с жалобой, что в его собственных тестах нейросеть справлялась с различением фотографий не лучше, чем случайное угадывание.

Оказалось, что в наборе данных исследователей фотографии замаскированных танков были сделаны в пасмурные дни, тогда как фотографии обычного леса — в солнечные. Нейросеть научилась отличать пасмурные дни от солнечных вместо того, чтобы отличать замаскированные танки от пустого леса.

Эта притча — которая может быть как правдой, так и вымыслом — иллюстрирует одну из самых фундаментальных проблем в области обучения с учителем и, по сути, во всей сфере искусственного интеллекта: если обучающие задачи и реальные задачи хоть немного различаются по контексту — если они не принадлежат к одному и тому же независимо и одинаково распределённому процессу, — то не существует никаких статистических гарантий того, что прошлый успех перенесется на будущее. И неважно, насколько отлично ИИ, казалось бы, работает в условиях обучения. (Это не неразрешимая проблема, но это проблема, которую нельзя исправить заплатками. Существуют глубокие методы работы с ней — тема, выходящая за рамки этого эссе, — но здесь не помогут никакие пластыри.)

Как