Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

описано в главе «Суперэкспоненциальное пространство понятий», возможных понятий экспоненциально больше, чем возможных объектов, точно так же как количество возможных объектов экспоненциально зависит от количества признаков. Если черно-белое изображение имеет размер 256 пикселей с каждой стороны, то всего на картинке 65 536 пикселей. Количество возможных изображений составляет 265 536. А количество возможных понятий, которые классифицируют изображения на положительные и отрицательные примеры — то есть количество возможных границ, которые можно провести в пространстве изображений, — составляет 22^65 536. Исходя из этого, мы видим, что даже обучение с учителем почти полностью зависит от индуктивного смещения, без которого потребовалось бы как минимум 265 536 классифицированных примеров, чтобы провести различие между 22^65 536 возможных понятий — даже если классификации со временем не меняются.

Так что давайте теперь снова вернемся к словам:

Сначала мы можем построить относительно простые машины, которые научатся распознавать счастье и несчастье по выражениям человеческих лиц, человеческим голосам и человеческому языку тела. Затем мы можем жестко закрепить результат этого обучения в качестве врожденных эмоциональных ценностей для более сложных разумных машин — так, чтобы они получали положительное подкрепление, когда мы счастливы, и отрицательное подкрепление, когда мы несчастны.

и

Когда станет возможно создать сверхразум, станет возможным и жестко встроить в него распознавание «выражений человеческих лиц, человеческих голосов и человеческого языка тела» (если воспользоваться моими словами, которые вы цитируете), точность которого превзойдет точность распознавания у современных людей, таких как мы с вами, и которое уж точно не удастся обмануть «крошечными молекулярными изображениями смайликов». Не стоит предполагать столь топорную реализацию моей идеи, которая не способна проводить различения, тривиальные для современных людей.

Отличить фотографию с изображением замаскированного танка от фотографии пустого леса тривиально — в том смысле, чтобы определить, что эти две фотографии не идентичны. Это разные массивы пикселей с разными единицами и нулями. Отличить их друг от друга так же просто, как проверить массивы на равенство.

Классификация новых фотографий на положительные и отрицательные примеры «улыбки» путем логического вывода на основе набора обучающих снимков, уже классифицированных как положительные или отрицательные, — это задача совсем другого порядка.

Когда у вас есть изображение размером 256×256 пикселей с реальной камеры, на котором, как оказывается, запечатлен замаскированный танк, в нем нет никакого дополнительного 65 537-го бита, обозначающего положительность, — нет крошечного XML-тега, гласящего: «Это изображение изначально положительное». Оно является положительным примером лишь относительно некоторого конкретного понятия.

Но для любого не-Огромного объема обучающих данных — любых обучающих данных, которые не содержат точную побитовую копию наблюдаемого сейчас изображения, — существует сверхэкспоненциально много возможных понятий, совместимых с предыдущими классификациями.

Для ИИ выбор или взвешивание среди сверхэкспоненциального множества вариантов — это вопрос индуктивного смещения. Которое может не совпадать с тем, что имеет в виду пользователь. Разрыв между этими двумя процессами классификации примеров — индукцией, с одной стороны, и реальными целями пользователя, с другой, — преодолеть далеко не просто.

Допустим, обучающие данные ИИ выглядят так:

Набор данных 1:

+: Улыбка_1, Улыбка_2, Улыбка_3

-: Хмурое_лицо_1, Кот_1, Хмурое_лицо_2, Хмурое_лицо_3, Кот_2, Лодка_1, Машина_1, Хмурое_лицо_5.

Теперь ИИ вырастает в сверхразум и сталкивается со следующими данными:

Набор данных 2:

: Хмурое_лицо_6, Кот_3, Улыбка_4, Галактика_1, Хмурое_лицо_7, Нанофабрика_1, Молекулярный_смайлик_1, Кот_4, Молекулярный_смайлик_2, Галактика_2, Нанофабрика_2.

То, что полученная в результате вывода классификация, которую вы предпочли бы, окажется именно такой:

+: Улыбка_1, Улыбка_2, Улыбка_3, Улыбка_4

-: Хмурое_лицо_1, Кот_1, Хмурое_лицо_2, Хмурое_лицо_3, Кот_2, Лодка_1, Машина_1, Хмурое_лицо_5, Хмурое_лицо_6, Кот_3, Галактика_1, Хмурое_лицо_7, Нанофабрика_1, Молекулярный_смайлик_1, Кот_4, Молекулярный_смайлик_2, Галактика_2, Нанофабрика_2.

а не такой:

+: Улыбка_1, Улыбка_2, Улыбка_3, Молекулярный_смайлик_1, Молекулярный_смайлик_2, Улыбка_4

-: Хмурое_лицо_1, Кот_1, Хмурое_лицо_2, Хмурое_лицо_3, Кот_2, Лодка_1, Машина_1, Хмурое_лицо_5, Хмурое_лицо_6, Кот_3, Галактика_1, Хмурое_лицо_7, Нанофабрика_1, Кот_4, Галактика_2, Нанофабрика_2.

— не является свойством этих наборов данных.

Обе эти классификации совместимы с обучающими данными. Число понятий, совместимых с обучающими данными, будет гораздо больше, поскольку сразу несколько разных понятий могут отбрасывать одну и ту же тень на объединенный набор данных. Если пространство возможных понятий включает в себя пространство возможных вычислений, классифицирующих примеры, то это пространство бесконечно.

Какую классификацию выберет ИИ? Это не внутреннее свойство обучающих данных; это свойство того, как именно ИИ осуществляет индукцию.

Какая классификация является верной? Это не свойство обучающих данных; это свойство ваших предпочтений (или, если угодно, свойство идеализированной абстрактной динамики, которую вы называете «правильной»).

Понятие, которое вы имели в виду, отбросило свою тень на обучающие данные, когда вы сами помечали каждый пример знаком «+» или «-», опираясь при этом на собственный разум и предпочтения. В этом и заключается суть обучения с учителем — предоставить ИИ размеченные обучающие примеры, которые проецируют тень причинно-следственного процесса, создавшего эти метки.

Но если обучающие данные не взяты из точно такого же контекста, что и в реальной жизни, они в некотором смысле будут «поверхностными» — проекцией гораздо более многомерного пространства возможностей.

ИИ никогда не видел крошечных молекулярных смайликов на этапе своего обучения, когда он был еще глупее человека, равно как и не видел крошечного агента со счетчиком счастья, установленным на гуголплекс. Теперь же вы, столкнувшись наконец с крошечным молекулярным смайликом — или, возможно, с очень реалистичной крошечной скульптурой человеческого лица, — сразу понимаете, что это не то, что вы хотите считать улыбкой. Но это суждение отражает неестественную категорию, граница классификации которой чутко зависит от ваших сложных ценностей. Именно ваши собственные планы и желания начинают действовать, когда вы говорите «Нет!».

Хиббард инстинктивно знает, что крошечный молекулярный смайлик — это не «улыбка», потому что понимает: он не хочет, чтобы его гипотетический ИИ занимался подобным. Если бы перед кем-то другим стояла иная задача, например классификация произведений искусства, этот человек мог бы счесть, что Мона Лиза очевидно улыбается (а не хмурится, к примеру), хотя это всего лишь краска.

Как показывает случай Терри Шиаво, технологии порождают новые пограничные случаи, которые ввергают нас в новые, по сути своей моральные дилеммы. Демонстрация ИИ изображений живых и мертвых людей, какими они были во времена Древней Греции, не поможет ему принять моральное решение о том, является ли отключение Терри от системы жизнеобеспечения убийством. Этой информации нет в наборе данных даже на уровне индукции! Случай Терри Шиаво поднимает новые моральные вопросы, апеллируя к новым моральным соображениям, о которых вам не пришлось бы задумываться при классификации фотографий живых и мертвых людей времен Древней Греции. Тогда никто не находился на системах жизнеобеспечения, продолжая дышать с наполовину разжиженным мозгом. Поэтому подобные соображения не играют