Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

не с постоянной, а с ускоряющейся скоростью — из-за того, как инновации объектного уровня открывают путь для других инноваций объектного уровня. Но это ускорение происходит при наличии защищённого метауровня, который и выполняет реальную оптимизацию. Это похоже на поиск, прыгающий с острова на остров в пространстве поиска, где хорошие острова обычно соседствуют с ещё лучшими, но сам прыгун не меняет ног. Время от времени нескольким крошечным изменениям удаётся пробиться обратно на метауровень — как в случае с сексом или наукой, — и тогда история оптимизации вступает в новую эпоху, и с этого момента всё движется быстрее.

Представьте себе экономику без инвестиций, университет без языка или технологию без инструментов для создания инструментов. Раз в сто миллионов лет или раз в несколько веков кто-то изобретает молоток.

Вот как до сих пор выглядела оптимизация на Земле.

Когда я смотрю на историю Земли, я не вижу историю оптимизации во времени. Я вижу историю, где на входе — сила оптимизации, а на выходе — оптимизированные продукты. До сих пор благодаря существованию почти полностью защищённых метауровней было возможно делить историю оптимизации на эпохи и внутри каждой эпохи строить график совокупной оптимизации объектного уровня во времени, поскольку защищённый уровень работает на заднем плане и сам по себе не меняется внутри эпохи.

Что произойдёт, когда вы создадите полностью замкнутый, рекурсивно самосовершенствующийся ИИ? Тогда вы возьмёте график «сила оптимизации на входе, оптимизированный продукт на выходе» и свернёте этот график сам на себя. Выражаясь метафорически.

Если ИИ слаб, он ничего не делает, потому что он недостаточно силён, чтобы существенно улучшить себя — это всё равно что предложить шимпанзе переписать собственный мозг.

Если же ИИ достаточно силён, чтобы переписать себя таким образом, который увеличит его способность вносить дальнейшие улучшения, и это распространится вплоть до полного понимания ИИ своего собственного исходного кода и своей собственной архитектуры как оптимизатора... тогда, даже если график «сила оптимизации на входе / оптимизированный продукт на выходе» будет выглядеть практически так же, график оптимизации во времени станет выглядеть совершенно иначе, чем вся история Земли до сих пор.

Люди часто говорят что-то вроде: «Но что если для получения лишь линейного улучшения потребуются экспоненциально большие объёмы самоперезаписи?» На это есть очевидный ответ: «Естественный отбор прикладывал примерно постоянную силу оптимизации к линии гоминид в процессе «выплёвывания» людей, и, похоже, это не потребовало экспоненциально большего времени для каждого линейного прироста улучшений».

Всё это — пока лишь рассуждения по аналогии. Полноценный сильный искусственный интеллект, размышляющий о природе оптимизации, проводящий собственные исследования в области ИИ и переписывающий собственный исходный код, на самом деле не похож на свернувшийся сам на себя график истории Земли. Это совершенно другой зверь. Эти аналогии в лучшем случае годятся для качественных прогнозов, да и то у меня есть масса других убеждений, которые я ещё не объяснил и которые подсказывают мне, какие именно аналогии следует проводить, и так далее.

Но если вы хотите знать, почему я столь неохотно экстраполирую график биологического и экономического роста во времени в будущее, за горизонт ИИ, который мыслит на транзисторных скоростях, изобретает самовоспроизводящиеся молекулярные нанофабрики и улучшает собственный исходный код, то вот в чём причина: вы рисуете не тот график. Это должен быть график «сила оптимизации на входе / оптимизированный продукт на выходе», а не «оптимизированный продукт / время».

*

146. Призраки в машине. Люди слышат о Дружественном ИИ и говорят — это одна из трех самых типичных первых реакций:

«О, вы можете попытаться велеть ИИ быть Дружественным, но если ИИ может изменять собственный исходный код, он просто уберет любые ограничения, которые вы попытаетесь на него наложить».

И откуда берется это решение?

Разве оно приходит извне причинности, а не является следствием закономерной причинной цепочки, берущей начало в исходном коде, каким он был написан изначально? Неужели ИИ — это первоисточник своей собственной свободной воли?

Дружественный ИИ — это не эгоистичный ИИ, скованный специальным дополнительным модулем совести, который подавляет естественные порывы ИИ и указывает ему, что делать. Вы просто создаете совесть, и она и есть ИИ. Если у вас есть программа, которая вычисляет, какое решение должен принять ИИ, то дело сделано. Дальше перекладывать ответственность некому.

Здесь я сделаю небольшое отступление и процитирую несколько примеров с сайта Computer Stupidities («Компьютерные глупости»), из подраздела «Программирование». (Я не даю ссылку, потому что это жуткий пожиратель времени; погуглите, если осмелитесь).

Я занимался репетиторством со студентами колледжа, которые изучали программирование. Некоторые из них не понимали, что компьютеры не обладают разумом. Не один студент использовал комментарии в своих программах на Паскале, чтобы писать подробные объяснения вроде: «А теперь мне нужно, чтобы ты вывел эти буквы на экран». Я спросил одного из них, в чем смысл этих комментариев. Ответ был: «А как еще компьютер поймет, что я от него хочу?» Видимо, они полагали, что раз они сами не могут разобраться в Паскале, то и компьютер тоже не может.

Когда я учился в колледже, я подрабатывал репетитором в математической лаборатории. Ко мне пришел студент, у которого не запускалась программа на Бейсике. Он учился на курсе для начинающих, и его заданием было написать программу, которая рассчитывает рецепт овсяного печенья в зависимости от количества людей, для которых вы собираетесь печь. Я посмотрел на его программу, и она выглядела примерно так:

10 Разогреть духовку до 350

20 Смешать все ингредиенты в большой миске

30 Перемешать до однородной массы

Один студент с вводного курса по программированию как-то попросил меня взглянуть на его программу и разобраться, почему результатом простых вычислений всегда оказываются нули. Я посмотрел на программу, и всё стало предельно ясно:

begin

read("Количество яблок", apples)

read("Количество моркови", carrots)

read("Цена за 1 яблоко", a_price)

read("Цена за 1 морковь", c_price)

write("Итого за яблоки", a_total)

write("Итого за морковь", c_total)

write("Итого", total)

total = a_total + c_total

a_total = apples * a_price

c_total = carrots * c_price

end

Я: «Ну, твоя программа не может вывести правильные результаты до того, как она их вычислит».

Он: «А? Но ведь логически понятно, какое решение правильное, и компьютер должен сам переставить инструкции в нужном порядке».

Мы инстинктивно склонны представлять себе процесс «программирования ИИ» определенным образом.