Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Многие определения «интеллекта», предлагаемые исследователями ИИ, действительно говорят о «решении задач» или «достижении целей». Но, по крайней мере с точки зрения прежних Элиезеров, лишь задним числом понимаешь, что это одно и то же — «сжатие будущего».

Цель — это менталистский объект; у электронов нет целей, и задач они тоже не решают. Когда человек воображает цель, он представляет себе агента, наделенного «хотением», — это всё ещё эмпатический язык.

Можно придерживаться мнения, что интеллект — это «достижение целей», а затем тут же развернуться на сто восемьдесят градусов и спорить о том, лучше ли одни «цели», чем другие; рассуждать о мудрости, необходимой для оценки самих целей; говорить о системе, намеренно изменяющей свои цели; рассуждать о свободе воли, необходимой, чтобы выбирать планы, ведущие к целям; или говорить об ИИ, который осознаёт, что его цели — вовсе не то, что программисты на самом деле имели в виду. Но если вы представите нечто, сжимающее будущее до узкой области возможного — например, Насос исходов, — все эти кажущиеся разумными рассуждения как-то не переводятся на этот язык.

Так что, по крайней мере для меня, умение разглядеть за словом «разум» физический процесс, который, просто протекая естественным образом, просто подчиняясь законам физики, в конечном итоге сжимает своё будущее до узкой области, было натуралистическим озарением, выходящим далеко за рамки простого представления об агенте, пытающемся достичь своих целей.

Это было похоже на то, как вываливаешься из глубокой ямы в обычный мир, когда когнитивное напряжение спадает, сменяясь непринужденной простотой, а замешательство превращается в дым и уносится прочь. Я увидел работу, совершаемую интеллектом; разумность больше не была свойством, она стала двигателем. Словно узел во времени, отражающий внешнюю часть вселенной во внутренней и тем самым направляющий её. В яркой вспышке того же озарения я даже понял, что разум должен рассеивать тепло, чтобы подчиняться законам термодинамики.

Раньше Элиезер2001 говорил о Дружественном ИИ как о чем-то, что нужно делать просто для уверенности — если вы не знали, будет ли архитектура ИИ X дружественной, то вам определенно следовало выбрать архитектуру ИИ Y, о дружественности которой вы точно знали. Но Элиезер2001 не считал, что он знает, возможно ли на самом деле создать сверхинтеллект, который превратит свой будущий световой конус в канцелярские скрепки.

Теперь же я мог это видеть — пульсацию процесса оптимизации: хлынувшую внутрь сенсорную информацию, хлынувшие наружу моторные команды, направляющие будущее. Посередине — модель, связывающая возможные действия с возможными исходами, и функция полезности для этих исходов. Задайте соответствующую функцию полезности, и в результате получится оптимизатор, который направит будущее куда угодно.

До этого момента я никогда полностью не признавался себе, что разработанная Элиезером1997 целевая система ИИ определенно, без каких-либо вариантов, бессмысленно уничтожила бы человечество. Однако теперь я оглянулся назад и наконец смог увидеть, что мой прежний проект делал на самом деле — в той мере, в какой он вообще был достаточно связным, чтобы о нем рассуждать. Грубо говоря, он превратил бы свой будущий световой конус в универсальные инструменты: компьютеры без запускаемых программ, запасённую энергию без всякого применения...

...как вообще я, прекрасный и опытный рационалист, — как вообще я умудрялся не замечать столь очевидную вещь целых шесть чертовых лет?

Именно в этот момент моя голова прояснилась, я всё вспомнил и с изрядным смущением подумал: «Я был глуп».

*

1. Под ред. Бена Герцеля и Кассио Пенначина, Artificial General Intelligence, Cognitive Technologies (Berlin: Springer, 2007), doi:10.1007/978-3-540-68677-4.

300. Уровень выше моего.

Однажды я одолжил Сяогуану «Майку» Ли свой экземпляр «Теории вероятностей: логики науки». Майк Ли немного почитал её, а потом вернулся и сказал:

Ого... Джейнс как будто тысячелетний вампир.

Потом Майк добавил: «Нет, постой, дай я объясню…» — а я ответил: «Да нет, я прекрасно понимаю, о чём ты». В фэнтези-литературе это уже закон жанра: чем старше вампир, тем он могущественнее.

Мне и раньше нравились математические доказательства, ещё до знакомства с работами Джейнса. Но именно у Э. Т. Джейнса я впервые ощутил сокрушительную мощь математических аргументов. Может быть, потому, что Джейнс выстраивал в ряд «парадоксы», которые использовались как возражения против байесианства, а затем разносил их в щепки превосходящей огневой мощью — силой, призванной сокрушать противников. Или, возможно, это ощущение сокрушительной силы возникало оттого, что Джейнс не относился к математике как к эстетической игре; Джейнсу было не всё равно — теория вероятностей была для него неразрывно связана с другими важными вещами, которые имели значение как для него, так и для меня.

По какой бы причине это ни происходило, Джейнс оставляет у меня ощущение пугающего, стремительного совершенства — силы, которая находит верный ответ кратчайшим путем, попутно разнося в клочья все сопутствующие заблуждения. Конечно, когда пишешь книгу, у тебя есть возможность показать себя только с лучшей стороны. И всё же.

То, что Майк Ли сумел почувствовать ауру сокрушительной мощи, окружавшую Джейнса, делает ему честь. По моим наблюдениям, существует общее правило: человек не способен различать уровни, которые находятся намного выше его собственного. Например, кто-то однажды на полном серьёзе сказал мне, что я очень умный и мне «стоит поступить в колледж». Возможно, всё, что превосходит твой собственный уровень более чем примерно на одно стандартное отклонение, начинает сливаться в единое целое — хотя это лишь красивая догадка, взятая с потолка.

Поэтому, когда Майк Ли сравнил Джейнса с тысячелетним вампиром, мне в голову сразу пришёл один вопрос:

— От меня исходит то же ощущение? — спросил я.

Майк покачал головой. «Извини, — неловко произнёс он, — просто Джейнс — это...»

— Да нет, я понимаю, — ответил я. Я и сам не думал, что достиг уровня Джейнса. Мне просто было любопытно, какое впечатление я произвожу на людей.

Я стремлюсь к уровню Джейнса. Я стремлюсь стать таким же мастером в области искусственного интеллекта и рефлексии, каким Джейнс был в байесовской теории вероятностей. Я могу даже оправдывать себя тем, что искусство, которым я пытаюсь овладеть, сложнее джейнсовского, что делает любое благоговение нелепым. И всё же, как это ни прискорбно, сейчас нет такого искусства, которым я владел бы в той же степени, в какой Джейнс владел теорией вероятностей.

Это вовсе не означает, что я считаю себя хуже Джейнса как личность —