Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

— это эмерджентное явление!» — как будто это хоть что-то объясняет. Такое словоупотребление идеально подходит под все признаки таинственного ответа на таинственный вопрос. Что вы знаете теперь, назвав интеллект «эмерджентным»? Вы не можете сделать никаких новых предсказаний. Вы не узнали о поведении реальных разумов ничего, чего не знали раньше. Кажется, будто вы поверили в новый факт, но вы не ожидаете никаких иных исходов. Ваше любопытство кажется утоленным, но его так и не накормили. У этой гипотезы нет движущихся деталей — нет детальной внутренней модели, с которой можно было бы работать. Те, кто выдвигает гипотезу «эмерджентности», признаются в своём незнании внутреннего устройства и даже гордятся этим; они противопоставляют науку об «эмерджентности» другим, всего лишь прозаическим наукам.

И даже после ответа «Почему? Эмерджентность!» явление по-прежнему остаётся загадкой и обладает всё той же священной непостижимостью, что и в самом начале.

Забавное упражнение: убрать прилагательное «эмерджентный» из любого предложения, где оно встречается, и посмотреть, изменится ли смысл:

До: Человеческий интеллект — это эмерджентный продукт активности нейронов.

После: Человеческий интеллект — это продукт активности нейронов.

До: Поведение муравьиной колонии — это эмерджентный результат взаимодействия множества отдельных муравьёв.

После: Поведение муравьиной колонии — это результат взаимодействия множества отдельных муравьёв.

Ещё лучше: Колония состоит из муравьёв. Мы можем успешно предсказать некоторые аспекты поведения колонии с помощью моделей, включающих только отдельных муравьёв, без каких-либо глобальных переменных колонии, показывая тем самым, что мы понимаем, как поведение колонии проистекает из поведения муравьёв.

Ещё одно забавное упражнение — заменить слово «эмерджентный» старым словом, то есть тем объяснением, которым людям приходилось пользоваться до изобретения эмерджентности:

До: Жизнь — это эмерджентное явление.

После: Жизнь — это магическое явление.

До: Человеческий интеллект — это эмерджентный продукт активности нейронов.

После: Человеческий интеллект — это магический продукт активности нейронов.

Разве каждое из этих утверждений не передаёт ровно одинаковый объём знаний о поведении явления? Разве каждая из этих гипотез не согласуется с абсолютно одинаковым набором исходов?

«Эмерджентность» стала крайне популярна, точно так же, как когда-то было популярно слово «магия». «Эмерджентность» обладает той же глубокой притягательностью для человеческой психологии и по той же самой причине. «Эмерджентность» — поразительно простое объяснение, произносить его приятно; оно даёт вам священную тайну для поклонения. Эмерджентность популярна потому, что это фастфуд для любопытства. С помощью эмерджентности можно объяснить всё что угодно, и люди именно так и поступают, ведь объяснять вещи — это так приятно. Люди остаются людьми, даже если они прослушали пару научных курсов в колледже. Стоит им найти способ вырваться из оков устоявшейся науки, они принимаются за те же фокусы, что и их предки — облекая их в литературный жанр «науки», но люди остаются людьми, а человеческая психология — человеческой психологией.

*

37. Не говори «сложность». Давным-давно...

Эта история произошла, когда я только познакомился с Марчелло, с которым позже целый год работал над теорией ИИ; но в то время я ещё не взял его в ученики. Я знал, что он участвовал в олимпиадах по математике и информатике на национальном уровне, и этого было достаточно, чтобы присмотреться к нему повнимательнее; но я ещё не знал, сможет ли он научиться думать об ИИ.

Я попросил Марчелло рассказать, как, по его мнению, ИИ мог бы понять, как собрать кубик Рубика. Не с помощью заранее заложенной программы — это тривиально, — а как сам ИИ мог бы разобраться в законах вселенной Рубика и сообразить, как их использовать. Как бы ИИ сам для себя изобрёл концепт «оператора» или «макроса» — ключ к сборке кубика Рубика?

В какой-то момент этого обсуждения Марчелло сказал: «Ну, я думаю, ИИ нужна сложность, чтобы делать X, и сложность, чтобы делать Y...»

И я сказал: «Не говори „сложность“».

Марчелло спросил: «Почему нельзя?»

Я сказал: «Сложность никогда не должна быть самоцелью. Тебе может понадобиться конкретный алгоритм, который добавит немного сложности, но сложность ради сложности только всё усложняет». (Я думал обо всех тех людях, от которых слышал, будто интернет «проснётся» и превратится в ИИ, когда станет «достаточно сложным».)

И Марчелло сказал: «Но ведь должно же быть какое-то количество сложности, которое это обеспечивает».

Я на миг прикрыл глаза и попытался придумать, как объяснить всё это словами. Для меня само слово «сложность» ощущалось просто как неверный шаг в танце ИИ. Никто не способен думать достаточно быстро, чтобы мысленно анализировать в словах каждое предложение своего потока сознания — это потребовало бы бесконечной рекурсии. Мы думаем словами, но наш поток сознания направляется ниже уровня слов — за счёт натренированных остатков прошлых озарений и сурового опыта...

Я спросил: «Ты читал „Техническое объяснение технического объяснения“?»

«Да», — ответил Марчелло.

«Хорошо, — сказал я. — Произнесение слова „сложность“ не концентрирует твою вероятностную массу».

«О, — сказал Марчелло, — как „эмерджентность“. Хм. Значит... теперь мне нужно подумать о том, как X может произойти на самом деле...»

И тогда я подумал про себя: «Может быть, этот обучаем.»

Сложность — не бесполезное понятие. У него есть математические определения, такие как сложность Колмогорова и сложность Вапника — Червоненкиса. Даже на интуитивном уровне о сложности часто стоит задумываться — вам приходится оценивать сложность гипотезы и решать, не выглядит ли она «слишком сложной» в свете имеющихся доказательств, или смотреть на какую-то конструкцию и пытаться сделать её проще.

Но концепты сами по себе не бывают полезными или бесполезными. Правильным или неправильным может быть только их применение. Делая тот шаг, который Марчелло пытался сделать в танце, он пытался получить объяснение задаром, взять что-то ниоткуда. Это чрезвычайно распространённая ошибка, по крайней мере в моей области. Вы можете присоединиться к любому обсуждению общего искусственного интеллекта и увидеть, как люди делают то же самое направо и налево, снова и снова — постоянно перепрыгивая через вещи, которых они не понимают, даже не замечая этого.

Это происходит в мгновение ока: мы помещаем за таинственным явлением некий неконтролирующий причинный узел — узел, который воспринимается как объяснение, но на самом деле им не является. Ошибка совершается на уровне ниже слов. Она не требует какого-то особого изъяна характера; именно так люди мыслят по умолчанию, так они мыслили с древнейших времён.

Чего вам необходимо избегать, так это перескакивания через загадочную часть; вам нужно задержаться на загадке, чтобы столкнуться с ней лицом к