Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

уровнем интеллекта, и с точки зрения теории веселья важно то, что он должен — обязан — со временем расти, а не снижаться, как сейчас. Разве это не остроумный способ утешить себя? Но сейчас я уже не так усердно пытаюсь принижать собственный интеллект, ведь это лишь еще один способ привлечь к нему внимание. Я умен по человеческим меркам, если уж зайдет об этом речь, а что я по этому поводу чувствую — мое личное дело.

Мысль о том, что интеллект — это рычаг, сдвигающий миры, осталась прежней. Вот только интеллект перестал быть для меня столь таинственным, так что теперь я отчётливее вижу его встроенным в саму физику. Сверхинтеллекты могут преодолеть скорость света, если окажется, что это дозволено истинными законами физики, а если нет — то нет. Это не немыслимо, но я бы на это не ставил.)

Но настоящий ложный поворот случился позже, когда кто-то сказал: «Эй, а откуда ты знаешь, что сверхинтеллект будет моральным? Интеллект ведь никак не связан с тем, хороший ли ты человек, — это мы называем мудростью, юный вундеркинд».

И вот юному Элиезеру показалось очевидным, что это всего лишь отрицание очевидного. Разумеется, его собственный, скрупулезно выстроенный этический кодекс был создан с помощью его собственного интеллекта и опирался на него как на основу. Любому дураку понятно, что интеллект имеет самое прямое отношение к этике, морали и мудрости; попробуй-ка объясни дилемму заключенного шимпанзе, верно?

Значит, сверхинтеллект с необходимостью повлечет за собой сверхмораль.

Не зря говорят: «Родители совершают все те поступки, от которых предостерегают своих детей, — потому-то они и знают, что совершать их не стоит».

*

293. Моя лучшая и худшая ошибка.

В прошлой главе я описал аффективную спираль смерти юного Элиезера вокруг понятия, которое он называл «интеллектом». Элиезер-1996 или даже Элиезер-1999 ни за что не согласился бы попытаться дать ему математическое определение — осознанно, намеренно отказался бы. Более того, он крайне неохотно давал бы «интеллекту» вообще какое-либо определение.

Почему? Потому что в ИИ существует классическая проблема подмены понятий: вы определяете «интеллект» как что-то вроде «логического вывода» или «способности отменять выводы, когда они теряют актуальность», затем создаете дешевенький доказыватель теорем или ad-hoc систему немонотонного вывода и заявляете: «Глядите, я создал интеллект!» Люди придумывали убогие определения интеллекта, концентрируясь на сопутствующих признаках, а не на сути, а затем гнались за этим записанным на бумаге поверхностным определением, забывая о, собственно говоря, настоящем интеллекте. Не то чтобы Элиезер-1996 пытался построить карьеру в области искусственного интеллекта. Он просто хотел создать разум, способный создать нанотехнологии. Поэтому у него не возникало соблазна переопределить интеллект ради того, чтобы раздуть значимость научной статьи.

Оглядываясь назад, мне кажется, что изрядную долю моих ошибок можно описать так: видя чужую глупость, меня уносило слишком далеко в противоположную сторону. Насмотревшись на то, как часто злоупотребляют попытками дать определение «интеллекту», я отказался определять его вообще. Что, если бы я сказал, что интеллект — это X, а он на самом деле не X? На интуитивном уровне я знал, что ищу, — нечто достаточно мощное, чтобы разбирать звезды на сырье, — и я не хотел попасть в ловушку и отвлекаться от этой цели на формулировки.

Точно так же, насмотревшись на множество ИИ-проектов, загубленных «завистью к физике» — стремлением придерживаться простой и элегантной математики, из-за чего они в итоге ограничивались игрушечными системами, — я сделал обобщение, что любая математика, достаточно простая, чтобы уложиться в изящное уравнение, скорее всего, не сработает для, собственно говоря, настоящего интеллекта. «За исключением теоремы Байеса», — добавлял Элиезер-2000, что, в зависимости от вашей точки зрения, либо смягчает тяжесть его проступка, либо показывает, что ему следовало усомниться во всем обобщении целиком, вместо того чтобы пытаться сделать единственное исключение.

Если вам интересно, почему Элиезер-2000 так думал — не верил в математику интеллекта, — что ж, мне уже трудно вспомнить то далекое время. Дело точно было не в том, что я когда-либо не любил математику. Если бы мне пришлось назвать первопричину, то это чтение слишком малого количества слишком популярных и не тех книг по искусственному интеллекту.

Но в те времена я и не думал, что ответы придут со стороны искусственного интеллекта; я практически списал его со счетов как безнадежно больную, мертвую область. Так что неудивительно, что я тратил слишком мало времени на его изучение. Я верил в клише о завышенных обещаниях искусственного интеллекта. Это укладывается в схему «слишком далеко в противоположном направлении»: область не сдержала своих обещаний, поэтому я был готов поставить на ней крест. В результате я не копал достаточно глубоко, чтобы найти настоящую, не фальшивую математику.

Мое юношеское неверие в математику универсального интеллекта было одновременно одной из худших и одной из лучших моих ошибок за всю жизнь.

Поскольку я не верил, что разгадка интеллекта может быть простой, я пошел и засел за когнитивную психологию, функциональную нейроанатомию, вычислительную нейроанатомию, эволюционную психологию, эволюционную биологию и не одно направление искусственного интеллекта. Когда мне приходили в голову, казалось бы, простые и блестящие идеи, я не останавливался на этом и не бежал сломя голову их реализовывать, потому что знал: даже если они верны, даже если они необходимы, их все равно будет недостаточно. Интеллект не должен был быть простым, у него не должно было быть ответа, способного уместиться на футболке. Он должен был быть огромным пазлом из множества деталей; и когда вы находили одну деталь, вы не убегали, торжествующе подняв её над головой, а продолжали искать. Попробуйте построить разум, в котором не хватает хотя бы одной детали, — и, весьма вероятно, ничего примечательного не произойдет.

Я ошибался, думая, что искусственный интеллект как академическая дисциплина — это бесплодная пустыня; и ошибался еще сильнее, думая, что математики интеллекта быть не может. Но я не жалею об изучении, например, функциональной нейроанатомии, хотя сейчас и считаю, что искусственный интеллект не должен иметь абсолютно ничего общего с человеческим мозгом. Изучение нейроанатомии означало, что я исходил из идеи: если разбить разум на части, этими частями окажутся вещи вроде «зрительной коры» и «мозжечка», а не «модуль торговли на фондовом рынке» или «модуль рассуждений на основе здравого смысла», что является классическим тупиковым путем в ИИ.

Изучение таких областей, как функциональная нейроанатомия и когнитивная психология, дало мне совершенно иное