Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Эта стратегия, конечно же, была в корне неверной.

Но даже при этом я перешел от позиции «Я ничего не могу с этим поделать прямо сейчас» к «Хм... возможно, существует путь постепенного развития через открытый код, если первые версии окажутся полезными для достаточного количества людей».

Все это происходило еще на заре времен, так что я не утверждаю, будто это было хорошей идеей. Но с точки зрения моих тогдашних намерений, год творческих размышлений сократил видимый путь: проблема стала выглядеть чуть менее невозможной, чем в самый первый раз, когда я к ней подступился.

Еще более интересная закономерность прослеживается в том, как я пришел к Дружественному ИИ. Изначально я вообще не рассматривал Дружественный ИИ — ведь было очевидно невозможно и бесполезно обманывать сверхинтеллект относительно того, какой образ действий является правильным.

Таким образом, исторически я прошел путь от полного игнорирования «невозможной» проблемы к тому, чтобы взяться за задачу, которая была всего лишь крайне сложной.

Естественно, это увеличило мой общий объём работы.

То же самое произошло и с попытками понять интеллект на точном, формальном уровне. Изначально я списал эту проблему со счетов как невозможную, тем самым избавив себя от этой работы. (В ретроспективе эта логика кажется довольно безумной — Природе плевать на то, чего вы не умеете делать, когда Она составляет требования к вашему проекту, — но я до сих пор постоянно вижу, как люди из сферы ИИ пытаются так поступать). Следование точным стандартам означало, что мне придется вложить гораздо больше труда, чем я предполагал ранее. Но это также означало, что я взялся за проблему, которую еще совсем недавно отбросил бы как абсолютно невозможную.

Даже несмотря на то, что со временем отдельные проблемы в области ИИ стали казаться менее пугающими, общая высота горы, на которую предстоит взобраться, только увеличилась — как и положено по законам житейской мудрости — по мере того, как задачи вычёркивались из списка «невозможных» и переносились в список «дел».

Я начал понимать, что происходит — и что на самом деле означает призыв «Упорствуй!», — когда заметил, что другие специалисты по ИИ поступают точно так же: говорят «Невозможно!» о проблемах, которые казались вполне решаемыми — относительно простыми по сравнению с остальными. Но это были вещи, которые показались бы гораздо более пугающими мне самому в тот момент, когда я впервые подступился к проблеме.

И я понял, что у слова «невозможно» есть два значения:

Математическое доказательство невозможности при заданных аксиомах;

«Я не вижу никакого способа это сделать».

Излишне говорить, что все мои собственные случаи употребления слова «невозможно» относились ко второму типу.

Всякий раз, когда вы не разбираетесь в какой-то области, многие проблемы в ней будут казаться невозможными, потому что, когда вы запрашиваете у своего мозга путь решения, он возвращает пустое значение. Но бывают только загадочные вопросы, а не загадочные ответы. Если вы проведёте год или два, работая в этой области, то — если вы не зайдёте в тупик и если у вас есть врождённые способности, необходимые для продвижения вперёд, — вы станете понимать её лучше. Кажущаяся сложность задач может сильно снизиться. Всё это уже не будет пугать вас так, как пугало, когда вы были новичком.

И это особенно вероятно для тех запутанных проблем, которые кажутся наиболее пугающими.

Поскольку мы имеем некоторое представление о процессах горения звёзд, мы знаем, что создать звезду с нуля не так-то просто. Поскольку мы понимаем, как работают шестерёнки, мы можем доказать, что никакая система шестерёнок, подчиняющаяся известным законам физики, не способна образовать вечный двигатель. Это не те задачи, на которых стоит тренироваться совершать невозможное.

Когда вы запутались в какой-то области, проблемы в ней будут ощущаться как крайне пугающие и таинственные, а запрос к собственному мозгу выдаст ноль решений. Но вы не знаете, сколько работы останется сделать, когда путаница рассеется. Устранение этой путаницы само по себе может оказаться чрезвычайно сложной задачей, разумеется. Но слово «невозможно» здесь вряд ли применимо. Путаница существует на карте, а не на территории.

Так что, если вы потратите несколько лет на работу над невозможной проблемой, если вам удастся избежать тупиков или выбраться из них, и если ваших врождённых способностей достаточно для продвижения вперёд, то, чёрт возьми, через несколько лет она может показаться уже не такой уж и невозможной.

Но если что-то кажется невозможным, вы даже не попытаетесь.

И вот это уже порочный круг.

Если бы у меня не было столь мощного настроя, при котором слова «сорок лет и Манхэттенский проект» означали лишь то, что нам стоит начать пораньше, я бы и пытаться не стал. Я бы не стал упорно заниматься этой задачей. И у меня не появилось бы шанса перестать её бояться.

Обычно я не сторонник теории о том, что противоположные когнитивные искажения могут компенсировать друг друга, но иногда это происходит благодаря чистому везению. Если бы я увидел всю эту гору в самом начале — если бы я с самого начала осознал, что задача состоит не в том, чтобы создать способный к самосовершенствованию семенной ИИ, а в том, чтобы создать доказуемо корректный Дружественный ИИ — я бы, пожалуй, просто самовоспламенился.

И всё же, чтобы понять тех учёных выше среднего уровня, которые составляют большинство исследователей общего искусственного интеллекта (AGI), нужно осознать: они вовсе не одержимы стремлением взяться за практически невыполнимую задачу, даже если она потребует 40 лет работы. В массе своей они занимаются этим лишь потому, что нашли Ключ к ИИ, который позволит им решить проблему без таких колоссальных трудностей, всего за пять лет.

Ричард Хэмминг любил задавать своим коллегам-учёным два вопроса: «Каковы самые важные проблемы в вашей области?» и «Почему вы над ними не работаете?»

Часто важные проблемы выглядят огромными, жутковатыми и пугающими. Они не гарантируют по 10 публикаций в год. Они вообще не обещают никакого прогресса. Вы можете не получить абсолютно никакой отдачи после года, пяти или десяти лет работы над ними.

И нередко самые важные проблемы в вашей области оказываются невозможными. Вот почему вы не видите толп философов, работающих над редукционистской декомпозицией сознания.

Попытки сделать невозможное — занятие определённо не для всех. Исключительный талант — это лишь вступительный взнос (анте), позволяющий сесть за игровой стол. Фишки здесь — годы вашей жизни. Если перспектива поставить эти фишки на кон и проиграть кажется вам невыносимой, то займитесь чем-нибудь другим.