Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

лицу. Существует множество слов, позволяющих перешагнуть через тайну, и некоторые из них вполне уместны в других контекстах — например, «сложность». Но суть ошибки заключается именно в этом перескакивании, независимо от того, какой причинный узел за ним стоит. Перескакивание — это не мысль, а микромысль. Чтобы поймать себя на этом, требуется предельное внимание. Когда же вы научитесь избегать перескакивания, это станет делом инстинкта, а не словесных рассуждений. Вы должны чувствовать, какие части вашей карты всё ещё остаются белыми пятнами, и, что гораздо важнее, прислушиваться к этому чувству.

Я подозреваю, что в академической среде существует огромное давление, заставляющее заметать проблемы под ковёр, чтобы представить статью, которая выглядит завершённой. Вы получите больше признания за кажущуюся полной модель, включающую некие «эмерджентные явления», чем за откровенно неполную карту с пометками вроде «понятия не имею, как работает эта часть» или «а дальше происходит чудо». Научный журнал может даже не принять такую статью, ведь кто знает — вдруг всё самое интересное происходит как раз на этих неизвестных этапах? И да, иногда случается, что все «немагические» части вашей карты на поверку тоже оказываются неважными. Такова цена, которую иногда приходится платить за вступление на terra incognita и попытки решать проблемы шаг за шагом. Но от этого становится ещё важнее знать, когда вы ещё не закончили работу. Как правило, люди вообще не осмеливаются вступать на terra incognita из панического страха потратить время впустую.

А если вы работаете над революционным ИИ-стартапом, давление, заставляющее заметать проблемы под ковёр, становится ещё сильнее — иначе вам придётся признаться себе, что вы пока не знаете, как создать ИИ, и ваши текущие жизненные планы с треском рухнут. Но, возможно, я вдаюсь в избыточные объяснения, ведь перескакивание происходит у людей по умолчанию; если вам нужны примеры, просто понаблюдайте, как люди обсуждают религию, философию, духовность или любую науку, в которой они не являются профессионалами.

Мы с Марчелло выработали правило в нашей работе над ИИ: когда мы сталкивались с чем-то, чего не понимали (а это случалось часто), мы говорили «магия» — например: «X магическим образом делает Y», — чтобы напомнить себе, что здесь кроется нерешённая проблема, пробел в нашем понимании. Гораздо лучше сказать «магия», чем «сложность» или «эмерджентность»: последние слова лишь создают иллюзию понимания. Разумнее сказать «магия» и оставить себе заглушку — напоминание о работе, которую ещё предстоит проделать.

*

38. Позитивное искажение: вглядитесь во тьму.

Представьте, что я веду занятие и пишу на доске три числа: 2-4-6. «Я задумал правило, — говорю я, — которому подчиняются последовательности из трех чисел. Последовательность 2-4-6, так уж вышло, ему соответствует. Каждый из вас найдет у себя на столе стопку карточек. Запишите на карточке последовательность из трех чисел, и я помечу ее словом „Да“, если она подходит под правило, или „Нет“, если не подходит. Затем вы можете написать еще одну тройку чисел, снова спросить, подходит ли она, и так далее. Когда вы будете уверены, что разгадали правило, запишите его на карточке. Вы можете тестировать сколько угодно троек».

Вот запись попыток одного студента:

4-6-2 Нет

4-6-8 Да

10-12-14 Да

На этом этапе студент записал свою догадку о правиле. Как, по-вашему, формулируется это правило? Захотели бы вы проверить еще одну тройку чисел, и если да, то какую именно? Задумайтесь на секунду, прежде чем читать дальше.

Описанная выше задача основана на классическом эксперименте Питера Уэйсона — «задаче 2-4-6». Хотя испытуемые, решавшие эту задачу, обычно демонстрировали высокую уверенность в своих догадках, лишь 21% из них успешно разгадали истинное правило экспериментатора, а последующие повторения эксперимента показывают аналогичные результаты — около 20% успеха.1

Исследование называлось «О неспособности исключать гипотезы в концептуальной задаче». Испытуемые, пытающиеся решить задачу 2-4-6, обычно стараются генерировать позитивные примеры, а не негативные — они используют предполагаемое правило для создания характерного примера и смотрят, пометят ли его словом «Да».

Так, тот, у кого возникает гипотеза «числа, увеличивающиеся на два», тестирует тройку 8-10-12, слышит, что она подходит, и уверенно заявляет о разгадке правила. Тот, у кого возникает гипотеза «X–2X–3X», тестирует тройку 3-6-9, обнаруживает, что она подходит, и объявляет уже это правило.

Во всех случаях реальное правило одно и то же: три числа должны идти в порядке возрастания.

Но чтобы обнаружить это, вам пришлось бы генерировать тройки, которые не должны подходить (например, 20-23-26), и смотреть, пометят ли их словом «Нет». Чего люди в этом эксперименте обычно не делают. В некоторых случаях испытуемые придумывают, «тестируют» и объявляют правила гораздо более сложные, чем настоящий ответ.

Этот когнитивный феномен обычно сваливают в одну кучу с «предвзятостью подтверждения». Однако мне кажется, что стремление тестировать позитивные примеры вместо негативных следует отличать от стремления сохранить убеждение, с которого вы начали. Термин «позитивное искажение» иногда используется как синоним «предвзятости подтверждения», и этому конкретному изъяну он подходит гораздо лучше.

Когда-то казалось, что теория флогистона способна объяснить затухание пламени в закрытом сосуде (воздух насыщался флогистоном, и больше он выделяться не мог), но с тем же успехом теория флогистона могла бы объяснить, почему пламя не гаснет. Чтобы заметить это, нужно искать негативные примеры вместо позитивных, смотреть в сторону нуля, а не единицы — что противоречит человеческому инстинкту, как показали эксперименты.

Ведь по инстинкту мы, люди, живем лишь в половине мира.

О позитивном искажении можно слушать лекции днями напролет и все равно не заметить его в конкретный момент. Позитивное искажение — это не то, что мы делаем из логических соображений или из-за эмоциональной привязанности. Задача 2-4-6 — «холодная», логическая, а не эмоционально «горячая». И тем не менее эта ошибка совершается на невербальном уровне, на уровне мысленных образов и инстинктивных реакций. Поскольку эта проблема возникает не из-за следования осознанному правилу «Думай только о позитивных примерах», ее невозможно решить простым вербальным знанием того, что «Нам следует думать как о позитивных, так и о негативных примерах». Какой пример автоматически всплывает у вас в голове? Нужно научиться без слов делать заг вместо зига. Нужно научиться шарахаться в сторону нуля, а не от него.

Я уже довольно давно пишу о том, что сила гипотезы заключается в том, чего она не может объяснить, а не в том, что она объяснить может: если вы одинаково хорошо умеете объяснить любой исход, ваши знания равны нулю.