Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

любой из архитектур без дополнительных узлов. Как Сеть 1, так и Сеть 2 воплощают в себе неявные предположения о том, какая структура среды наиболее вероятна; способность считывать эти предположения — вот что отличает взрослых от младенцев в машинном обучении.)

Не заблуждайтесь: ни Сеть 1, ни Сеть 2 не являются биологически реалистичными. Но всё же кажется разумным предположить, что, как бы ни работал мозг на самом деле, в каком-то смысле он ближе к Сети 2, чем к Сети 1. Быстро, дешево, масштабируемо, хорошо помогает отличать собак от кошек: естественный отбор выбирает подобные решения так же неизбежно, как вода стекает по ландшафту приспособленности.

Кажется вполне обычной задачей классифицировать объекты как блэгги или рубы, раскладывая их по соответствующим корзинам. Но заметили бы вы, если бы объекты цвета морской волны никогда не светились в темноте?

Возможно, если бы вам предъявили двадцать объектов, похожих друг на друга только цветом морской волны, а затем выключили свет, и ни один из объектов не засветился бы. Иными словами, если бы вас ткнули в это носом. Возможно, если показать вам все эти объекты цвета морской волны одной группой, ваш мозг формирует новую подкатегорию и может обнаружить признак «не светится» внутри этой подкатегории. Но вы, скорее всего, не заметили бы этого, будь эти объекты цвета морской волны рассеяны среди сотни других блэггов и рубов. Заметить это было бы далеко не так просто или интуитивно, как легко и естественно мы отличаем кошек от собак.

Или: «Сократ — человек; все люди смертны; следовательно, Сократ смертен». Откуда Аристотель знал, что Сократ — человек? Что ж, у Сократа не было перьев, ногти у него были широкими, ходил он прямо, говорил по-гречески и, в общем, формой тела и поведением походил на человека. И вот мозг раз и навсегда решает, что Сократ — человек, а отсюда делает вывод, что Сократ смертен, как и все другие люди, которых до сих пор наблюдали. Вряд ли нам покажется простым или естественным спросить себя, насколько ношение одежды — в отличие от владения речью — связано со смертностью. Просто: «существа, которые носят одежду и пользуются языком, — люди», а «люди смертны».

Существуют ли когнитивные искажения, связанные с попыткой классифицировать вещи по категориям раз и навсегда? Конечно, существуют. См., например, статью «Сектантское контрсектантство».

*

162. Как алгоритм ощущается изнутри.

«Если дерево падает в лесу и никто этого не слышит, издает ли оно звук?» Я помню, как на эту тему разгорелся настоящий спор — совершенно наивный спор, который и близко не подходил к субъективизму Беркли. Просто:

— Оно издает звук, как и любое другое падающее дерево!

— Но как может существовать звук, которого никто не слышит?

Стандартная рационалистическая точка зрения заключается в том, что первый человек говорит так, будто «звук» означает акустические колебания воздуха; второй же — будто «звук» означает слуховое ощущение в мозгу. Если спросить: «Есть ли акустические колебания?» или «Есть ли слуховые ощущения?», ответ сразу станет очевиден. И значит, спор на самом деле идет об определении слова «звук».

Я считаю, что этот стандартный анализ в целом верен. Давайте примем его в качестве предпосылки и спросим: почему люди вообще ввязываются в подобные споры? Какова лежащая в их основе психология?

Ключевая идея программы исследований эвристик и когнитивных искажений состоит в том, что ошибки зачастую раскрывают механизмы мышления гораздо лучше, чем правильные ответы. Жаркий спор о том, издает ли звук дерево, падающее в безлюдном лесу, традиционно считается ошибкой.

Так какое же устройство разума соответствует этой ошибке?

В «Замаскированных запросах» я описал задачу классификации блэггов и рубов, в которой Сьюзен, старший сортировщик, объясняет, что ваша работа состоит в том, чтобы сортировать поступающие с конвейера предметы, складывая синие яйца, или «блэгги», в один контейнер, а красные кубы, или «рубы», — в контейнер для рубов. Как выясняется, дело в том, что блэгги содержат мелкие самородки ванадиевой руды, а рубы — мелкие кусочки палладия, и то и другое имеет промышленную ценность.

Вот только около 2% синих яйцевидных предметов вместо этого содержат палладий. Так что если вы найдете синий яйцевидный предмет, содержащий палладий, стоит ли называть его «рубом»? Вы всё равно положите его в контейнер для рубов — почему бы не назвать его «рубом»?

Но когда вы выключаете свет, почти все блэгги слабо светятся в темноте. И синие яйцевидные предметы, содержащие палладий, светятся в темноте с той же вероятностью, что и любые другие синие яйцевидные предметы.

Поэтому, если вы находите синий яйцевидный предмет, содержащий палладий, и спрашиваете: «Блэгг ли это?», ответ зависит от того, для чего этот ответ вам нужен. Если вы спрашиваете: «В какой контейнер отправить этот предмет?», вы действуете так, будто это руб. Но если вы спрашиваете: «Будет ли он светиться, если я выключу свет?», ваш прогноз будет таким, будто это блэгг. В одном случае вопрос «Блэгг ли это?» заменяет собой замаскированный запрос «В какой контейнер его положить?». В другом — вопрос «Блэгг ли это?» заменяет собой замаскированный запрос «Будет ли он светиться в темноте?».

Теперь предположим, что перед вами синий яйцевидный предмет, содержащий палладий; и вы уже заметили, что он покрыт шерстью, гибкий, непрозрачный и светится в темноте.

Это дает ответ на каждый запрос, регистрирует каждый из представленных наблюдаемых признаков. Замаскированному запросу больше нечего замещать.

Так почему же у кого-то может возникнуть желание продолжать спорить о том, является ли этот предмет на самом деле блэггом?

Рисунок 162.1. Сеть 1

Рисунок 162.2. Сеть 2

Эти диаграммы из статьи «Нейронные категории» показывают две разные нейронные сети, которые могут использоваться для ответов на вопросы о блэггах и рубах. У Сети 1 (рисунок 162.1) есть ряд недостатков — например, потенциально нестабильное/хаотичное поведение или необходимость в O(N2) связей, — однако структура Сети 1 обладает одним важным преимуществом перед Сетью 2: каждый элемент в этой сети соответствует проверяемому запросу. Если вы наблюдаете все наблюдаемые признаки, фиксируя каждое значение, в сети не остается лишних элементов.

Сеть 2 (рисунок 162.2), однако, гораздо лучше подходит на роль того, как примерно устроен человеческий мозг: она быстрая, экономичная, масштабируемая — и имеет дополнительный «висящий» элемент в центре, уровень активации которого все еще