Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Но так уж вышло, что помимо фиолетового цвета и яйцеобразной формы, этот предмет также покрыт мехом, гибок и непрозрачен. Поэтому, увидев его, вы подумали: «О, блэгг странного цвета». Это уж точно не руб... верно?

Все же вы не совсем уверены, что делать дальше. Поэтому вы зовёте старшую сортировщицу Сьюзен.

— О да, это блэгг, — говорит Сьюзен, — можешь положить его в контейнер для блэггов.

Вы собираетесь бросить фиолетовый блэгг в контейнер для блэггов, но на секунду замираете. — Сьюзен, — говорите вы, — откуда ты знаешь, что это блэгг?

Сьюзен смотрит на вас с удивлением. — Разве это не очевидно? Этот предмет пусть и фиолетовый, но он все еще яйцеобразный, пушистый, гибкий и непрозрачный, как и все остальные блэгги. Надо же делать скидку на небольшие дефекты цвета. Или это одна из тех философских головоломок вроде «Откуда ты знаешь, что мир не был создан пять минут назад вместе со всеми фальшивыми воспоминаниями?». В философском смысле я не абсолютно уверена, что это блэгг, но догадка кажется вполне разумной.

— Нет, я имею в виду... — Вы колеблетесь, подбирая слова. — Почему вообще существуют контейнер для блэггов и контейнер для рубов? В чем разница между блэггами и рубами?

— Блэгги синие и яйцеобразные, рубы красные и кубические, — терпеливо объясняет Сьюзен. — Тебе ведь читали стандартную вводную лекцию, верно?

— Почему блэгги и рубы нужно сортировать?

— Э-э... потому что иначе они все перемешаются? — говорит Сьюзен. — Потому что никто не будет платить нам за то, чтобы мы сидели тут весь день и не сортировали блэгги и рубы?

— Кто вообще изначально решил, что самый первый синий яйцеобразный предмет — это «блэгг», и как они это определили?

Сьюзен пожимает плечами. — Думаю, с тем же успехом можно было назвать красные кубические предметы «блэггами», а синие яйцеобразные — «рубами», но так их просто легче запомнить.

Вы задумываетесь на секунду. — Предположим, с конвейера сойдет абсолютно перепутанный предмет. Скажем, оранжевый шарообразный пушистый полупрозрачный объект с извивающимися зелеными щупальцами. Как мне понять, блэгг это или руб?

— Ух ты, у нас еще никто не находил настолько перепутанного предмета, — говорит Сьюзен, — но, полагаю, мы бы отнесли его к сортировочному сканеру.

— А как работает сортировочный сканер? — интересуетесь вы. — Рентгеновское излучение? Магнитно-резонансная томография? Спектроскопия по прохождению быстрых нейтронов?

— Говорят, он работает по правилу Байеса, но я не очень понимаю как, — говорит Сьюзен. — Зато мне нравится само слово. Байес, Байес, Байес, Байес, Байес.

— И что этот сортировочный сканер тебе говорит?

— Он говорит, куда положить предмет: в контейнер для блэггов или в контейнер для рубов. Потому он и называется сортировочным сканером.

Здесь вы умолкаете.

— Между прочим, — небрежно роняет Сьюзен, — тебе, возможно, будет интересно узнать, что блэгги содержат небольшие самородки ванадиевой руды, а рубы — крупицы палладия, и то и другое полезно в промышленности.

— Сьюзен, ты чистое зло.

— Спасибо.

Похоже, теперь мы обнаружили самую суть и квинтэссенцию «блэгговости»: блэгг — это предмет, содержащий самородок ванадиевой руды. Поверхностные характеристики вроде синего цвета и пушистости не определяют, является ли предмет блэггом; они важны лишь потому, что помогают сделать вывод, является ли предмет блэггом, то есть содержит ли он ванадий.

Содержание ванадия — это необходимое и достаточное определение: все блэгги содержат ванадий, и все, что содержит ванадий, является блэггом. «Блэгг» — это просто сокращённый способ сказать «предмет, содержащий ванадий». Верно?

Не так быстро, говорит Сьюзен: около 98% блэггов содержат ванадий, но 2% вместо этого содержат палладий. Если точнее (продолжает Сьюзен), около 98% синих яйцеобразных пушистых гибких непрозрачных предметов содержат ванадий. Для необычных блэггов процент может отличаться: 95% фиолетовых блэггов содержат ванадий, 92% твердых блэггов содержат ванадий и так далее.

Теперь предположим, вы находите синий яйцеобразный пушистый гибкий непрозрачный предмет, по всем внешним признакам — обычный блэгг. Ради интереса вы относите его к сортировочному сканеру, и тот выдает «палладий» — то есть это один из тех редких 2%. Является ли он блэггом?

Поначалу вы можете ответить, что раз уж вы намерены выбросить этот предмет в контейнер для рубов, то с тем же успехом можете назвать его «рубом». Однако выясняется, что почти все блэгги, если выключить свет, слабо светятся в темноте, тогда как почти все рубы в темноте не светятся. И доля светящихся в темноте блэггов среди синих яйцеобразных пушистых гибких непрозрачных предметов, содержащих палладий вместо ванадия, остаётся практически такой же. Таким образом, если вы хотите угадать, будет ли этот предмет светиться, как блэгг, или останется темным, как руб, вам следует предположить, что он светится, как блэгг.

Так является ли этот предмет на самом деле блэггом или рубом?

С одной стороны, вы выбросите этот предмет в контейнер для рубов независимо от того, что еще вы о нем узнаете. С другой стороны, если вам понадобится сделать вывод о каких-либо его неизвестных характеристиках, вы будете делать выводы так, словно этот предмет — блэгг, а не руб: отнесете его к кластеру сходства синих яйцеобразных пушистых гибких непрозрачных предметов, а не к кластеру сходства красных кубических гладких твердых полупрозрачных предметов.

Вопрос «Является ли этот предмет блэггом?» в разных случаях может заменять собой разные запросы.

Если бы он не заменял собой какой-то запрос, вам не было бы до этого никакого дела.

Является ли атеизм «религией»? Является ли трансгуманизм «культом»? Люди, которые утверждают, что атеизм — это религия, «потому что он выражает убеждения о Боге», на самом деле пытаются доказать (как мне кажется), что методы рассуждения, используемые в атеизме, стоят на одном уровне с методами рассуждения, используемыми в религии, или что атеизм не более безопасен, чем религия, с точки зрения вероятности стать причиной насилия, и так далее... На самом деле на кону стоит утверждение атеиста о существенном отличии от религии и превосходстве над ней, которое верующий пытается опровергнуть, отрицая не превосходство, а само отличие(!).

Но априори иррационально здесь не это: априори иррациональная часть — это когда в ходе спора кто-то достает словарь и ищет определение «атеизма» или «религии». (И да, это одинаково глупо, делает ли это атеист или верующий.) Как словарь вообще может решить, действительно ли эмпирический кластер атеистов существенно отличается от эмпирического