Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

хотите, чтобы он рационализировал?» Этот контрпринцип можно назвать «Проследи за информацией о решении» или как-то в этом роде. Вы можете объяснить существование ИИ, который делает невероятно хорошие дела, если расскажете мне, как именно вы выбрали архитектуру этого ИИ из гигантского пространства возможностей, но в противном случае эта невероятность берётся из ниоткуда — хотя и маскируется всё сильнее и сильнее, по мере того как рационализированные предпосылки, в свою очередь, подвергаются новой рационализации.

Так что я уже написал целую серию эссе, созданных мной на основе принципа «Проследи за невероятностью». Но в то время я не формулировал эти правила явно, поскольку тогда ещё не написал эссе по термодинамике…

Просто решил об этом упомянуть. Поразительно, в скольких моих эссе совершенно случайно оказываются идеи, удивительным образом связанные с обсуждением теории Дружественного ИИ… если, конечно, вы верите в совпадения.

*

1. Дэниел Деннет, «The Unimagined Preposterousness of Zombies», Journal of Consciousness Studies 2 (4 1995): 322–26.

2. Ричард Фейнман, «Judging Books by Their Covers», в Surely You’re Joking, Mr. Feynman! (New York: W. W. Norton & Company, 1985).

225. Вера в подразумеваемое невидимое. Один обобщённый урок, который не стоит извлекать из Аргумента против зомби: «Всё, чего вы не видите, не существует».

Соблазнительно сделать это общим правилом. Если бы мы могли принять его за посылку, это сильно упростило бы Аргумент против зомби в будущем. Но, к сожалению, это совершенно не по-байесовски.

Предположим, я испускаю фотон в бесконечность, не целясь ни в какие звёзды или галактики, направив его в одну из великих пустот между сверхскоплениями. Иными словами, опираясь на стандартную физику, я не ожидаю, что этот фотон встретит что-либо на своём пути. Фотон движется со скоростью света, так что я не могу погнаться за ним и поймать его снова.

Если расширение Вселенной ускоряется, как утверждает современная космология, в будущем настанет момент, когда я больше не смогу взаимодействовать с этим фотоном даже в принципе — время, за пределами которого будущий световой конус фотона уже не пересечёт мою мировую линию. Даже если бы инопланетная раса перехватила этот фотон и поспешила обратно, чтобы рассказать нам об этом, они не смогли бы лететь достаточно быстро, чтобы компенсировать ускоряющееся расширение Вселенной.

Должен ли я верить, что в тот момент, когда я больше не могу взаимодействовать с ним даже в принципе, фотон исчезает?

Нет.

Это нарушило бы закон сохранения энергии. И второе начало термодинамики. И практически все остальные законы физики. И, вероятно, три закона робототехники. Это означало бы, что фотон знает о моём интересе к нему и точно знает, когда нужно исчезнуть.

Это глупая идея.

Но если можно верить в дальнейшее существование фотонов, которые стали для вас экспериментально необнаружимыми, почему это не даёт общего карт-бланша на веру в невидимое?

(Если вы хотите подумать над этим вопросом самостоятельно, сделайте это, прежде чем читать дальше...)

Хотя мне не удалось нагуглить первоисточник, я помню, как читал, что когда впервые было высказано предположение, будто Млечный Путь — это наша галактика (что туманная река света на ночном небе состоит из миллионов или даже миллиардов звёзд), против этой новой гипотезы выдвинули бритву Оккама. Потому что, понимаете ли, эта гипотеза колоссально множила число «сущностей» в предполагаемой вселенной. А может быть, бритву Оккама привлекли против предположения, что «туманности» — те туманные пятнышки, видимые в телескоп, — могут быть целыми галактиками, полными звёзд.

Lex parsimoniae: Entia non sunt multiplicanda praeter necessitatem.

Это была оригинальная формулировка Оккама, закон бережливости: сущности не следует множить без необходимости.

Постулируя миллиарды звёзд, в существование которых раньше никто не верил, вы ведь множите сущности, не так ли?

Нет. Существует две байесовские формализации бритвы Оккама: индукция Соломонова и принцип минимальной длины описания. Ни одна из них не штрафует галактики за то, что они большие.

И лучше бы им этого не делать! Один из уроков истории состоит в том, что то-что-мы-называем-реальностью раз за разом оказывается всё больше, масштабнее и огромнее. Помните времена, когда Земля была в центре Вселенной? Помните, когда никто ещё не придумал число Авогадро? Если бы бритва Оккама каждый раз выступала против умножения сущностей, нам пришлось бы усомниться в самой бритве Оккама, поскольку она раз за разом оказывалась бы неправа.

В индукции Соломонова сложность вашей модели — это объём кода в компьютерной программе, которую вам нужно написать для симуляции вашей модели. Объём кода, а не количество оперативной памяти, которое она потребляет, или число тактов процессора, необходимых для вычислений. Модель Вселенной, содержащая миллиарды галактик с миллиардами звёзд в каждой, где каждая звезда состоит из миллиарда триллионов дециллионов кварков, потребует прорву оперативной памяти для запуска, — но коду нужно лишь описывать поведение кварков, а звёзды и галактики будут работать сами по себе. Я выражаюсь отчасти метафорически — во Вселенной есть и другие вещи, помимо кварков, — но суть в том, что постулирование лишнего миллиарда галактик не увеличивает размер вашего кода, если вы уже описали одну галактику. Просто потребуется чуть больше оперативной памяти, а бритве Оккама на оперативную память плевать.

Почему? Принцип минимальной длины описания, который практически эквивалентен индукции Соломонова, может прояснить это правило: если вам нужно рассказать кому-то, как устроена ваша модель Вселенной, вам не нужно указывать положение каждого кварка в каждой звезде в каждой галактике по отдельности. Вам нужно лишь записать несколько уравнений. Количество «вещества», подчиняющегося уравнениям, не влияет на то, сколько времени потребуется на их запись. Если вы закодируете эти уравнения в файл размером 100 бит, то будет существовать ещё 2100 других моделей примерно такого же размера, и вам потребуется около 100 бит подтверждающих свидетельств. У вас есть ограниченный объем распределения вероятностей; и априори вы должны разделить его между всеми сообщениями, которые вы могли бы отправить; так что постулирование модели из пространства вариантов размером в 2100 означает, что вам придётся смириться с априорным штрафом в размере 2-100 — но наличие большего числа галактик к этому ничего не добавляет.

Постулирование миллиардов звёзд в миллиардах галактик не влияет на длину вашего сообщения, описывающего общее поведение всех этих галактик. Так что вы не получаете штрафа к вероятности из-за того, что те же самые уравнения описывают больше вещей. (При условии, что предсказательная сила вашей модели не зависит критически от точных начальных условий. Если вам