Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

выход транзистора на -3 вольта, что означает несогласие. В этом нет ничего внепричинного: серый человечек находится там потому, что мы его туда встроили. Идея аргумента, способного убедить любой разум, по-видимому, предполагает наличие маленькой синей женщины, которую никогда в систему не встраивали, но которая вылезает буквально из ниоткуда и душит серого человечка, потому что этот транзистор просто обязан выдать +3 вольта. Ведь это такой убедительный аргумент, понимаете.

Но убедительность — это свойство не аргументов, а разумов, которые эти аргументы обрабатывают.

Так что я спорю с концепцией призрака не только ради того, чтобы обосновать две вещи: 1) Дружественный ИИ необходимо программировать явным образом и 2) законы физики не запрещают создание Дружественного ИИ. (Хотя, конечно, я весьма заинтересован в том, чтобы доказать это).

Я также хочу утвердить представление о разуме как о причинно-следственной, закономерной физической системе, в которой нет никакого несводимого центрального призрака, приглядывающего за нейронами или кодом и решающего, хорошие ли это предложения.

(В теории Дружественного ИИ существует концепция намеренного программирования ДИИ таким образом, чтобы он пересматривал свой собственный исходный код и, возможно, возвращал его программистам. Но пересматривающий разум не является несводимым, это просто разум, который вы создали. ДИИ перенастраивает себя ровно так, как это было заложено в его архитектуре; здесь нет никакого внепричинного вмешательства извне. Бутстрэп, а не крюк с неба.)

Всё это перекликается с беспокойством по поводу «произвольных» байесовских априорных вероятностей. Если вы покажете мне байесианца, который вытаскивает из бочки 4 красных шара и 1 белый и присваивает вероятность 5/7 тому, что следующим вытянет красный шар (по правилу преемственности Лапласа), я смогу показать вам другой разум, который, подчиняясь правилу Байеса, придёт к выводу, что вероятность получить красный шар в следующий раз равна 2/7 — что соответствует иному априорному убеждению касательно бочки, пусть даже, возможно, менее «разумному».

Многие философы убеждены, что раз в принципе можно сконструировать такое априорное распределение, которое при обработке потока свидетельств обновится до любого заданного вывода, то, следовательно, байесовские рассуждения должны быть «произвольными», а вся схема байесианства — ошибочной, поскольку она опирается на «необоснованные» предположения, и даже «ненаучной», поскольку вы не можете заставить любого возможного редактора научного журнала в пространстве разумов согласиться с вами.

И это (ответил я) опирается на представление о том, что, размотав назад все аргументы и их обоснования, можно получить идеального студента-философа совершенной пустоты, которого убедит цепочка рассуждений, начинающаяся вообще без каких-либо предпосылок.

Но кто этот идеальный философ совершенной пустоты? Да ведь это просто несводимое ядро призрака!

И именно поэтому (продолжил я) результатом попытки убрать из разума все предпосылки и откатить его до идеального отсутствия каких-либо априорных вероятностей окажется не идеальный философ совершенной пустоты, а камень. Что останется от разума, если удалить исходный код? Не призрак, присматривающий за исходным кодом, а просто... отсутствие призрака.

Поэтому — и к этой теме я ещё вернусь позже — на чём бы вы ни основывали свои понятия состоятельности, ценности, рациональности, обоснованности или даже объективности, они не могут опираться на аргумент, который был бы универсально убедительным для всех физически возможных разумов.

Нельзя также основывать состоятельность на цепочке обоснований, которая, начинаясь с нуля, убеждает совершенную пустоту.

Конечно, могут существовать цепочки аргументов, которые убедят любого неврологически здорового человека — вроде тех доводов, которые я использую, чтобы заставить людей выпустить ИИ из коробки1 — но с философской точки зрения это едва ли то же самое.

Первая крупная ошибка тех, кто пытается размышлять о Дружественном ИИ — это «Единственный Великий Моральный Принцип, Который Нам Только И Нужно Запрограммировать» (он же фальшивая функция полезности), и об этом я уже говорил.

Но ещё более тяжёлая ошибка — это «Единственный Великий Моральный Принцип, Который Нам Даже Не Нужно Программировать, Потому Что Любой ИИ Неизбежно Придёт К Нему Сам». Эта идея оказывает пугающее, нездоровое притяжение на тех, кто спонтанно открывает её заново; они мечтают о командах, которых не сможет ослушаться ни один достаточно развитый разум. Сами боги провозгласят правоту их философии! (Например, Джон К. Райт, Марк Геддес.)

Существует также менее тяжёлая версия этой ошибки, при которой не провозглашают Единую Истинную Мораль, а вместо этого надеются на ИИ, созданный совершенно свободным, не ограниченным несовершенными людьми, желающими получить рабов, чтобы ИИ мог прийти к добродетели по собственной воле — добродетели, возможно, даже не снившейся говорящему, который признаёт себя слишком несовершенным, чтобы обучать ИИ. (Например, Джон К. Кларк, Ричард Холлерит?, Элиезер1996.) Этот мотив менее порочен, чем мечта об абсолютной власти. Но хотя эта мечта рождена скорее добродетелью, нежели пороком, она всё равно основана на ошибочном понимании свободы и на самом деле не сработает в реальной жизни. Об этом, разумеется, подробнее дальше.

Джон К. Райт, который до этого писал отличную трансгуманистическую трилогию (первая книга — «Золотой век»), вставил длиннейший авторский монолог в середину своей кульминационной третьей книги, на десятках страниц расписывая свою Универсальную Мораль, Которая Обязана Убедить Любой ИИ. Не знаю, произошло ли там дальше хоть что-то, потому что я бросил читать. А потом Райт обратился в христианство — да, серьёзно. Так что вам уж точно не захочется угодить в эту ловушку!

*

1. Шучу.

267. Созданный уже в движении.

Льюис Кэрролл, который также был математиком, однажды написал короткий диалог под названием «Что Черепаха сказала Ахиллу». Если вы еще не читали эту древнюю классику, рекомендую сделать это прямо сейчас.

Черепаха предлагает Ахиллу логический шаг, взятый из первого предложения Евклида:

(А) Вещи, равные одному и тому же, равны между собой.

(B) Две стороны этого Треугольника суть вещи, равные одному и тому же.

(Z) Две стороны этого Треугольника равны между собой.

Черепаха: «И если бы какой-нибудь читатель еще не признал истинность А и В, он все равно мог бы счесть саму последовательность правильной, не так ли?»

Ахилл: «Несомненно, такой читатель мог бы существовать. Он мог бы сказать: „Я признаю истинным условное суждение о том, что если А и В истинны, то Z должно быть истинным; но я не признаю истинными А и В“. Такому читателю стоило бы благоразумно оставить Евклида и заняться футболом».

Черепаха: «А не может ли также найтись читатель, который скажет: „Я признаю А и В истинными, но я не признаю условное суждение“?»

Ахилл опрометчиво соглашается с этим и потому просит