Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

вас нет вообще никаких знаний о «морали», то не существует и вычислительной процедуры, которая казалась бы более вероятной, чем другие, для вычисления «морали», как нет и метапроцедуры, которая с большей вероятностью, чем другие, выдаст процедуру, вычисляющую «мораль».

Я думал, что уж конечно даже призрак идеальной пустоты, обнаружив, что ничего не знает о морали, увидит моральный императив в том, чтобы размышлять о морали.

Но трудность кроется в самом слове думать. Мышление — это не та деятельность, которую призрак идеальной пустоты способен выполнять автоматически. Мышление требует запуска конкретного вычисления, которое и является мыслью. Чтобы рефлексивный ИИ решил подумать, он должен знать некое вычисление, которое, по его мнению, с большей вероятностью сообщит ему желаемое, чем сеанс с доской Уиджа; кроме того, у ИИ должно быть представление о том, как интерпретировать результат.

Если человек ничего не знает о морали, что вообще означает слово «должно»? Если вы не знаете, правильно ли существование смерти или неправильно — и не знаете, как можно выяснить, правильно оно или неправильно — и не знаете, может ли какая-либо процедура выдать процедуру, определяющую, правильно оно или неправильно, — то что вообще значат эти слова — «правильно» и «неправильно»?

Если в слова «правильно» и «неправильно» изначально ничего не встроено — нет никакой отправной точки — если абсолютно всё в морали открыто для интерпретаций, не только содержание, но и структура, и отправная точка, и процедура определения — то в чем тогда их смысл? Что отличает фразу «Я не знаю, что правильно» от «Я не знаю, что такое вакаликсы»?

Ученый может сказать, что в науке абсолютно все открыто для пересмотра, поскольку любая теория может быть опровергнута; но при этом у него есть определенное представление о том, что считалось бы свидетельством, способным опровергнуть теорию. Может ли существовать нечто, способное изменить представления ученого о том, что считать свидетельством?

Вообще-то да; ученому, который читал Карла Поппера и думал, будто знает, что такое «свидетельство», можно предъявить доказательства согласованности и единственности, лежащие в основе байесовской вероятности, и это может изменить его определение свидетельства. Возможно, у него заранее не было никакого явного представления о том, что подобное доказательство вообще может существовать. Но у него было бы неявное представление. В его мозг — пусть и не в виде явных представлений — было бы изначально вшито, что такой-то аргумент действительно убедит его в том, что байесовская вероятность дает более качественное определение «свидетельства», чем то, которое он использовал раньше.

Точно так же вы можете вполне осмысленно заявить: «Я не знаю, что такое мораль, но я узнаю ее, когда увижу».

Но в таком случае вы не бунтуете полностью против собственной эволюционной природы. Вы предполагаете, что всё, что было вшито в вас для распознавания «морали», является если не абсолютно заслуживающим доверия, то как минимум вашим исходным состоянием, с которого вы начинаете рассуждения. Можете ли вы вообще доверять своим моральным интуициям как источнику хоть какой-то информации о морали, если они — продукт всего лишь эволюции?

Но если вы отбросите все процедуры, которые дала вам эволюция, и все её продукты, то вы отбросите весь свой мозг. Вы отбросите всё, что потенциально способно распознать мораль, когда увидит её. Вы отбросите всё, что потенциально способно реагировать на моральные аргументы, обновляя вашу мораль. Вы даже размотаете цепочку дальше самого разматывателя: вы отбросите интуиции, лежащие в основе вашего вывода о том, что нельзя доверять эволюции в вопросах морали. Именно ваши существующие моральные интуиции говорят вам, что эволюция не кажется очень хорошим источником морали. Что тогда вообще будут значить слова «правильно», «должен» и «лучше»?

Люди не распознают истину безошибочно, когда видят её, а у охотников-собирателей нет явного понятия о байесовском критерии свидетельства. Но вся наша наука и вся наша теория вероятностей были построены на цепочке обращений к нашему инстинктивному понятию «истины». Будь это ядро дефектным, мы в принципе никак не смогли бы прийти к нынешнему пониманию науки; само понятие науки показалось бы нам совершенно непривлекательным и бессмысленным.

Одним из аргументов, который мог бы заставить меня-подростка отказаться от этого заблуждения, если бы я мог вернуться во времени и поспорить с ним, был вопрос:

Может ли существовать некая мораль, некая заданная правильность или неправильность, которую люди не воспринимают, не хотят воспринимать, не увидят ни одного убедительного морального аргумента в пользу её принятия, ни морального аргумента в пользу перехода к процедуре, которая её предписывает, и так далее? Может ли существовать мораль, в то время как мы находимся совершенно вне её системы координат? Но что тогда делает эту вещь моралью — а не просто каменной скрижалью где-то с надписью «Убивай», для которой не предлагается абсолютно никакого обоснования?

Всё это подводит к тому, что вам стоит согласиться с тем, что вы можете знать о морали хотя бы немного. Возможно, ничего бесспорного, но это исходное состояние, с которого можно начать задавать себе вопросы. Возможно, это вшито в ваш мозг и не осознаётся вами явно; но всё же то, что ваш мозг распознал бы как правильное, и есть то, о чём вы говорите. Вы примете хотя бы малую часть того, как вы реагируете на моральные аргументы, в качестве отправной точки, чтобы определить «мораль» как нечто, о чём стоит задуматься.

Но это довольно большой шаг.

Это означает признать, что ваш собственный разум задаёт моральную систему координат, а не считать мораль великим светом, сияющим извне (который вы в принципе могли бы вообще не воспринимать). Это подразумевает признание того, что даже если бы существовал свет и ваш мозг решил распознать его как «мораль», это всё равно был бы ваш собственный мозг, который его распознал, и вы не уклонились бы от причинно-следственной ответственности — как, на мой взгляд, и от моральной ответственности.

Это означает отказ от мысли, что призрак абсолютной пустоты обязательно согласится с вами, поскольку этот призрак может находиться в иной моральной системе координат, реагировать на иные аргументы и задаваться другим вопросом, когда вычисляет, что делать дальше.

И если вы готовы заложить хотя бы несколько вещей в само значение темы «морали», в это свойство правильности, о котором вы говорите, когда ведете речь о «правильности» — если вы готовы принять даже то, что мораль — это как раз то, о чём вы спорите, когда спорите о «морали» — то почему бы не принять и другие интуиции, другие части себя в качестве отправной