Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Боялись бы мы боли меньше, будь мы сильнее, если бы наша повседневная жизнь не истощала и без того столь большую часть наших резервов?

Вот вам и одна из альтернатив миру Пирса — если существуют другие варианты, я их детально не продумывал.

Можно назвать это «путём мужества» — идея в том, что если устранить разрушительный вид боли и сделать людей сильнее, то оставшееся не должно быть настолько уж страшным.

Мир, где есть печаль, но нет массовой систематической бессмысленной скорби, которую мы видим в вечерних новостях. Мир, где боль, пусть и не устранённая полностью, по крайней мере не перевешивает удовольствие. Об этом мире можно было бы писать книги, а его жители могли бы читать наши книги.

Я действительно склонен довольно консервативно относиться к идее удаления больших пластов человеческой природы. Я не знаю, сколько крупных фрагментов можно вырезать, прежде чем эта сбалансированная, противоречивая, динамичная структура схлопнется во что-то более простое — например, в максимизатор ожидаемого удовольствия.

И потому я признаю, что именно «путь мужества» привлекает меня больше.

С другой стороны, мне не довелось пожить в обоих этих мирах.

Может быть, я просто боюсь мира, столь отличного от нашего, как Анальгезия — и не иронично ли, если именно из-за этого страха я выбираю «путь мужества»?

Может быть, «путь мужества» просто кажется меньшим изменением — а возможно, мне просто трудно сопереживать кому-то через столь огромную пропасть.

Но «перемены» — это движущаяся мишень.

Если бы ребёнок вырос в менее болезненном мире — если бы он никогда не жил в мире СПИДа, рака или рабства и потому не знал об этих вещах как о зле, которое было триумфально ликвидировано, и потому не считал бы, что «всё уже сделано» или что мир «уже достаточно изменился»...

Сделал бы он следующий шаг, попытавшись устранить невыносимую боль разбитых сердец, когда человека разлюбили?

И что тогда? Наступит ли момент, когда «Ромео и Джульетта» будет казаться всё менее и менее актуальной, превращаясь в реликт далёкого забытого мира? Придём ли мы в ходе трансгуманистического пути в точку, где вся эта система отрицательного подкрепления покажется не более чем бессмысленным похмельем, от которого давно пора очнуться?

И если так, есть ли смысл в том, чтобы откладывать этот последний шаг? Или нам следует просто отбросить страхи и... отбросить страхи?

Я не знаю.

*

1. Джордж Оруэлл, «Почему социалисты не верят в веселье», Tribune (декабрь 1943 г.).

2. Дэвид Пирс, «Гедонистический императив», http://www.hedweb.com/, 1995.

279. Ценность хрупка.

Если бы мне пришлось выбрать одно-единственное утверждение, которое опирается на большее количество написанного мной для Overcoming Bias материала, чем любое другое, то это было бы утверждение:

Любое Будущее, не сформированное целевой системой с детальным и надежным наследованием человеческой морали и метаморали, не будет содержать почти ничего ценного.

— Ну, — говорит оппонент, — возможно, с точки зрения твоих провинциальных человеческих ценностей, тебе бы это и не понравилось. Но я легко могу представить себе галактическую цивилизацию, полную агентов, которые ничуть не похожи на тебя, но находят огромную ценность и интерес в своих собственных целях. И меня это вполне устраивает. Я не настолько предвзят, как ты. Пусть Будущее идёт своим путём, не надо пытаться навечно привязать его к смехотворно примитивным предрассудкам кучки четырёхконечностных Мягкотелых Тварей...

Друг мой, я ничего не имею против мысли о галактической цивилизации, совершенно не похожей на нашу... полной странных существ, которые не похожи на меня даже в собственном воображении... стремящихся к удовольствиям и опыту, которым я не могу даже начать сопереживать... торгующих на рынке невообразимых товаров... объединяющихся для достижения непостижимых целей... людей, чьи жизненные истории я никогда бы не смог понять.

Именно так выглядит Будущее, если все идет правильно.

Если цепочка наследования от человеческой (мета)морали прервется, Будущее не будет выглядеть так. Оно не станет волшебно и восхитительно непостижимым.

С очень высокой вероятностью оно в итоге окажется унылым. Бессмысленным. Чем-то таким, о чьей утрате вы не стали бы горевать.

Чтобы увидеть в этом очевидное, как раз и требуется то огромное количество фоновых объяснений.

И я не собираюсь перебирать здесь все тезисы и извилистые пути аргументации, потому что это вернуло бы нас к 75% моих постов в Overcoming Bias. За исключением замечания о том, как много разных вещей нужно знать, чтобы ограничить рамками окончательный ответ.

Рассмотрим невероятно важную человеческую ценность «скуки» — наше желание не делать «одно и то же» снова, снова и снова. Можно представить себе разум, содержащий почти всю спецификацию человеческих ценностей, почти всю мораль и метамораль, но упустивший лишь одну эту вещь —

— и потому он до скончания времен и до самых дальних уголков своего светового конуса проигрывал одно-единственное высокооптимизированное переживание снова, снова и снова.

Или представьте разум, содержащий почти всю спецификацию того, какие чувства доставляют людям наибольшее удовольствие, но без идеи о том, что у этих чувств есть важные внешние референты. Так что этот разум просто существовал бы, чувствуя, будто совершил важное открытие, чувствуя, будто нашел идеального возлюбленного, чувствуя, будто помог другу, но на самом деле не делая ничего из этого — став собственной машиной опыта. И если бы этот разум стремился к этим чувствам и их референтам, будущее было бы хорошим и настоящим; но поскольку это одно измерение ценности было упущено, будущее превратилось в нечто унылое. Скучное и однообразное, ведь хотя этот разум и чувствовал, что сталкивается с переживаниями невероятной новизны, это ощущение ни в коей мере не соответствовало истине.

Или противоположная проблема — агент, содержащий все аспекты человеческих ценностей, за исключением оценки субъективного опыта. В результате получается лишённый сознания оптимизатор, который совершает подлинные открытия, но эти открытия никто не смакует и не ценит, потому что некому это делать. Признаю, я не знаю наверняка, возможно ли это. Сознание все еще в некоторой степени ставит меня в тупик. Но вселенной, в которой некому свидетельствовать о ней, с тем же успехом могло бы и не быть.

Ценность не просто сложна, она хрупка. Существует более одного измерения человеческих ценностей, где утрата лишь одного этого элемента сводит Будущее к нулю. Один удар — и вся ценность разлетается вдребезги. Не каждый отдельный удар разрушит всю ценность — но более чем один возможный «одиночный удар» способен