Если кто-то его создаст – все погибнут. Почему сверхчеловеческий ИИ уничтожит нас всех - Элиезер Шломо Юдковски

а не механическая по своей природе, и находилась она так далеко от Земли, что ни одно послание, отправленное нами к звездам, никогда бы до тех инопланетян не добралось. Выглядели они слегка по-птичьи, думали отчасти по-человечески и придавали огромное значение точному количеству камней в своих гнездах.

(Почему? Ну, земной биолог мог бы предположить, что давным-давно одна самка проявила разборчивость в вопросе, сколько именно камней должно быть в гнездах самцов, и ее жизнь сложилась удачно. Ее многочисленные дочери унаследовали эту черту, и тогда самцы начали эволюционировать соответствующим образом. У них развился более совершенный мозг, который мог точнее считать камни, и это коррелировало с интеллектом, что само по себе было выгодно, и в итоге ни одна самка даже не взглянула бы на самца с неправильным количеством камней в гнезде.)

Для этих “инопланетян Корректного Гнезда” правильное число камней в гнезде просто ощущалось корректным на интуитивном уровне. Примерно так же люди используют слово “правильно”: как для утверждений типа 2 + 2 = 4, так и для поступков с хорошими последствиями вроде спасения ребенка из горящего здания.

Какое же число камней эти инопланетяне считали корректным? Числа 2, 3, 5, 7 и 11 воспринимались корректными, а вот 1, 4, 6, 8, 9 и 10 – некорректными.

(Земной математик мог бы выдвинуть гипотезу: “корректное” количество камней – это простое число. Иными словами, “корректную” кучу камней нельзя разложить в виде прямоугольника – только выложить в один ряд или в один столбец. Но в нашей истории, должны мы отметить, инопланетяне испытывали отвращение к размышлениям о таких священных и прекрасных вещах, как Корректные Гнезда, в терминах сухой, безэмоциональной математики. Для них это было столь же ужасно, как для нас – оценивать человеческую жизнь в долларах.)

Инопланетяне могли видеть, ощущая это интуитивно, корректно или некорректно небольшое количество камней в гнезде: с одного взгляда было понятно, что 11 – корректное число, а 12 – явно некорректное. Однако на этом они не останавливались. Видите ли, внушительнее выглядело гнездо с бóльшим корректным количеством камней, оно попросту казалось сексуальнее. Но когда речь заходила о больших числах, люди-птицы начинали спорить о корректности.

Число 37 корректно или нет? Нужно некоторое время всматриваться, прежде чем удастся понять, что оно корректное. А 60? Вопиюще некорректное число, здесь никто не обманулся бы ни на секунду. Число 91 – дьявольская ложь, способная обмануть множество невинных душ, если бы кто-нибудь построил такое гнездо, но появлялся мудрец, который выкладывал прямоугольник размером 7 на 13 камешков, и этот аргумент казался настолько убедительным, что люди-птицы больше никогда бы не посмотрели на гнездо с 91 камнем.

Неизбежно находились циничные инопланетяне Корректного Гнезда, которые задавались вопросом: “Откуда нам знать, что «прогресс» действительно существует? Тысячу лет назад древние фениксийцы утверждали, что 91 – это корректное количество камней в гнезде, а сегодня мы говорим, что оно некорректное. Почему мы считаем, что стали лучше знать и что это не просто результат конфликта группировок или меняющееся со временем мнение?”

Возможно, именно такие споры и будоражили воображение юноши-птицы и девушки-птицы, когда однажды ночью они лежали на холме, смотрели на звездное небо и вели философскую беседу.

юноша-птица: Представь себе жителей других планет, которые существуют так давно, что уже достигли абсолютного предела возможного развития технологий и цивилизации. Живут ли эти существа исключительно в гнездах из 3001 камня? Или же они настолько невообразимо мудры, что умеют строить гнезда размером со звезды, вмещающие септиллионы камней – причем соответствующие числа не просто корректны, но инопланетяне знают, что они корректны?

девушка-птица: Я бы удивилась, если бы большинство инопланетян вообще оказалось птицами с гнездами. Можно придумать множество разновидностей организмов, способных построить цивилизацию, – подумай, например, о морских существах, имеющих щупальца. Некоторые инопланетяне могут походить на птиц, но такие будут встречаться редко.

юноша-птица: Да ладно, ты же понимаешь, о чем я! Неважно, что у них вместо гнезд и камней в них.

девушка-птица: Я бы предположила, что большинству разновидностей инопланетян попросту… все равно, сколько именно камней в их жилищах. Я думаю, внимание к корректным гнездам – чрезвычайно редкий случай среди разумных существ.

юноша-птица: Хм. А почему?

девушка-птица: Ну, хотя нас самих и волнует корректность гнезд, подобная забота вовсе не кажется обязательной с точки зрения эволюционной логики. Я вполне могу представить себе очень похожих на нас птиц, которым вообще нет дела до корректных гнезд, но при этом у них выживает столько же потомства, сколько и у нас. Это было бы так же удивительно, как найти инопланетян, обладающих чувством юмора. Любовь к своим детям – это одно, но юмор кажется чем-то специфическим. Если у каких-то инопланетян и есть чувство юмора, они, вероятно, находятся так далеко от нас, что ни одно наше послание до них не дойдет.

юноша-птица: Какая странная и ужасная мысль – что большинство жителей Вселенной живут в гнездах с некорректным количеством камней! Но ведь к тому времени, когда разумные существа достигают высот цивилизации и начинают путешествовать среди звезд, им с первого взгляда должно быть ясно, что гнездо с четырьмя камнями – некорректное!

девушка-птица: Если бы инопланетяне задали себе этот вопрос, они бы мгновенно узнали ответ. Но это не то же самое, что придавать значение этой конкретной истине о гнездах. Они просто не задаются таким вопросом.

юноша-птица: Не понимаю. Если они знают про некорректное количество камней, но все равно строят такое гнездо, разве это не глупее, чем не знать? Как они могут быть достаточно умными, чтобы путешествовать к звездам, но при этом настолько глупыми, чтобы жить в ужасных гнездах?

девушка-птица: Они способны спрогнозировать, какие гнезда мы бы назвали корректными, но у них другая цель. Дело не в том, что инопланетяне ошибаются в предсказании того, какое количество камней обладает свойством, называемым у нас “корректностью”. Дело в том, что они движутся к другой цели. Они вообще не ставят себе цель жить в корректных гнездах, поэтому их и нельзя назвать глупыми в смысле неумения прогнозировать или планировать. Они не попадают в нашу цель, поэтому твой мозг считает, что они плохо целятся, однако на деле они просто не пытаются туда попасть.

юноша-птица: Поскольку одержимы какой-то странной инопланетной целью настолько, что у них не осталось сил и времени заботиться о корректности гнезд? Сомневаюсь, что можно достичь звезд, если ты способен маниакально преследовать лишь одну-единственную цель. Это было бы