Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всех - Элиезер Шломо Юдковски

строить плотины, и для этого нам не понадобились вшитые в гены знания. Теперь мы, подобно бобрам, перегораживаем реки; подобно пчелам, строим себе дома; подобно паукам, плетем сети из нитей. А еще мы строим электростанции и космические ракеты — то, чего не строит вообще ни один другой вид.

Люди способны делать то, чего никогда не делали наши предки и на которые не способны другие животные, благодаря качеству, которое иногда называют «интеллектом». Наши гены не встраивали в нас большинство наших умений — вместо этого мы наблюдали, пробовали, запоминали, обобщали и в итоге добивались своего.

Способность учиться присуща не только людям. Мозг мыши может научиться ориентироваться в лабиринте. Но мы способны на гораздо более мощную версию того, что делает мышиный мозг. Мы можем прокладывать пути в химии и находить дорогу к более дешёвым удобрениям. Мы можем ставить сложнейшие эксперименты, постигать физику и изобретать спутники. Мы можем даже сажать мышей в лабиринты и изучать, как учатся они.

Человеческий мозг способен учиться прокладывать более разнообразные пути через гораздо больший срез реальности, чем любое другое животное. Это и есть наша особая сила.

Как работает эта особая сила? Что именно она делает и каким образом?

На наш взгляд, интеллект заключается в двух фундаментальных видах работы: работе по предсказанию мира и работе по управлению им.

«Предсказание» — это угадывание того, что вы увидите (услышите или почувствуете), еще до того, как органы чувств воспримут это. Если вы едете в аэропорт, ваш мозг успешно справляется с задачей предсказания каждый раз, когда вы предвидите, что светофор переключится на желтый или что водитель впереди нажмет на тормоз.

«Управление» — это поиск действий, ведущих к выбранному результату. Когда вы едете в аэропорт, ваш мозг успешно справляется с управлением, когда находит такую схему поворотов, при которой вы в итоге оказываетесь в аэропорту, или подбирает нужные нервные сигналы для сокращения мышц, заставляющие вас поворачивать руль.

Большинство возможных комбинаций нервных импульсов, которые ваш мозг мог бы послать к пальцам, не позволили бы правильно повернуть руль. Подавляющее большинство таких комбинаций привело бы к диким спазмам и подергиваниям — со стороны казалось бы, что у вас судорожный припадок. Тем не менее каждый день вашему мозгу удается находить именно те нервные импульсы, которые управляют машиной или удерживают вас в вертикальном положении, выуживая верные варианты из бесчисленного множества неверных. Когда вы едете в аэропорт, ваш мозг не просто просчитывает точную последовательность поворотов, ведущих к цели, — он выбирает один из квинтиллиона шаблонов нервных импульсов, сокращающих мышцы именно так, как нужно для поворота руля.

Предсказание и управление тесно переплетены. Управление автомобилем по пути в аэропорт может требовать предсказания того, какие улицы ведут к Аэропортовому бульвару. А предсказание того, какие улицы ведут к Аэропортовому бульвару, может требовать управления пальцами для работы с картой в телефоне.

И всё же мы бы сказали, что между предсказанием и управлением есть принципиальная разница — разница, которая впоследствии окажется чрезвычайно важной.

Успех в предсказании легко измерить. Если кто-то ожидает увидеть впереди Аэропортовый бульвар, а видит Вторую улицу, значит, его предсказание было неверным.

Напротив, чтобы оценить, насколько успешно было управление, нам необходимо ввести представление о том, куда именно человек пытался попасть.

То, что машина человека оказалась у супермаркета, — отличная новость, если он пытался купить продукты. И это полный провал, если он пытался доехать до отделения неотложной помощи в больнице.

По мере того как два жителя одного города становятся умнее, логично ожидать, что они будут всё больше соглашаться друг с другом в вопросах предсказания — например, бывает ли обычно пробка на Второй улице в пять вечера по будням. Но вряд ли стоит ожидать, что они станут стремиться в одни и те же места: один человек может предпочесть пойти в парк, а другой — в театр.

Или, выражаясь иначе, разумные умы могут стремиться к совершенно разным конечным целям, и это вовсе не указывает на какой-то изъян в их интеллекте.

Предсказание и управление — это функции, присущие не только биологическому разуму; машины тоже на это способны. Но на сегодняшний день люди всё ещё остаются лучшими на планете в…

В чём именно? Люди больше не чемпионы мира по шахматам. Люди больше не единственные существа на планете, пользующиеся языком. Люди больше не уникальны в своей способности читать медицинские карты или диагностировать опухоли.

Люди всё ещё остаются чемпионами в чём-то более глубоком — но это особенное «что-то» теперь описать сложнее, чем когда-то.

Нам кажется, что у людей всё ещё есть преимущество в чём-то, что мы могли бы назвать «универсальностью». Что именно под этим подразумевается? Мы бы сказали так: интеллект более универсален, когда он способен предсказывать и управлять в более широком спектре областей. Люди не обязательно лучшие во всём; возможно, мозг осьминога лучше справляется с управлением восемью щупальцами. Но в некотором более широком смысле очевидно, что люди — более универсальные мыслители, чем осьминоги. У нас шире те сферы, в которых мы можем успешно предсказывать и управлять.

Некоторые ИИ умнее нас в узких областях. В 1997 году суперкомпьютер Deep Blue от IBM стал первой машиной, обыгравшей чемпиона мира по шахматам среди людей. Deep Blue отлично справлялся с предсказанием и управлением, когда дело касалось шахмат. Но Deep Blue не мог предсказать, как добраться до продуктового магазина и купить молока, не говоря уже о том, чтобы направить туда автомобиль. Разум может быть более или менее искусен в различных областях предсказания и управления.

Новейшие ИИ обладают гораздо более универсальными способностями. Вы можете спросить модель от OpenAI под названием «o1», какая температура установилась бы на Земле, если бы солнечный свет стал инфракрасным, и o1 найдёт ответ, произведя физические расчёты. Затем вы можете спросить, сможет ли человечество выращивать пищу в этом новом мире, и o1 ответит, исходя из своих знаний по биологии растений. Под капотом она не переключается между двумя разными базами данных; она просто знает и физику, и биологию.

o1 от OpenAI знает, что существует целый внешний мир, и способна рассуждать о нём. Deep Blue не имел об этом ни малейшего представления. Потребовались десятилетия, чтобы ИИ продвинулся так далеко.

И всё же в некотором смысле способности o1 к универсальному рассуждению не дотягивают до человеческих стандартов. Люди всё ещё впереди, когда речь заходит о технологиях