Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Ну и что с того?

*

Часть M. Хрупкие цели.

143. Вера в интеллект.

Я не знаю, какие ходы сделает Гарри Каспаров в шахматной партии. В чём же тогда заключается эмпирическое содержание моего убеждения в том, что «Каспаров — чрезвычайно умный шахматист»? Каких наблюдений в реальном мире заставляет меня ожидать моё убеждение? Не является ли оно искусно замаскированной формой полного невежества?

Чтобы обострить дилемму, предположим, что Каспаров играет против обычного шахматного гроссмейстера, господина Г., который не претендует на звание чемпиона мира. Мой собственный уровень игры слишком низок, чтобы я мог различить эти уровни шахматного мастерства. Когда я пытаюсь угадать ход Каспарова или следующий ход господина Г., всё, что я могу — это попытаться угадать «лучший шахматный ход», используя свои собственные скудные познания в шахматах. В таком случае для любой конкретной шахматной позиции я выдал бы абсолютно одинаковые предсказания как для хода Каспарова, так и для хода господина Г. Так в чём же тогда заключается эмпирическое содержание моего убеждения, что Каспаров — более сильный шахматист, чем господин Г.?

Эмпирическое содержание моего убеждения — это проверяемое, фальсифицируемое предсказание о том, что конечная шахматная позиция окажется в классе позиций, означающих победу Каспарова, а не ничью или победу господина Г. (Сдача партии при этом считается допустимым ходом, ведущим к позиции, классифицируемой как поражение.) То, насколько я считаю Каспарова «более сильным игроком», отражается в объёме вероятностной массы, которую я сосредоточиваю на классе исходов «победа Каспарова» по сравнению с классами «ничья» и «победа господина Г.». Эти классы крайне расплывчаты в том смысле, что они охватывают огромные пространства возможных шахматных позиций, — но исход «Каспаров побеждает» всё же более конкретен, чем максимальная энтропия, поскольку его можно однозначно опровергнуть огромным множеством шахматных позиций.

Исход игры Каспарова предсказуем, потому что я знаю и понимаю цели Каспарова. В рамках шахматной доски мне известны мотивы Каспарова — я знаю его критерий успеха, его функцию полезности, его цель как процесса оптимизации. Я знаю, куда Каспаров в конечном счёте пытается направить будущее, и ожидаю, что у него достаточно сил, чтобы туда добраться, хотя мало что могу предсказать относительно того, как Каспаров собирается это сделать.

Представьте, что я приехал в далёкий город, и местный друг вызывается подвезти меня в аэропорт. Я не знаю этих мест. Каждый раз, когда мой друг приближается к перекрёстку, я не знаю, повернёт ли он налево, направо или продолжит движение прямо. Я не могу предсказать маневр моего друга, даже когда мы приближаемся к очередному перекрёстку, — не говоря уже о том, чтобы предсказать всю последовательность действий заранее.

И всё же я могу предсказать результат непредсказуемых действий моего друга: мы прибудем в аэропорт. Даже если бы дом моего друга находился в другой части города и ему пришлось бы сделать совершенно другую последовательность поворотов, я с такой же уверенностью предсказал бы наше прибытие в аэропорт. Я могу предсказать это задолго до поездки, ещё даже не сев в машину. Мой рейс скоро вылетает, и нельзя терять ни минуты; я бы вообще не сел в машину, если бы не мог с уверенностью предсказать, что она прибудет в аэропорт по непредсказуемому маршруту.

Разве это не удивительная ситуация с научной точки зрения? Я могу предсказать исход процесса, не имея возможности предсказать ни один из его промежуточных шагов.

Как такое вообще возможно? Обычно люди строят предсказания, мысленно представляя настоящее, а затем прокручивая эту визуализацию вперёд во времени. Если вам нужна точная модель Солнечной системы, учитывающая планетные возмущения, вы должны начать с модели всех крупных объектов и запустить эту модель вперёд во времени, шаг за шагом.

Иногда более простые задачи имеют аналитическое решение, когда расчёт будущего в момент времени T требует одинакового объёма вычислений независимо от величины T. На столе лежит монета, и каждую минуту она переворачивается. Вначале она лежит орлом вверх. Какой стороной она будет лежать вверх через сто минут? Очевидно, вы ответили на этот вопрос, не визуализируя сто промежуточных шагов. Вы использовали аналитическое решение, которое позволило предсказать результат и также подошло бы для предсказания любого из промежуточных шагов.

Но когда мой друг везёт меня в аэропорт, я успешно предсказываю результат с помощью странной модели, которая не сработает для предсказания ни одного из промежуточных шагов. Моя модель даже не требует от меня ввода начальных условий — мне не нужно знать, откуда именно в городе мы начинаем путь!

Кое-что о своём друге мне всё же знать необходимо. Я должен знать, что мой друг хочет, чтобы я успел на самолёт. Я должен верить, что мой друг — достаточно хороший планировщик, чтобы успешно довезти меня до аэропорта (если он этого захочет). Это свойства начального состояния моего друга — свойства, которые позволяют мне предсказать конечный пункт назначения, пусть и не промежуточные повороты.

Я также должен верить, что мой друг знает город достаточно хорошо для успешной поездки. Это можно рассматривать как отношение между моим другом и городом; следовательно, как свойство обоих. Но это крайне абстрактное свойство, которое не требует никаких конкретных знаний ни о самом городе, ни о том, что именно знает о нём мой друг.

Это один из способов взглянуть на предмет, которому я посвятил свою жизнь, — на эти удивительные ситуации, которые ставят нас в столь странное эпистемическое положение. И мою работу в некотором смысле можно рассматривать как раскрытие точной формы того странного абстрактного знания, которым мы можем обладать и которое позволяет нам, не зная действий, обоснованно знать последствия.

«Интеллект» — слишком узкий термин, чтобы описать эти удивительные ситуации во всей их полноте. Я бы скорее использовал понятие «процесс оптимизации». Схожая ситуация возникает, например, при изучении биологического естественного отбора: мы не можем предсказать точный вид следующего наблюдаемого организма.

Но моя собственная специализация — это тот вид процессов оптимизации, который называют «интеллектом»; и, в ещё более узком смысле, особый вид интеллекта под названием «дружественный искусственный интеллект» — о котором, я надеюсь, мне удастся получить особенно точное абстрактное знание.

*

144. Люди в нелепых костюмах.

Человечество множество раз отправлялось в космос лишь для того, чтобы