Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

насколько ярким кажется источник света, вы обычно спрашиваете слушателя или наблюдателя. Для этого можно использовать ограниченную шкалу — от «очень тихо» до «очень громко» или от «очень тускло» до «очень ярко». Можно использовать и неограниченную шкалу, где ноль означает «совсем не слышно» или «совсем не видно», а дальнейшие значения растут без предела. При использовании неограниченной шкалы наблюдателю обычно предъявляют постоянный стимул — модуль, которому присваивается фиксированная оценка. Например, звуку присваивается громкость 10. Тогда, если следующий звук покажется наблюдателю вдвое громче модуля, он может обозначить его числом 20.

И этот метод зарекомендовал себя как довольно надежный. Но что произойдет, если дать испытуемым неограниченную шкалу, но не дать модуля? От нуля до бесконечности, без всякой опорной точки для фиксированного значения? Разумеется, тогда они выдумают свой собственный модуль. Соотношения между стимулами по-прежнему будут надежно коррелировать у разных испытуемых. Испытуемый А говорит, что громкость звука X равна 10, а звука Y — 15. Если испытуемый Б говорит, что громкость звука X равна 100, то можно с уверенностью предположить, что звуку Y он присвоит громкость где-то в районе 150. Но если вы не знаете, какой модуль — какой масштабный коэффициент — использует испытуемый В, то у вас нет ни единого шанса угадать, какую оценку он даст звуку X. Это может быть и 1, и 1000.

Для испытуемого, оценивающего один-единственный звук по неограниченной шкале без фиксированного эталона сравнения, почти вся дисперсия обусловлена произвольным выбором модуля, а не самим звуком.

«Хм, — думаете вы, — это чертовски напоминает присяжных, совещающихся о размере штрафного возмещения. Неудивительно, что здесь такой разброс!» Интересная аналогия, но как доказать её экспериментально?

Канеман и его коллеги ознакомили 867 потенциальных присяжных с описаниями судебных дел (например, о ребенке, на котором загорелась одежда) и попросили их выполнить одно из трех действий:

Оценить по ограниченной шкале, насколько возмутительными были действия ответчика;

Оценить по ограниченной шкале степень, в которой ответчик должен быть наказан; или

Определить размер штрафного возмещения в долларах.1

И — о чудо! — хотя оценки возмущения и строгости наказания у разных испытуемых отлично коррелировали между собой, назначенные ими суммы штрафного возмещения демонстрировали огромный разброс. И тем не менее ранжирование сумм штрафного возмещения испытуемыми — то есть их распределение от наименьшей суммы к наибольшей — хорошо коррелировало между собой.

Если задаться вопросом, какая доля дисперсии в шкале «наказания» объясняется конкретным сценарием — тем или иным судебным делом, предложенным разным испытуемым, — то ответ даже для исходных оценок составит 0,49. Для рангового порядка ответов в долларовом выражении предсказанная доля дисперсии составляла 0,51. А для абсолютных долларовых сумм объясненная дисперсия составила всего 0,06!

Иными словами, зная сценарий (того самого ребенка в загоревшейся одежде), вы могли бы довольно точно угадать оценку наказания и ранговый порядок выплаты в долларовом выражении относительно других дел, но саму сумму компенсации предсказать было бы абсолютно невозможно.

Вычисление медианы для двенадцати случайно выбранных ответов тоже не особо помогало.

Таким образом, присуждаемая присяжными сумма штрафного возмещения — это не столько экономическая оценка, сколько выражение отношения, психофизическая мера возмущения по неограниченной шкале без стандартного модуля.

Я замечаю, что многие футуристические прогнозы точно так же правильнее всего рассматривать как выражение отношения. Возьмем вопрос: «Сколько времени пройдет, прежде чем мы создадим ИИ человеческого уровня?» Ответы, которые я слышал, разнятся колоссально. Однажды один представитель ИИ-мейнстрима сказал мне: «Через пятьсот лет». (!!)

Причины, по которым сроки создания ИИ попросту плохо предсказуемы, — это тема для отдельного долгого разговора. Но ведь не то чтобы парень, сказавший «пятьсот лет», заглянул в будущее, чтобы это выяснить. И он не мог получить эту цифру с помощью стандартного псевдонаучного метода с использованием закона Мура. Так что же означало это число 500?

Насколько я могу судить, это равносильно вопросу: «Если представить шкалу, где ноль — „совсем не сложно“, то насколько сложной проблема ИИ ощущается вами?» Будь эта шкала ограниченной, любой здравомыслящий респондент отметил бы крайнюю правую точку — «невероятно сложно». Всё кажется невероятно сложным, когда вы не знаете, как это сделать. Но вместо этого перед ними неограниченная шкала без стандартного модуля. И люди просто придумывают число, обозначающее «крайне сложно», — им может оказаться и 50, и 100, и даже 500. Затем они приписывают в конце слово «лет», и вот вам готовый футуристический прогноз.

«Насколько сложной ощущается проблема ИИ?» — не единственный вопрос, которым подменяют исходный. Другие отвечают так, словно я спросил: «Насколько позитивно вы настроены по отношению к ИИ?» (с той лишь разницей, что меньшие числа означают более позитивный настрой), а потом тоже приписывают в конце слово «лет». Но если эти «оценки времени» выражают что-то иное, кроме отношения по неограниченной шкале без модуля, мне так и не удалось этого обнаружить.

*

Даниэль Канеман, Дэвид А. Шкаде и Касс Р. Санстейн, «Общее негодование и непредсказуемые компенсации: психология штрафного возмещения», Journal of Risk and Uncertainty 16, № 1 (1998): 48–86, doi:10.1023/A:1007710408413; Даниэль Канеман, Илана Ритов и Дэвид Шкаде, «Экономические предпочтения или выражение отношения? Анализ ответов в долларовом выражении на общественные проблемы», Journal of Risk and Uncertainty 19, № 1–3 (1999): 203–235, doi:10.1023/A:1007835629236.

103. Эффект ореола.

Эвристика аффекта — это то, как общее ощущение хорошего или плохого влияет на множество других суждений, логично это или нет, осознаёте вы это или нет. Испытуемые, которым рассказали о преимуществах ядерной энергетики, склонны оценивать её риски как более низкие; биржевые аналитики, оценивая незнакомые акции, судят о них как о «в целом хороших» или «в целом плохих» — низкий риск и высокая доходность или же высокий риск и низкая доходность — вопреки стандартной экономической теории, согласно которой риск и доходность должны коррелировать положительно.

Эффект ореола — это проявление эвристики аффекта в социальной психологии. Роберт Чалдини в книге «Влияние: наука и практика»,1 резюмирует:

Исследования показывают, что мы автоматически приписываем привлекательным людям такие положительные качества, как талант, доброта, честность и ум (обзор этих данных см. в работе: Eagly, Ashmore, Makhijani, and Longo, 1991).2 Более того, мы выносим эти суждения, не осознавая, что физическая привлекательность играет здесь какую-то роль. Некоторые последствия неосознанного допущения «красивый — значит хороший» меня пугают. Например, исследование федеральных выборов в Канаде в 1974 году показало, что привлекательные кандидаты получили более чем в два с