Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

…Человеческая психология настолько исковеркана.

*

29. Послезнание обесценивает науку.

Это эссе во многом основано на отрывке из книги Майерса «Исследуя социальную психологию»;1 этот отрывок стоит прочесть целиком.

Каллен Мерфи, редактор The Atlantic, писал, что социальные науки не предлагают «никаких идей или выводов, которые нельзя было бы найти в [любом] сборнике цитат… День за днем исследователи выходят в мир. День за днем они обнаруживают, что поведение людей оказывается именно таким, какого вы от них и ожидали».

Разумеется, это «ожидание» строится исключительно на послезнании. (Эффект послезнания: испытуемые, знающие правильный ответ на вопрос, оценивают вероятность того, что они «и сами бы» так ответили, гораздо выше, чем испытуемые, вынужденные отвечать, не зная правильного ответа.)

Историк Артур Шлезингер-младший отмахнулся от научных исследований опыта солдат Второй мировой войны, назвав их «тяжеловесными демонстрациями» здравого смысла. Например:

Солдаты с более высоким уровнем образования испытывали больше проблем с адаптацией, чем менее образованные солдаты. (Интеллектуалы были менее подготовлены к тяготам боя, чем люди с уличной закалкой.)

Солдаты с Юга справлялись с жарким климатом островов Южных морей лучше, чем солдаты с Севера. (Южане более привычны к жаркой погоде.)

Белые рядовые сильнее стремились к продвижению в унтер-офицеры, чем чернокожие рядовые. (Годы угнетения подрывают мотивацию достижения.)

Чернокожие южане предпочитали белых офицеров-южан офицерам-северянам. (Южные офицеры имели больше опыта и навыков в общении с чернокожими.)

Пока продолжались боевые действия, солдаты сильнее стремились вернуться домой, чем после окончания войны. (Во время боев солдаты знали, что находятся в смертельной опасности.)

Как вы думаете, сколько из этих выводов вы смогли бы предсказать заранее? Три из пяти? Четыре из пяти? Есть ли случаи, когда вы предсказали бы прямо противоположное — когда ваша модель получает удар? Задумайтесь на мгновение, прежде чем продолжить…

. . .

В этой демонстрации (взятой у Пола Лазарсфельда через Майерса) все перечисленные выше результаты прямо противоположны тому, что было обнаружено на самом деле.2 Сколько раз вы подумали, что ваша модель получила удар? Сколько раз вы признались себе, что оказались бы неправы? Вот насколько хороша была ваша модель на самом деле. Мера вашей силы как рационалиста — это способность испытывать большее недоумение от вымысла, чем от реальности.

Если только, конечно, я не перевернул результаты еще раз. Что думаете?

Отличаются ли ваши мыслительные процессы в этот момент, когда вы действительно не знаете ответа, от тех, с помощью которых вы рационализировали тот или иной вариант «известного» ответа?

Дафна Барац показывала студентам колледжа пары якобы научных выводов: один из них был реальным («В благополучные времена люди тратят бо́льшую долю своего дохода, чем во время кризиса»), а другой — противоположным истине.3 Для обоих вариантов студенты заявляли, что они «и сами бы это предсказали». Совершенно типичный эффект послезнания.

Что и заставляет людей думать, будто наука им не нужна, поскольку они и так «могли бы это предсказать».

(Как и следовало ожидать, верно?)

Послезнание заставляет нас систематически недооценивать неожиданность научных открытий, особенно те, которые мы понимаем, — те, что кажутся нам реальными и которые мы можем задним числом встроить в свои модели мира. Если вы разбираетесь в нейробиологии или физике и читаете новости по этим темам, вы, вероятно, недооцениваете неожиданность открытий и в этих областях. Это несправедливо обесценивает вклад исследователей, но что еще хуже — мешает вам заметить, когда перед вами оказываются свидетельства, не соответствующие тому, чего вы на самом деле ожидали бы.

Нам нужно прилагать сознательные усилия, чтобы поражаться в достаточной мере.

*

1. David G. Meyers, Exploring Social Psychology (New York: McGraw-Hill, 1994), 15–19.

2. Paul F. Lazarsfeld, “The American Solidier—An Expository Review,” Public Opinion Quarterly 13, no. 3 (1949): 377–404.

3. Daphna Baratz, How Justified Is the “Obvious” Reaction? (Stanford University, 1983).

Часть D. Таинственные ответы.

30. Ложные объяснения.

Однажды один преподаватель физики собрал своих студентов в аудитории. Он показал им широкую квадратную металлическую пластину, стоявшую рядом с горячим радиатором отопления. Каждый из студентов приложил руку к пластине и обнаружил, что сторона, прилегающая к радиатору, была холодной, а противоположная — теплой. И преподаватель спросил: Как по-вашему, почему это происходит? Кто-то из студентов предположил конвекцию воздушных потоков, кто-то — необычные металлы в составе пластины. Они придумали множество изобретательных объяснений, и никто не опустился до того, чтобы сказать «Я не знаю» или «Это кажется невозможным».

А разгадка заключалась в том, что перед тем как студенты вошли в аудиторию, преподаватель развернул пластину другой стороной.1

Представьте себе студента, который лихорадочно бормочет: «Э-э, ну, может, из-за теплопроводности там, или типа того?» Я спрашиваю: является ли этот ответ настоящим убеждением? Эти слова довольно легко произнести — сказать их громким, уверенным голосом. Но действительно ли эти слова управляют вашими ожиданиями?

Задумайтесь над этой невинной короткой фразой «из-за», которая стоит перед «теплопроводности». Подумайте о других вещах, которые мы могли бы поставить после нее. Мы могли бы сказать, например: «Из-за флогистона» или «Из-за магии».

«Магия! — воскликнете вы. — Но это же не научное объяснение!» И в самом деле, фразы «из-за теплопроводности» и «из-за магии» без труда распознаются как принадлежащие к разным литературным жанрам. «Теплопроводность» — это то, что мог бы сказать Спок в «Звездном пути», тогда как «магия» скорее прозвучала бы из уст Джайлза в сериале «Баффи — истребительница вампиров».

Однако мы, как байесовцы, не обращаем внимания на литературные жанры. Для нас суть любой модели заключается в том, как она управляет нашими ожиданиями. Если вы говорите «теплопроводность», то какой опыт вы в результате ожидаете получить? При обычных обстоятельствах это заставляет вас ожидать, что если вы положите руку на ту сторону пластины, что ближе к радиатору, она окажется теплее противоположной. Если же фраза «из-за теплопроводности» способна объяснить и то, почему прилегающая к радиатору сторона кажется холоднее, значит, она может объяснить практически все что угодно.

И как мы все к этому моменту уже знаем (я очень на это надеюсь), если вы одинаково успешно объясняете любой исход, ваши знания равны нулю. Словосочетание «из-за теплопроводности», использованное подобным образом, представляет собой замаскированную гипотезу максимальной энтропии. С точки зрения ожиданий это изоморфно слову «магия». Оно кажется объяснением,