Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

эффективность которого можно было бы подтвердить экспериментально и перенять всем остальным, а скорее путем основания собственной «школы», державшейся на вашей личной харизме как основателя и на красивых историях о том, почему ваши методы должны работать.

Вероятно, в немалой степени именно это изначально обеспечило само существование и выживание психотерапии — обещание стать Мастером, подобно Фрейду, который сделал это первым (тоже без малейшей крупицы экспериментальных доказательств). Это тот самый вожделенный приз успеха, за которым стоит гнаться, — перспектива стать гуру и обзавестись собственными последователями. Именно борьба за последователей — это то, что держит духовенство в тонусе.

Вот что происходит с областью знаний, когда она освобождается от оков экспериментальных доказательств — хотя были и другие факторы, которые также подвергали психотерапевтов риску: например, почтительное отношение к ним со стороны пациентов, желание общества верить в возможность исцеления разума и, конечно же, общая опасность указывать людям, как им думать.

(Доус писал в 80-х годах, и я знаю, что тест Роршаха все еще использовался в 90-х, но возможно, с тех пор ситуация улучшилась (как утверждает один из комментаторов). Я помню, что слышал о положительных доказательствах большей эффективности когнитивно-поведенческой терапии.)

Развитие гедонистической психологии (исследований счастья) в некоторой степени началось с осознания того, что счастье можно измерить — что существует целое семейство показателей, которые, черт возьми, отлично согласуются друг с другом при проверке.

Само создание нового способа измерения создает новую науку; если это хороший способ измерения, вы получаете хорошую науку.

Если вы собираетесь создать организованную практику чего бы то ни было, вам действительно необходим способ определять, насколько хорошо у вас идут дела, и практика проведения серьезного тестирования — с контрольной группой, экспериментальной группой и статистикой — для правдоподобно звучащих методик, которые придумывают люди. Вам это действительно необходимо.

*

1. Robyn M. Dawes, House of Cards: Psychology and Psychotherapy Built on Myth (Free Press, 1996).

316. Три уровня верификации рациональности.

Я сильно подозреваю, что возможно такое искусство рациональности (обретение карты, отражающей территорию, и принятие решений с целью направить реальность в наиболее предпочтительные для вас области), которое выходит за рамки стандартных навыков и превосходит то, о чём знает любой отдельно взятый практик. У меня есть ощущение, что возможно нечто большее.

То, насколько группа людей способна сделать в этом отношении что-то полезное, в огромной степени зависит от того, какие методы мы сможем изобрести для верификации наших многочисленных великолепных идей.

Я предлагаю разделить методы верификации на три уровня полезности:

Репутационный

Экспериментальный

Организационный.

Если ваш мастер боевых искусств время от времени участвует в реалистичных дуэлях (в идеале — настоящие дуэли) против мастеров других школ и побеждает или хотя бы не слишком часто проигрывает, то вы знаете, что репутация мастера подкреплена реальностью; вы знаете, что ваш мастер — не законченный позёр. То же самое было бы, если бы ваша школа регулярно соревновалась с другими школами. Вы бы не отрывались от реальности.

Некоторые боевые искусства соревнуются недостаточно реалистично, и их ученики за считаные секунды терпят поражение от настоящих уличных бойцов. Другие школы боевых искусств не соревнуются вообще — разве что силой харизмы и красивых историй, — и их мастера убеждают себя, что обладают энергией ци. К этой последней категории можно отнести и разрозненные школы психоанализа.

Так что даже простой базовый шаг — попытка подкреплять репутацию какими-то реальными испытаниями, а не только харизмой и красивыми историями — оказывает колоссальное положительное влияние на всю сферу деятельности.

Но из этого ещё не рождается наука. Наука требует возможности сопоставить 100 применений метода А со 100 применениями метода Б и провести статистический анализ результатов. Эксперименты должны быть воспроизводимыми и воспроизведёнными. Для этого требуются стандартные измерения, которые можно проводить на учениках, обученных с помощью случайно распределённых альтернативных методов, а не просто реалистичные дуэли между мастерами, использующими всю свою накопленную технику и силу.

Исследования счастья как научная область возникли, в общем и целом, благодаря пониманию того, что простой вопрос: «По шкале от 1 до 10, насколько хорошо вы себя чувствуете прямо сейчас?» — даёт показатель, который статистически хорошо согласуется с другими способами измерения счастья. И этот показатель, вопреки всему скепсису, судя по всему, действительно оказывается весьма полезным для измерения некоторых вещей, если опросить 100 человек и усреднить результаты.

Но представьте, что вы хотите назначать более счастливых людей на руководящие должности — платить счастливым людям за то, чтобы они учили других быть счастливее, или нанимать самых счастливых в хедж-фонд? Тогда вам понадобится тест, который сложнее обмануть, чем простой вопрос «Насколько вы счастливы?»

Эта проблема методов верификации, достаточно надёжных для построения организаций, — огромная трудность на всех уровнях современного человеческого общества. Если вы используете тест SAT для отбора абитуриентов в элитные колледжи, то не получится ли обойти его, готовясь исключительно к самому тесту SAT, так что результаты в итоге перестанут коррелировать с реальным академическим потенциалом? Если дать колледжам право выдавать дипломы, не появится ли у них стимул не отчислять за неуспеваемость? (Я считаю очевидным донельзя, что задача верификации полученных навыков и, следовательно, право выдавать дипломы должны быть отделены от учреждений, которые проводят обучение, но не будем углубляться в это.) Если хедж-фонд показывает доходность в 20%, действительно ли он настолько лучше индексов, или же он просто продаёт путы, которые взорвутся на падающем рынке?

Если метод верификации можно обойти, вся область приспосабливается к тому, чтобы обходить его, и теряет свой смысл. Колледжи превращаются в тест на способность выдерживать занятия. Средние школы занимаются исключительно натаскиванием на государственные экзамены. Хедж-фонды продают путы, чтобы искусственно завысить свою доходность.

С другой стороны, нам всё же удаётся учить инженеров, пусть даже наши организационные методы верификации несовершенны. Так какие же совершенные или несовершенные методы можно использовать для верификации навыков рациональности, чтобы они были хотя бы немного устойчивы к попыткам их обойти?

(Показатели с высоким уровнем шума всё ещё можно использовать в экспериментах, если случайным образом распределить достаточное количество испытуемых в надежде нивелировать дисперсию. Но для организационных целей верификации конкретных людей требуются малошумные измерения.)

Итак, я задаю вам вопрос: как верифицировать навыки рациональности? На любом из этих трёх уровней? Устройте мозговой штурм, прошу вас; даже сложное и дорогое измерение может стать золотым стандартом для верификации других метрик. Пишите мне на yudkowsky@gmail.com, если хотите предложить способы измерения, которые лучше