Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

class="p">Робин Хансон предложил открывать магазины, где можно было бы продавать запрещенные товары. В пользу такого подхода есть немало отличных аргументов: неотъемлемое право на личную свободу, карьерный стимул чиновников запрещать всё подряд, тот факт, что законодатели предвзяты ничуть не меньше обычных людей. Но даже при всём этом (ответил я), какая-нибудь бедная, честная, не слишком образованная мать пятерых детей обязательно придет в такой магазин, купит от своего артрита «Сернокислотный напиток доктора Шарлатана» и умрет, оставив сирот плакать на национальном телевидении.

Я всего лишь сделал простое фактическое наблюдение. Почему некоторые люди подумали, что это аргумент в пользу регулирования?

В вопросах простых фактов (например, возникла ли жизнь на Земле в результате естественного отбора) вполне естественно ожидать, что спор окажется односторонним. Сами факты либо обстоят так, либо иначе, и так называемый «баланс доказательств» должен это отражать. В самом деле, согласно байесовскому определению свидетельства, «сильное свидетельство» — это как раз такое свидетельство, которое мы ожидаем обнаружить только на одной стороне спора.

Но нет причин полагать, что сложные действия со множеством последствий должны обладать этим свойством односторонности. Почему люди, кажется, хотят, чтобы дебаты о политических решениях были односторонними?

Политика — убийца разума. Аргументы — это солдаты. Как только вы определяетесь, на чьей вы стороне, вы обязаны поддерживать все аргументы этой стороны и атаковать все аргументы, которые кажутся выгодными противнику; иначе это всё равно что наносить удар в спину собственным солдатам. Если вы остаетесь в рамках этой схемы, дебаты о политических решениях тоже будут казаться вам односторонними: издержки и недостатки предпочитаемого вами решения превратятся во вражеских солдат, которых нужно атаковать любыми средствами.

Стоит также помнить о родственной ошибке мышления — вере в то, что путь Глубокой Мудрости заключается в поиске идеального баланса ровно посередине между любыми двумя политическими позициями, которым достается больше всего эфирного времени. Политическое решение вполне может иметь непропорциональные издержки или выгоды. Если бы политические вопросы не склонялись в ту или иную сторону, мы просто не смогли бы принимать по ним решения. Но людям также свойственно отрицать любые издержки одобряемого ими решения или любые выгоды неодобряемого; поэтому люди склонны думать, что баланс издержек и выгод смещен гораздо сильнее, чем на самом деле.

Если разрешить магазины, где продаются запрещенные в обычных условиях товары, какая-нибудь бедная, честная, малообразованная мать пятерых детей купит то, что ее убьет. Это предсказание фактического последствия, и как фактический вопрос оно выглядит довольно однозначным — здравомыслящий человек должен без труда признать это правдой независимо от того, какую позицию он занимает по данному политическому вопросу. Вы можете также думать, что запреты лишь делают товары дороже, что регуляторы будут злоупотреблять властью или что ее личная свобода важнее вашего желания вмешиваться в ее жизнь. Но факт остается фактом: она всё равно умрёт.

Мы живем в несправедливой вселенной. Как и все приматы, люди остро реагируют на кажущуюся несправедливость; поэтому этот факт вызывает у нас стресс. Есть два популярных способа справиться с возникающим когнитивным диссонансом. Во-первых, можно изменить свой взгляд на факты — отрицать, что несправедливые события имели место, или переписать историю так, чтобы она казалась справедливой. (Этому способствуют эвристика аффекта и вера в справедливый мир.) Во-вторых, можно изменить свою мораль — отрицать, что эти события несправедливы.

Некоторые либертарианцы могут сказать: если вы заходите в «магазин запрещенных товаров», минуя четкие предупреждающие вывески с надписью «ТОВАРЫ В ЭТОМ МАГАЗИНЕ МОГУТ ВАС УБИТЬ», и покупаете то, что вас убивает, то это ваша собственная вина, и вы это заслужили. Если бы это было моральной истиной, то в существовании магазинов запрещенных товаров не было бы никаких минусов. Это было бы не просто чистой выгодой, это был бы односторонний размен без каких-либо издержек.

Другие утверждают, что регулирующие органы можно научить выбирать рационально и в соответствии с интересами потребителей; если бы факты обстояли именно так, то (с их моральной точки зрения) у регулирования не было бы никаких минусов.

Нравится вам это или нет, но интеллект — это лотерея при рождении, — хотя это один из тех случаев, когда несправедливость вселенной настолько вопиюща, что многие предпочитают отрицать факты. Экспериментальные доказательства чисто генетического компонента в пределах 0,6–0,8 ошеломляюще убедительны, но даже если отрицать это, вы всё равно не выбирали ни то, как вас будут воспитывать родители, ни свои первые школы.

Меня воспитали в убеждении, что отрицание реальности — морально недопустимо. Если бы я тешил себя иллюзиями о том, что «Сернокислотный напиток» принесет мне пользу, я бы совершал то, о чем меня предупреждали и что меня учили считать неприемлемым. Некоторые люди рождаются в таких условиях — мы не будем обсуждать их гены, потому что эта часть слишком уж несправедлива, — где местный шаман говорит им, что иметь веру — это правильно, а быть скептиком — неправильно. Из самых лучших побуждений они следуют этому совету и умирают. В отличие от вас, их не воспитывали в убеждении, что люди несут личную ответственность за свой выбор идти на поводу у общества. Неужели вы правда думаете, что вы настолько умны, что были бы настоящим научным скептиком, даже родись вы в 500 году н. э.? Да, лотерея рождения существует, во что бы вы ни верили относительно генов.

Заявлять: «Люди, покупающие опасные товары, заслуживают страданий!» — это не проявление сурового реализма. Это способ отказаться жить в несправедливой вселенной. Настоящий суровый реализм — это сказать: «Да, смерть от серной кислоты ужасна и мучительна, и нет, та мать пятерых детей её не заслужила, но мы всё равно оставим эти магазины открытыми, потому что мы провели анализ издержек и выгод». Можете представить себе политика, который говорит нечто подобное? Я тоже не могу. Но в той мере, в какой экономисты имеют возможность влиять на государственную политику, было бы неплохо, если бы они могли хотя бы думать так про себя — или даже писать об этом в научных статьях, облекая свои мысли в соответствующую многосложную наукообразную заумь, чтобы пресса не растащила их на цитаты.

Я не считаю, что если кто-то делает глупый выбор и погибает, это повод для радости. Я считаю это трагедией. Спасать людей от последствий их собственных поступков — далеко не всегда означает помогать им; но моя моральная граница проходит перед смертным приговором. Если ты мертв, ты уже не можешь учиться на своих ошибках.

К сожалению, вселенная со мной не согласна. Посмотрим, кто из нас