Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

«Ашамну» поразительно напоминает представление о том, что путь рациональности состоит в том, чтобы бить себя кулаком в грудь и повторять: «Все мы предвзяты, все мы нерациональны, мы не обладаем всей полнотой информации, мы самоуверенны, мы плохо откалиброваны...»

Отлично. А теперь расскажите, как вы планируете стать менее предвзятыми, менее нерациональными, более информированными, менее самоуверенными и лучше откалиброванными.

Есть старый еврейский анекдот. Во время Йом-Кипура раввина внезапно охватывает чувство вины, он падает ниц и восклицает: «Господи, я ничто пред Тобой!» Кантор, тоже охваченный раскаянием, падает ниц и вторит: «Господи, я ничто пред Тобой!» Увидев это, простой уборщик в глубине синагоги падает ниц и плачет: «Господи, я ничто пред Тобой!» И тогда раввин толкает локтем кантора и шепчет: «Нет, ты только посмотри, кто возомнил себя ничем!»

Не гордитесь признанием собственной предвзятости; не упивайтесь тем, как хорошо вы осознаете свои недостатки. Это сродни правилу не гордиться признанием собственного невежества: ведь если невежество служит для вас источником гордости, вы вряд ли захотите расстаться с ним, когда свидетельства постучатся в вашу дверь. То же самое и с нашими недостатками: нам не следует хвастаться своей осознанностью только потому, что мы в них признались. Радоваться нужно тогда, когда нам есть в чем признаваться чуть меньше.

Иначе, когда кто-нибудь придет к нам с планом по исправлению этой предвзятости, мы огрызнемся: «Ты что, возомнил себя выше нас?» — и сокрушенно покачаем головами: «Должно быть, тебе не хватает осознанности».

Никогда не признавайтесь мне, что вы столь же несовершенны, как и я, если не можете сказать, что собираетесь с этим делать. После этого у вас все равно останется масса недостатков, но дело не в этом. Главное — становиться лучше, продолжать двигаться вперед, сделать еще один шаг. Цуёку наритай!

*

305. Цуёку против эгалитарного инстинкта.

Племена охотников-собирателей обычно крайне эгалитарны (по крайней мере, если вы мужчина) — всемогущие племенные вожди встречаются в основном в земледельческих обществах и редко — в среде обитания наших предков. В большинстве таких племён охотник, добывший исключительную дичь, намеренно преуменьшает свои заслуги, чтобы не вызывать зависти.

Возможно, если на старте вы находитесь ниже среднего уровня, вы можете совершенствоваться, не осмеливаясь опередить толпу. Но рано или поздно, если ваша цель — сделать все возможное, вы нацелитесь выше среднего уровня.

Если вы не можете признаться себе, что справились лучше других — или если вам стыдно желать превзойти остальных, — тогда медиана навсегда останется для вас бетонной стеной, точкой, где вы прекратите движение вперед. А как насчет тех, кто ниже среднего? Осмелитесь ли вы сказать, что намерены превзойти их? Какая гордыня!

Возможно, гордиться тем, что ты превзошел кого-то другого, — не самое здоровое чувство. Лично для меня, вопреки моим принципам, это оказалось полезным мотиватором, а я ценю любую полезную мотивацию, какую только могу получить. Может быть, подобное соперничество — это игра с нулевой суммой, но то же самое можно сказать и про го; однако это не значит, что мы должны отказаться от этого занятия, если людям оно нравится и ведет к чему-то интересному.

Но в любом случае, стыдиться того, что ты справляешься лучше других, уж точно нездорово.

И кроме того, оценки в жизни не выставляются по кривой распределения. У стремления превзойти себя нет точки, за которой оно прекращается и превращается в стремление стать хуже; а в забеге, где нет финишной черты, нет и золотых или серебряных медалей. Просто бегите изо всех сил, не беспокоясь о том, что можете обогнать других. (Но учтите: если вы отказываетесь беспокоиться об этой возможности, однажды вы действительно можете оказаться впереди. Если вы игнорируете последствия, они могут с вами случиться.)

Рано или поздно, если ваш путь верен, вы решите сгладить в себе изъян, который большинство людей так и не сгладили. Рано или поздно, если ваши усилия принесут плоды, вы обнаружите, что у вас осталось меньше грехов, в которых нужно каяться.

Возможно, вы сочтете мудрым решением преуменьшать свои достижения, даже если добьетесь успеха. Люди могут простить тачдаун, но не победный танец в зачетной зоне. Вам наверняка покажется более быстрым, простым и удобным публично отрекаться от собственных заслуг, притворяясь таким же грешником, как и все остальные. Разумеется, до тех пор, пока все вокруг знают, что это неправда. Бывает приятно с гордостью выставлять напоказ свою скромность — при условии, что все знают, как много у вас поводов для этой скромности.

Но не позволяйте этому стать конечной точкой вашего пути. Даже если вы шепчете это лишь самому себе, продолжайте шептать: Цуёку, цуёку! Сильнее, сильнее!

А затем ставьте перед собой еще более высокую цель. В этом и заключается истинный смысл осознания того, что вы все еще несовершенны (пусть и немного меньше, чем раньше). Это значит всегда стремиться к большему, без стыда.

Цуёку наритай! Я всегда буду бежать изо всех сил. Даже если я вырвусь вперед, я продолжу бежать. И кто-то когда-нибудь меня превзойдет, но даже если я отстану, я все равно буду бежать изо всех сил.

*

306. Пытаться пытаться. Нет! Не пытайся! Делай или не делай. Пытаться не надо. — Йода.

Много лет назад я думал, что это очередной пример «Глубокой Мудрости», которая на самом деле довольно глупа. ПРЕУСПЕТЬ — это не элементарное действие. Нельзя просто решить победить, просто сделав достаточно твёрдый выбор. Не бывает планов, которые срабатывают со стопроцентной вероятностью.

Но Йода оказался мудрее, чем мне показалось сначала.

Первая элементарная техника эпистемологии (она не слишком глубокая, зато простая) состоит в том, чтобы отличать цитату от референта. Говорить о снеге — не то же самое, что говорить о «снеге». Когда я употребляю слово «снег» без кавычек, я имею в виду сам снег, а когда я употребляю слово «„снег“» в кавычках, я имею в виду само слово «снег». Чтобы рассуждать о своих убеждениях, нужно перейти в особый режим — режим цитирования. По умолчанию же мы просто говорим о реальности.

Если кто-то говорит: «Я сейчас щелкну этим выключателем», то по умолчанию подразумевается, что он попытается щелкнуть выключателем. Он собирается составить план, который, судя