Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

столь же занудную работу. Вместо того чтобы приниматься за работу, вы можете повернуться к телефону и уставиться на него, надеясь на тот самый звонок — ведь существует эпсилон-вероятность, что именно в этот самый момент вам, да-да, именно вам присудят Главный приз! И даже если этого не произошло в эту минуту, что ж, не нужно расстраиваться — ведь это может случиться в следующую!

Представьте, сколько еще фантазий сделает возможными эта Новая Улучшенная Лотерея. Вы могли бы ходить по супермаркету, складывая в тележку дорогие товары — если мобильник так и не зазвонит с новостью о выигрыше, вы ведь всегда сможете выложить их обратно, верно?

Возможно, Новая Улучшенная Лотерея могла бы даже показывать непрерывно меняющееся распределение вероятностей самого выигрыша и выпадения конкретных номеров, при том что в среднем всё это соответствовало бы вышеупомянутому распределению Пуассона. Подумайте, как это было бы здорово! О боже, прямо в эту минуту вероятность выигрыша почти в десять раз выше обычной! И смотрите, у выбранного мной для Мега-шара числа 42 шансы на победу сейчас почти вдвое выше обычного! Эти данные можно выводить прямо на экраны мобильников, чтобы люди могли в любой момент открыть телефон и проверить свои шансы. Представьте, насколько это было бы захватывающе! Намного интереснее, чем сводить баланс в чековой книжке! Намного интереснее, чем делать уроки! Эта новая мечта была бы настолько слаще, что соперничала бы не только с надеждами поступить в техникум, но и с надеждами пораньше уйти с работы. Люди могли бы целый день сидеть, уткнувшись в экран, — да им больше ни о чем другом и мечтать бы не понадобилось!

Да уж, предлагать людям заманчивые грезы, которые на самом деле никогда не сбудутся, — это, без сомнения, очень ценная услуга. Раз люди готовы платить, значит, ценность в этом есть. Иначе пришлось бы признать, что потребители совершают ошибку, а мы все прекрасно знаем, что такого быть не может.

И тем не менее нынешние правительства с их гнусной монополией на лотереи не предлагают эту простую и очевидную услугу. Почему? Потому что они хотят брать с людей втридорога. Они хотят, чтобы те тратили деньги каждую неделю. Они хотят, чтобы люди выкладывали по сто долларов ради упоительного ощущения, будто их шансы выиграть возросли в сто раз, вместо того чтобы дать им возможность просто смотреть в экран телефона и ждать, когда вероятность резко подскочит. Так что если вы верите, будто лотерея — это услуга, то это услуга по явно и чудовищно завышенной цене, которую к тому же навязывают беднейшим слоям общества. И ваш священный долг как гражданина — требовать взамен Новую Улучшенную Лотерею.

*

50. Но ведь шанс всё равно есть, правда?

Много лет назад я разговаривал с одним человеком, и он вскользь заметил, что не верит в эволюцию. Я сказал: «Сейчас не девятнадцатый век. Когда Дарвин только предложил теорию эволюции, сомневаться в ней, возможно, было разумно. Но на дворе двадцать первый век. Мы умеем читать гены. У человека и шимпанзе ДНК совпадает на 98%. Мы знаем, что люди и шимпанзе — родственники. Всё кончено.»

Он сказал: «Может, ДНК похожа просто по совпадению».

Я сказал: «Шансы против этого — примерно два в степени семьсот пятьдесят миллионов к одному».

Он сказал: «Но ведь шанс всё-таки есть, верно?»

Есть целый ряд причин, по которым моё тогдашнее «я» не может претендовать на безоговорочную моральную победу в этом разговоре. Во-первых, я совершенно не помню, откуда выкопал это число — 2750 000 000, хотя метапорядок величины, скорее всего, верный. Во-вторых, моё тогдашнее «я» не применило концепцию калиброванной уверенности. За всю историю человечества во всех тех случаях, когда люди оценивали шансы против чего-либо как 2750 000 000 к 1, они, несомненно, ошибались чаще, чем один раз на 2750 000 000 случаев. Например, оценку доли общих генов позже скорректировали до 95%, а не 98% — и это значение может относиться только к 30 000 известных генов, а не ко всему геному, а в таком случае неверен и метапорядок величины.

Но ответ моего собеседника я всё равно считаю весьма забавным.

Я не помню, что ответил дальше — скорее всего, что-то вроде «Нет», — но этот случай мне запомнился, поскольку он принёс мне несколько озарений касательно законов мышления в представлении непросветлённых.

Тогда мне впервые пришло в голову, что человеческая интуиция проводит качественное различие между «Шансов нет» и «Шанс ничтожно мал, но его стоит учитывать». Это можно заметить по дискуссии о лотереях в блоге Overcoming Bias, где кто-то написал: «Есть огромная разница между нулевым шансом на выигрыш и шансом, равным эпсилон», на что я ответил: «Нет, разница — порядка эпсилон; если сомневаетесь, пусть эпсилон будет равен единице, делённой на гуголплекс».

Проблема в том, что теория вероятностей иногда позволяет нам рассчитать шанс, который действительно слишком мал, чтобы тратить на него мысленное пространство, — но к этому моменту вы его уже рассчитали. Люди путают карту с территорией, поэтому на интуитивном уровне отслеживание символически описанной вероятности ощущается как «шанс, который стоит учитывать», даже если референт этого символического описания — число настолько крошечное, что, будь оно пылинкой, вы бы её не заметили. Мы можем использовать слова для описания таких маленьких чисел, но не чувства — столь слабого чувства просто не существует, для его возникновения не активируется достаточно нейронов и не выделится достаточно нейромедиаторов. Вот почему люди покупают лотерейные билеты: никто не способен почувствовать ничтожность столь малой вероятности.

Но ещё более увлекательным мне показалось качественное различие между «абсолютными» и «вероятностными» аргументами, согласно которому, если аргумент не является абсолютно надёжным, его разрешается игнорировать. Мол, если вероятность равна нулю, то от убеждения приходится отказаться, но если вероятность равна единице, делённой на гугол — его дозволено сохранить.

Конечно, у нас свободная страна, и никто не должен сажать вас в тюрьму за противозаконные рассуждения, но если вы собираетесь игнорировать аргумент, согласно которому вероятность равна единице, делённой на гугол, то почему бы не проигнорировать и тот, который говорит, что вероятность равна нулю? В конце концов, раз уж вы всё равно закрываете глаза на свидетельства, почему игнорировать абсолютные свидетельства считается гораздо худшим грехом, чем вероятностные?

В жизни я часто замечал, что учусь на чужих на редкость вопиющих дурных примерах, надлежащим образом обобщая их