Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

точности, я по-настоящему начал хоть как-то задумываться о целом ряде важных вопросов. Выразить что-то с точностью трудно — это совсем не то же самое, что выразить это формально или изобрести новую логику, чтобы закидать ею проблему. Многие уклоняются от этих неудобств, потому что люди ленивы, и заявляют: «Это невозможно» или «Это займёт слишком много времени», хотя на самом деле даже пяти минут не пробовали. Но если вы не будете держать себя в рамках этого неудобно высокого стандарта, то будете спускать себе с рук всё что угодно. Найти стандарт, достаточно высокий, чтобы действительно заставить вас начать думать — это уже сложная задача! Может показаться утомительным придерживаться стандарта математического доказательства, где каждый шаг должен быть верным, а один неверный шаг может увести вас неведомо куда. Но иначе вы не станете выслеживать те крошечные нотки диссонанса, которые на поверку приводят к совершенно новым проблемам, о которых вы раньше и не думали.

Так что теперь я уже не так сильно жалуюсь на героическое бремя неудобств, необходимых для соблюдения точного стандарта. Это тоже может экономить время; и на самом деле это, по сути, лишь входная ставка для того, чтобы вообще заставить себя задуматься над проблемой.

И это тоже следует считать частью моего «байесовского просветления» — осознание того, что в этом были свои преимущества, а не только издержки.

Но, конечно, история продолжается. Такова жизнь — по крайней мере, те её части, которые я помню.

Если я и научился чему-то из этой истории, так это тому, что возможности сказать «Упс» нужно ждать с нетерпением. Конечно, перспектива сказать «Упс» в будущем означает, что вы нынешний — пускающий слюни имбецил, чьи слова ваше будущее «я» не сможет читать без содрогания. Но возможность сказать «Упс» в будущем также означает, что в будущем вы обретёте новые джедайские силы, о существовании которых ваше нынешнее «я» даже не мечтает. От этого становится неловко, но в то же время вы чувствуете себя живым. Осознание того, что ваше прежнее «я» было круглым дураком, означает, что пусть вам уже за двадцать, вы ещё не миновали свой пик. Остаётся лишь надеяться, что моё будущее «я» сочтёт меня пускающим слюни имбецилом: возможно, я и планирую решать свои проблемы с помощью нынешних способностей, но дополнительные джедайские силы мне уж точно не помешали бы.

Этот крик ужаса и стыда — звук, который издают рационалисты, когда повышают свой уровень. Иногда я беспокоюсь, что повышаю свой уровень не так быстро, как раньше, и не знаю, происходит ли это потому, что я наконец-то начинаю понимать, что к чему, или потому, что нейроны в моём мозгу постепенно умирают.

Искренне ваш, Элиезер2008.

*

1. Ле Гуин, «На самых дальних берегах».

2. Перл, «Вероятностные рассуждения в интеллектуальных системах».

Часть Y. Бросая вызов трудному.

304. Цуёку наритай! (Я хочу стать сильнее).

В ортодоксальном иудаизме есть изречение: «Предыдущее поколение относится к следующему как ангелы к людям; следующее поколение относится к предыдущему как ослы к людям». Это вытекает из ортодоксального иудейского верования, что весь иудейский закон был дан Моисею Богом на горе Синай. В конце концов, невозможно ведь провести эксперимент, чтобы получить новое галахическое знание; единственный способ узнать что-то — если тебе об этом расскажут (тот, кто услышал от кого-то другого, кто услышал от Бога). Поскольку нового источника информации нет, при передаче от поколения к поколению она может только деградировать.

Таким образом, современным раввинам не дозволено отменять решения древних раввинов. Ползающие твари обычно некошерны, но разрешается съесть червяка, найденного в яблоке, — древние раввины верили, что червяк самозарождается внутри яблока и, следовательно, является его частью. Современный раввин не может сказать: «Да ладно, древние раввины ни черта не смыслили в биологии. Решение отменяется!» Современный раввин принципиально не может знать галахический принцип, которого не знали древние, — ведь как древние раввины могли бы передать ему ответ с горы Синай? Знание исходит из авторитета, и потому с течением времени оно только утрачивается, но никогда не приобретается.

Когда я впервые услышал поговорку об ангелах и ослах в (религиозной) начальной школе, я был еще слишком мал, чтобы быть убежденным атеистом, но все же подумал про себя: «Тора теряет знание с каждым поколением. Наука приобретает знание с каждым поколением. Независимо от их отправных точек, рано или поздно наука должна превзойти Тору».

Самое главное — чтобы был прогресс. Пока вы продолжаете двигаться вперед, вы достигнете своей цели; но если вы остановитесь, вы никогда до нее не доберетесь.

Цуёку наритай — японское выражение. цуёку означает «сильный»; нару — это «становиться», а форма наритай означает «хотеть стать». Вместе это переводится как «Я хочу стать сильнее» и выражает стремление, которое в японских произведениях воплощено гораздо ярче, чем в любой западной литературе, которую я читал. Вы можете сказать это, выражая решимость стать профессиональным игроком в го — или после поражения в важном матче, когда вы не сдаётесь — или после победы в важном матче, когда вы ещё не достигли девятого дана — или даже когда вы стали величайшим игроком в го всех времён, но всё ещё думаете, что можете играть лучше. Это и есть цуёку наритай — воля к трансцендентности.

Цуёку наритай — движущая сила моего эссе «Правильное использование смирения», в котором я противопоставляю ученика, смиренно перепроверяющего свой тест по математике, и ученика, который скромно заявляет: «Но как мы можем знать наверняка? Сколько бы раз я ни проверял, я никогда не смогу быть абсолютно уверен». Ученик, который перепроверяет свои ответы, хочет стать сильнее; он реагирует на возможный внутренний изъян действием, стремясь исправить его, а не обречённой покорностью.

Каждый год на Йом-Кипур ортодоксальный иудей читает литанию, которая начинается со слов «Ашамну, багадну, газальну, дибарну дофи» и продолжается по всему еврейскому алфавиту: «Мы грешили, мы предавали, мы грабили, мы клеветали...»

Произнося каждое слово, вы в знак покаяния ударяете себя кулаком в область сердца. Здесь нет исключений: если вам удалось прожить весь год без воровства, вы не можете пропустить слово «газальну» и ударить себя на один раз меньше. Это нарушило бы общинный дух Йом-Кипура, смысл которого в том, чтобы исповедоваться в грехах, а не избегать грехов, дабы исповедоваться пришлось меньше.

Точно так