Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Называя реальность «странной», вы остаетесь в рамках точки зрения, ошибочность которой уже доказана. Теория вероятностей говорит нам, что удивление — это мера плохой гипотезы; если модель систематически глупит — раз за разом натыкается на события, которым сама же приписывает ничтожно малую вероятность, — значит, пора от нее отказаться. Хорошая модель представляет реальность нормальной, а не странной; хорошая модель приписывает высокую вероятность тому, что происходит на самом деле. Интуиция — это просто другое название для модели: плохая интуиция испытывает шок от столкновения с реальностью, хорошая — позволяет воспринимать реальность как нечто естественное. Вам нужно перестроить свою интуицию так, чтобы вселенная выглядела нормальной. Вы хотите думать как сама реальность.

Этого конечного состояния нельзя достичь волевым усилием. Бессмысленно притворяться, будто квантовая физика кажется вам естественной, если на самом деле она кажется странной. Это всего лишь отрицание собственного замешательства, а не избавление от него. Но вам также помешают постоянные мысли в духе «Как странно!» Трата эмоциональной энергии на недоумение отнимает время, которое вы могли бы потратить на обновление своих убеждений. Это раз за разом отбрасывает вас в рамки старой, ошибочной точки зрения. Это подпитывает ваше чувство праведного негодования из-за того, что реальность посмела вам противоречить.

Этот принцип применим не только в физике. Ловили ли вы себя когда-нибудь на словах вроде: «Я просто не понимаю, как физик с докторской степенью может верить в астрологию»? Что ж, если вы буквально не понимаете, это указывает на изъян в вашей модели человеческой психологии. Возможно, вы негодуете — хотите выразить решительное моральное осуждение. Но если вы буквально не понимаете, то ваше негодование мешает вам принять реальность. Не так уж трудно представить, как физик с докторской степенью приходит к вере в астрологию. Люди склонны к компартментализации мышления, и этим всё сказано.

Теперь я стараюсь избегать выражения «Я просто не понимаю, как...» для демонстрации своего возмущения. Если я действительно не понимаю, как такое возможно, значит, моя модель удивлена фактами, и мне следует отбросить её и найти модель получше.

Удивление существует на карте, а не на территории. Не бывает удивительных фактов, бывают лишь модели, которые удивляются фактам. То же касается и фактов, которые обзывают такими обидными словами, как «причудливые», «невероятные», «неправдоподобные», «неожиданные», «странные», «аномальные» или «дикие». Если вы чувствуете искушение использовать подобные ярлыки, разумно будет сперва проверить, действительно ли предполагаемый факт является фактом. Но если факт подтверждается, то проблема не в нем — проблема в вас.

*

197. Хаотическая инверсия.

Недавно я разговаривал с друзьями на тему почасовой продуктивности и поддержания силы воли — с этим я борюсь всю свою жизнь.

Я могу удержаться от бегства перед трудной задачей при первой же встрече с ней (упорство в масштабе секунд), я могу заниматься одной и той же проблемой годами; но продолжать работу в масштабе часов — для меня постоянная битва. Само собой разумеется, я перечитал тонны советов, и больше всего мне помогло осознание того, что у значительной части других людей творческих профессий та же проблема, и они тоже не могут с ней справиться, какими бы разумными ни казались все эти советы.

— Что ты делаешь, когда не можешь работать? — спросили меня друзья. (Разговор, возможно, передан не дословно, это лишь весьма вольный пересказ.)

И я ответил, что обычно просматриваю случайные сайты или смотрю короткие видео.

— Ну, — сказали они, — если ты знаешь, что какое-то время не сможешь работать, тебе стоит посмотреть фильм или что-то в этом роде.

— К сожалению, — ответил я, — мне приходится заниматься тем, что дробится на короткие отрезки, вроде веб-серфинга или просмотра коротких видео, потому что способность работать может вернуться ко мне в любой момент, и я не могу предсказать, когда именно...

И тут я остановился, потому что на меня только что снизошло озарение.

Я всегда думал о своем рабочем цикле как о чем-то хаотичном, чем-то непредсказуемом. Я никогда не использовал эти слова, но именно так я к нему относился.

Но мои друзья, похоже, подразумевали — какая странная мысль! — что другие люди могут предсказать, когда снова смогут работать, и соответствующим образом планировать свое время.

И мне впервые пришло в голову, что я, возможно, совершал эту чертову избитую ошибку проекции разума прямо здесь, в своей обычной повседневной жизни, а не в высоких абстракциях.

Может быть, дело не в том, что моя продуктивность была необычайно хаотичной, а в том, что я просто был необычайно глуп в плане её прогнозирования.

Вот как выглядит инвертированная глупость — как хаос. Нечто трудноуправляемое, трудноуловимое, непредсказуемое, с чем ничего невозможно поделать. И это не просто выражение для таких абстракций, как искусственный интеллект. Она применима и к повседневной жизни.

И причина, по которой нам не приходит в голову альтернативное объяснение «я глуп», заключается не в том — как я подозреваю, — что мы слишком высокого мнения о себе. Просто мы вообще не думаем о себе. Мы просто видим хаотическое свойство окружающей среды.

И вот теперь мне пришло в голову, что проблема с моей продуктивностью может быть связана не с хаосом, а с моей собственной глупостью.

И это может как помочь, так и не помочь. Это точно не решит проблему мгновенно. Фраза «я невежественен» не делает вас знающим.

Но это, по крайней мере, иной путь, нежели просто сказать: «всё слишком хаотично».

*

198. Редукционизм. Почти год назад, в апреле 2007 года, Мэттью С. (Matthew C.) предложил следующую тему для Overcoming Bias:

Как и почему нынешний господствующий философский гегемон (редукционистский материализм) очевидно верен [ . . . ], в то время как господствующие философские взгляды всех прошлых обществ и цивилизаций очевидно сомнительны —

Я запомнил это, потому что посмотрел на предложение и счел его вполне резонным, но понимал, что не смогу взяться за эту тему, пока не начну цепочку об ошибке проекции разума, до которой тогда было еще далеко...

Но сейчас самое время приступить к этому вопросу. И хотя до темы «материализма» я еще не добрался, мы уже можем начать с «редукционизма».

Прежде всего, должен сказать: я действительно считаю, что «редукционизм» — в том смысле, который я вкладываю в это слово,