Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Карл Шульман заметил, что некоторые ученые, рассуждающие о трансгуманизме, похоже, используют следующую шкалу интеллекта:

Дуглас Хофштадтер действительно сказал нечто подобное на Саммите Сингулярности в 2006 году. Он посмотрел на мою диаграмму, где «деревенский дурачок» стоял рядом с «Эйнштейном», и произнес: «Мне кажется, это неправильно. Думаю, Эйнштейн должен находиться далеко-далеко справа».

Я лишился дара речи. Тем более что это был Дуглас Хофштадтер, один из кумиров моего детства. Это обнажило такой культурный разрыв, о существовании которого я и не подозревал.

Видите ли, в моем представлении на правом краю шкалы должен находиться Юпитерианский мозг. У Эйнштейна же мозг буквально не был размером с планету.

С правой стороны шкалы вы обнаружили бы Думателя — оригинальную версию Дугласа Адамса, спасибо, а не шахматный компьютер. Компьютер настолько разумный, что еще до того, как были подключены его колоссальные базы данных, при самом первом включении он начал с «Мыслю, следовательно, существую» и дошел до логического вывода о существовании рисового пудинга и подоходного налога, прежде чем его успели выключить.

Ближе к правому краю шкалы расположились бы Древние Аризии, галактические сверхразумы, мозги-матрешки и боги высшего сорта. На самом крайнем правом конце шкалы — Древний и Погибель.

А вовсе не гребаный Эйнштейн.

Я уверен, что Эйнштейн был очень умен для человека. Уверен, какой-нибудь Общесистемный Корабль счел бы это очень милым с его стороны.

Я называю это «культурным разрывом», потому что с концепцией Юпитерианского мозга меня познакомили в возрасте двенадцати лет.

Конечно, все это представляет собой логическую ошибку обобщения на основе вымышленных свидетельств.

Но это пример того, почему — ошибка это или нет — я подозреваю, что чтение научной фантастики действительно благотворно влияет на футурологию. Порой альтернативой знакомству с вымышленными мирами за пределами вашего собственного является мышление, абсолютно застрявшее в одной эпохе: в мире, где люди есть, были всегда и всегда будут.

Люди, Вселенной 13,7 миллиарда лет! Homo sapiens sapiens существуют всего около ста тысяч лет!

С другой стороны, я встречал людей, которые никогда не читали фантастику, но при этом, кажется, вполне способны вообразить нечто за пределами своего мира. И есть любители фантастики, которые этого не понимают. Жаль, я не знаю, что это за «оно», чтобы разливать его по бутылкам.

В предыдущем эссе я хотел поговорить об эффективном использовании свидетельств: то есть Эйнштейн был милашкой для человека, но в абсолютном смысле он был примерно так же эффективен, как Министерство обороны США.

Поэтому мне пришлось говорить о цивилизации, состоящей из тысяч Эйнштейнов, думающих десятилетиями. Ведь если бы я просто изобразил байесовский сверхразум в коробке, смотрящим в веб-камеру, люди подумали бы: «Но... откуда он знает, как интерпретировать двухмерную картинку?» Они не стали бы ставить себя на место обычной машины, пусть даже ее и назвали бы «байесовским сверхразумом»; они не применили бы даже собственное воображение к вопросу о том, что можно извлечь из созерцания сетки битов.

Это был бы просто призрак в коробке, которого по чистой случайности назвали «байесовским сверхразумом». Призраку ведь никто не объяснил, как интерпретировать сигнал с веб-камеры, а значит, в их ментальной модели призрак этого не знает.

Что же касается того, реалистично ли полагать, будто один байесовский сверхразум способен «проделать все это»... то есть все те вещи, которые пришли мне в голову, стоило мне впервые засесть за проблему и на ходу набросать этот рассказ...

Что ж, скажу так: помните, как Джеффриссай заметил, что если переживание важного озарения занимает не более 5 минут, то теоретически это дает вам время на 5760 озарений в месяц? При условии, конечно, что вы спите по 8 часов в сутки и во сне важных озарений не испытываете.

Конечно, люди не могут использовать себя настолько эффективно. Но ведь люди и не адаптированы для научных исследований. Люди адаптированы для того, чтобы гонять оленей по саванне, метать в них копья, готовить их на костре и затем — и это, пожалуй, та часть, которая требует больше всего мозгов, — ловко доказывать, что они заслуживают большей доли мяса.

Удивительно, что Альберту Эйнштейну удалось приспособить такой мозг для занятий физикой. Это заслуживает аплодисментов. И даже больше, чем аплодисментов, — это заслуживает места в Книге рекордов Гиннесса. Как успешная постройка самого быстрого в мире автомобиля, сделанного целиком из желе.

Насколько плохо слепой безумный бог (эволюция) на самом деле спроектировал человеческий мозг?

Это можно осознать, лишь долго изучая когнитивные науки, пока до вас наконец не начнет доходить весь ужас происходящего.

Все когнитивные искажения, которые мы здесь обсуждали, должны служить хотя бы намеком.

Как и тот факт, что человеческому мозгу приходится задействовать всю свою мощь и концентрацию, заставляя вспыхивать триллионы синапсов, лишь для того, чтобы в уме перемножить два трехзначных числа без бумаги и карандаша.

Мозг Эйнштейна использовал импульсы нейронов ничуть не более эффективно, чем сам он использовал данные органов чувств.

Конечно, говоря всё это, я преследую определенные скрытые мотивы. Но поймите и другое: много лет назад, когда я только решил стать рационалистом, моим невозможным, недостижимым идеалом разума, который меня вдохновлял, никогда не был Эйнштейн.

Карл Шурц как-то сказал:

Идеалы подобны звездам: вам не удастся коснуться их руками. Но, подобно мореходу в пустыне вод, вы выбираете их своими ориентирами и, следуя за ними, достигаете своего предназначения.

Итак, теперь вы краем глаза увидели один из главных идеалов моего детства — мою мечту об ИИ. Конечно, только саму мечту, поскольку в реальности ничего подобного не существовало. И когда-то давно я тянулся к этой мечте.

И это в какой-то мере помогло мне, а в какой-то — навредило.

Ведь некоторые идеалы подобны снам: они рождаются внутри нас, а не приходят извне. Ментор Аризии возник в воображении Э. Э. «Дока» Смита, а не в реальности. Если вы пытаетесь представить, что сказал бы байесовский сверхразум, — это говорит лишь ваш собственный разум. Это не звезда, за которой можно следовать, глядя со стороны. Вам приходится угадывать, где находятся ваши идеалы, и если вы ошибетесь, то собьетесь с пути.

Но не ограничивайте свои идеалы одними лишь звездами — реальными людьми, которые когда-то жили, особенно если они родились более чем за полвека до вас и уже умерли. У каждого последующего поколения есть шанс справиться лучше. Выбирать себе идеалы только среди людей,