Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Если отбросить все неверные выводы и неверные обоснования и просто спросить, что это убеждение заставило юного Элиезера на самом деле делать...

Тогда вера в то, что искусственный интеллект болен, а настоящий ответ должен прийти из других, более здоровых областей, побудила его изучать множество когнитивных наук;

Вера в то, что у ИИ не может быть простых ответов, уберегла его от преждевременной остановки на одной блестящей идее и заставила накопить огромное количество информации;

Убеждение, что не следует давать определение интеллекту, привело к тому, что он долгое время изучал проблему, прежде чем годы спустя начал предлагать систематизации.

Вот что я имею в виду, когда говорю, что это была одна из лучших моих ошибок за всю жизнь.

Оглядываясь назад годы спустя, я извлек очень важный урок, суть которого заключалась в следующем:

То, что вы в итоге делаете, экранирует те умные причины, по которым вы это делаете.

Сравните поразительно умные рассуждения, которые побуждают вас изучать множество наук, с поразительно умными рассуждениями, которые говорят, что вам незачем читать все эти книги. Впоследствии, когда ваши потрясающе умные рассуждения окажутся глупостью, вы останетесь в гораздо лучшем положении, если ваши потрясающе умные рассуждения относились к первому типу.

Оглядываясь на свое прошлое, я поражаюсь числу полуслучайных успехов — тому, сколько раз я поступал правильно по неверным причинам. С вашей точки зрения, вам стоит списать это на антропный принцип: если бы я зашел в настоящий тупик, вы, скорее всего, ничего бы не услышали обо мне в этой книге. С моей же точки зрения это до сих пор вызывает некую неловкость. Мое воспитание в духе традиционного рационализма задало сильное направленное смещение этим «случайным успехам» — склоняло меня находить рационализации в пользу учебы, а не отказа от нее, не давало мне окончательно заблудиться и помогало оправляться от ошибок. И все же ничто из этого не было правильным действием по правильной причине, и оглядываться на собственную юность и видеть это — довольно жутко. Одна из моих главных целей при написании статей на Overcoming Bias — оставить след, ведущий туда, куда сам я забрел случайно, чтобы свести к минимуму роль везения в моем собственном становлении как рационалиста.

Так почему же это одна из худших моих ошибок за всю жизнь? Потому что иногда «неформальный» — это просто иной способ сказать «низкие стандарты». У меня были потрясающе умные доводы в пользу того, почему я могу обойтись без точного определения «интеллекта» и некоторых других моих терминов: а именно, что другие люди сбивались с пути, пытаясь дать им определения. Это были ворота, через которые могли проникнуть небрежные рассуждения.

Так следовало ли мне забежать вперед и попытаться сразу же сформулировать точное определение? Нет, все причины, по которым я считал этот путь ошибочным, были верны: невозможно взять правильное определение буквально из воздуха, если у вас недостаточно знаний.

Невозможно прийти к тому самому определению огня, если вы ничего не знаете об атомах и молекулах; в таком случае лучше сказать «вон та оранжево-яркая штука». И вам действительно нужно иметь возможность говорить об этой оранжево-яркой штуке, чтобы исследовать огонь, пусть даже вы и не можете точно сказать, что это такое. Но сегодня я бы сказал, что любым рассуждениям на подобном уровне нельзя доверять — скорее, это то, чем вы занимаетесь на пути к более глубокому пониманию, но вы не доверяете им, вы не опираетесь на них всем своим весом, вы не делаете из них твердых выводов, какими бы неопровержимыми ни казались эти неформальные рассуждения.

Юный Элиезер перенёс вес не на ту плитку пола — и наступил на взведённую ловушку.

*

294. Воспитанный на технофилии.

Мой отец часто говорил, что если бы нынешняя система существовала сто лет назад, то автомобили объявили бы вне закона ради защиты производителей сёдел.

Одно из сильнейших детских впечатлений я получил в девять лет, прочитав книгу Джерри Пурнеля «Шаг ещё дальше». Это был ответ Пурнеля Полу Эрлиху и Римскому клубу, которые в 1960-х и 1970-х годах утверждали, что ресурсы Земли на исходе и до массового голода остались считаные годы. Это был ответ на так называемый четвёртый закон термодинамики Джереми Рифкина; ответ всем тем, кто до смерти боялся ядерной энергетики и пытался задушить её регулированием.

Я рос в мире, где демаркационные линии между Хорошими и Плохими Парнями были довольно чёткими; это была не апокалиптическая финальная битва, а битва, которую приходилось вести снова и снова, битва, в которой угадывалось историческое эхо, уходящее корнями в Промышленную революцию, и в которой можно было собрать исторические свидетельства о реальных результатах.

На одной стороне стояли учёные и инженеры, обеспечившие весь рост уровня жизни со времён Тёмных веков, чья работа сделала возможными такие предметы роскоши, как демократия, образованное население, средний класс и запрет рабства.

На другой стороне — те, кто когда-то выступал против прививок от оспы, анестезии при родах, паровых двигателей и гелиоцентризма: богословы, призывавшие вернуться к никогда не существовавшему золотому веку, пожилые белые политики-мужчины, закосневшие в своих привычках, группы с особыми интересами, которые могли понести убытки, и множество людей, для которых наука была закрытой книгой и которые боялись того, чего не могли понять.

А посередине пытались лавировать претенденты на Глубокую Мудрость, изрекавшие кэшированные мысли о том, что технологии приносят пользу человечеству, только когда они должным образом регулируются; вопреки очевидным историческим фактам заявлявшие, будто наука сама по себе не является ни добром, ни злом; создававшие солидные на вид бюрократические комитеты, чтобы демонстративно показать свою осмотрительность, — и ждавшие за это аплодисментов. Как будто истина — это всегда компромисс. И как будто кто-то действительно может заглядывать так далеко вперёд. Было бы человечеству лучше, если бы в своё время велись искренние, обеспокоенные общественные дебаты по поводу освоения огня и создавались комитеты для надзора за его использованием?

Когда я погрузился в эту проблему, у меня изначально была аллергия на всё, что подпадало под паттерн: «Ах, малыш, но ведь у технологий помимо преимуществ есть и риски». Презумпция виновности состояла в том, что вы либо пытаетесь сорвать дешёвые аплодисменты, либо тайно стремитесь задушить технологию регулированием. И в любом случае — полностью игнорируете исторический опыт, который в огромной степени