Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

«думают неправильно», — это же отвратительный ход мысли, правда? Вы бы не хотели, чтобы люди так думали, ведь это же омерзительно. Люди, которые так думают... ну, с ними надо что-то делать...

Согласен! Вот моё предложение: давайте спорить с плохими идеями, но не будем сжигать их носителей.

Силлогизм, которого мы хотим избежать, звучит так: «Я считаю, Сьюзи сказала что-то плохое, следовательно, Сьюзи нужно сжечь». Некоторые пытаются избежать этого силлогизма, объявляя недопустимой саму мысль о том, что Сьюзи сказала что-то плохое. Никто никогда не должен никого судить; всякий, кто судит, совершает ужасный грех и должен быть публично пригвождён к позорному столбу.

Что касается меня, я отвергаю «следовательно». Мой силлогизм выглядит так: «Я считаю, Сьюзи сказала что-то неверное, следовательно, я буду спорить с её словами, но не стану сжигать её или пытаться заставить её замолчать силой или запретами...»

Все мы — игроки на этом огромном игровом поле; и один из моих интересов, касающихся Будущего, состоит в том, чтобы сделать игру честной. Парадоксальная идея, лежащая в основе науки, заключается в том, что фактические разногласия должны разрешаться с помощью экспериментов и математики, а не насилия и указов. Эту поразительную мысль можно распространить и за пределы науки — на честную борьбу за всё Будущее. Вы должны побеждать, убеждая людей, и вам не должно быть позволено сжигать их. Это один из принципов Рациональности, которому я присягнул на верность.

Люди, выступающие за релятивизм или эгоизм, не кажутся мне истинными релятивистами или эгоистами. Будь они настоящими релятивистами, они бы не судили. Будь они действительно эгоистами, они бы просто зарабатывали деньги, а не спорили жарко с другими. Скорее, они выбрали сторону Релятивизма, цель которого на этом огромном игровом поле — не давать игрокам — всем игрокам — выносить определённые суждения. Или же они выбрали сторону Эгоизма, чья цель — сделать всех игроков эгоистами. И дальше они играют в эту игру, честно или бесчестно — в меру своей мудрости.

Если истинные релятивисты или эгоисты и существуют, мы о них не слышим — они молчат и остаются вне игры.

Мне не может быть всё равно, как вы думаете, потому что — а я просто не могу видеть Вселенную иначе — каждый раз, когда человек отворачивается от истины, разворачивающаяся история человечества становится чуточку темнее. Во многих случаях это лишь крошечная тьма. (От этого не всегда кто-то страдает.) Ложь самому себе наедине со своими мыслями не омрачает историю человечества так сильно, как публичная ложь или сжигание людей. И всё же какая-то часть меня не может не скорбеть. И до тех пор, пока я не пытаюсь вас сжечь, а лишь спорю с вашими идеями, я считаю правильным и естественным для себя как человека заботиться о своих ближних. Эту позицию я тоже отстаиваю на пути в Будущее.

*

Часть F. Политика и рациональность.

57. Политика — это убийца разума.

Когда заходит речь о политике, у людей мутится разум. Эволюционные причины этого настолько очевидны, что на них стоит остановиться подробнее: в среде наших предков политика была вопросом жизни и смерти. А также секса, богатства, союзников и репутации... Сегодня, когда вы вступаете в спор о том, стоит ли «нам» повышать минимальную зарплату, вы задействуете адаптивные механизмы, сформированные в первобытной среде, где из-за того, что вы оказались не на той стороне спора, вас могли убить. Оказавшись же на правильной стороне, вы могли прикончить своего ненавистного соперника!

Если вы хотите проиллюстрировать какую-то мысль о науке или рациональности, мой совет: по возможности избегайте примеров из современной политики. Если же ваша мысль непосредственно касается политики, поговорите о Людовике XVI времен Великой французской революции. Политика — важная сфера, к которой каждый из нас должен применять свою рациональность, но это ужасная сфера для того, чтобы рациональности учиться или обсуждать её, если только все участники дискуссии уже не обладают ею в полной мере.

Политика — это продолжение войны другими средствами. Аргументы — это солдаты. Стоит вам понять, на чьей вы стороне, как вы обязаны поддерживать любые аргументы этой стороны и атаковать любые аргументы, которые кажутся выгодными противнику. Иначе это всё равно что нанести удар в спину собственным солдатам — оказать помощь и поддержку врагу. Люди, которые в своей профессиональной научной деятельности хладнокровно и беспристрастно взвешивают все стороны вопроса, могут внезапно превратиться в выкрикивающих лозунги зомби, как только у этого вопроса появляется «синяя» или «зелёная» позиция.

В сфере искусственного интеллекта, особенно в области немонотонных рассуждений, есть классическая задача: «Все квакеры — пацифисты. Все республиканцы — не пацифисты. Никсон — квакер и республиканец. Является ли Никсон пацифистом?»

Какой, скажите на милость, был смысл выбирать именно такой пример? Разжечь политические страсти читателей и отвлечь их от главного вопроса? Сделать так, чтобы республиканцы чувствовали себя лишними на курсах по искусственному интеллекту, и отбить у них желание идти в эту область? (И нет, я не республиканец. И не демократ.)

Зачем кому-то выбирать столь отвлекающий пример для иллюстрации немонотонных рассуждений? Вероятно, потому что автор просто не удержался от возможности знатно поддеть этих ненавистных «зелёных». Это ведь так приятно — от души врезать оппоненту, понимаете? Удержаться от этого — всё равно что пытаться устоять перед шоколадным печеньем.

Но, как и в случае с шоколадным печеньем: далеко не всё, что приносит удовольствие, идёт на пользу.

Я не говорю, что мы должны быть аполитичными или что нам следует принять википедийный идеал нейтральной точки зрения. Но старайтесь по возможности воздерживаться от этих язвительных выпадов. Если ваша тема действительно связана с попытками запретить преподавание эволюции в школьной программе, то, конечно, говорите об этом — но не возлагайте вину прямым текстом на всю Республиканскую партию; некоторые из ваших читателей могут быть республиканцами, и они могут считать, что проблема в нескольких паршивых овцах, а не во всей партии. Как и в случае с нейтральной точкой зрения в Википедии, совершенно неважно, действительно ли (по вашему мнению) Республиканская партия виновата. Просто для духовного роста сообщества будет лучше обсуждать подобные вопросы, не прибегая к делению по цветам.

*

58. Дебаты о политических решениях не должны казаться односторонними.