Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

одной из стен висели таблички, которые давным-давно, следуя классическому и рекомендованному методу, еще молодой Джеффриссай очень тщательно начертал сам, выжигая понятия в своем разуме с каждым прикосновением кисти, выводившей слова. То, что может быть разрушено истиной, должно быть разрушено. Люди способны выдержать то, что истинно, ведь они уже это переносят. Любопытство стремится уничтожить само себя. Имелась даже одна маленькая табличка, на которой не было ничего, кроме красной горизонтальной черты. Символы можно заставить означать всё что угодно — гибкость визуального представления, открыто признать которую не решился бы даже Бардовский заговор.

Под табличками на стене были нацарапаны две группы зарубок. В столбце «плюс» — две зарубки. В столбце «минус» — пять зарубок. Семь раз он входил в эту комнату; пять раз он решал не менять своего мнения; дважды выходил из нее уже немного другим человеком. Не существовало никакого предписанного соотношения или установленного диапазона — это было бы чистым издевательством. Но если по прошествии времени в столбце «плюс» так и не появлялось отметок, с тем же успехом можно было признать, что в этой комнате нет никакого смысла, поскольку вы не обладаете способностью, которую она олицетворяет. Либо так, либо вы родились, изначально зная истину и будучи правым во всем.

Джеффриссай сел, повернувшись к табличкам спиной, лицом к пустой белой стене. Лучше, чтобы перед глазами не было ничего отвлекающего.

Мысленно он повторил сначала мета-мнемонику, а затем и различные связанные с ней субмнемоники для семи главных принципов и шестидесяти двух конкретных техник, которые с наибольшей вероятностью могли понадобиться в Ритуале Изменения Своего Мнения. К этому Джеффриссай добавил еще одну мнемонику, напоминавшую ему о четырнадцати его самых постыдных оплошностях.

Глубокого вдоха он делать не стал. Лучше всего было дышать ровно.

И затем он задал себе вопрос.

*

Книга III. Машина в призраке. Разумы: Введение. Интерлюдия: Сила интеллекта.

L. Простая математика эволюции

131. Чуждый бог

132. Чудо эволюции

133. Любая эволюция глупа (но всё равно работает)

134. Никакой эволюции для корпораций или наноустройств

135. Эволюция, ведущая к вымиранию

136. Трагедия группового отбора

137. Ложные критерии оптимизации

138. Исполнители адаптаций, а не максимизаторы приспособленности

139. Эволюционная психология

140. Особо элегантный эксперимент по эволюционной психологии

141. Сверхстимулы и крах западной цивилизации

142. Ты — осколок бога

M. Хрупкие цели

143. Вера в интеллект

144. Люди в смешных костюмах

145. Оптимизация и взрыв интеллекта

146. Призраки в машине

147. Искусственное сложение

148. Терминальные и инструментальные ценности

149. Протекающие обобщения

150. Скрытая сложность желаний

151. Антропоморфный оптимизм

152. Утраченные цели

N. Руководство по словам для человека

153. Притча о кинжале

154. Притча о болиголове

155. Слова как скрытые выводы

156. Экстенсионалы и интенсионалы

157. Кластеры сходства

158. Типичность и асимметричное сходство

159. Кластерная структура пространства вещей

160. Замаскированные запросы

161. Нейронные категории

162. Как алгоритм ощущается изнутри

163. Споры об определениях

164. Почувствуй смысл

165. Аргумент к общепринятому словоупотреблению

166. Пустые ярлыки

167. Табуируй свои слова

168. Замени символ сутью

169. Ошибки сжатия

170. Категоризация имеет последствия

171. Протаскивание коннотаций

172. Споры «по определению»

173. Где провести границу?

174. Энтропия и короткие коды

175. Взаимная информация и плотность в пространстве вещей

176. Суперэкспоненциальное пространство понятий и простые слова

177. Условная независимость и наивный Байес

178. Слова как ручки мысленных кистей

179. Ошибки переменного вопроса

180. 37 способов ошибиться в словах

Интерлюдия: Интуитивное объяснение теоремы Байеса

Разум: введение.

Роб Бензингер

Вы — разум, и это ставит вас в довольно странное положение.

Быть разумом дано очень немногим вещам. Вы — та странная крупица материи во Вселенной, которая способна делать прогнозы и строить планы, взвешивать и пересматривать убеждения, страдать, мечтать, замечать божьих коровок или испытывать внезапное желание съесть манго. Вы даже можете сформировать в собственном разуме картину всего своего разума целиком. Вы можете рассуждать о собственном процессе рассуждения и работать над тем, чтобы привести его работу в большее соответствие с вашими целями.

Вы — разум, реализованный в человеческом мозге. И оказывается, что человеческий мозг, при всей его изумительной гибкости, — вещь закономерная, состоящая из шаблонов и рутины. Ваш разум может всю жизнь следовать привычной рутине, ни разу этого не заметив. И эта рутина может иметь огромные последствия.

Когда ментальный шаблон приносит вам пользу, мы называем это «рациональностью».

Вы существуете именно в таком виде — биологически предрасположенными к проявлению определенных видов рациональности и определенных видов иррациональности — благодаря вашим предкам. Вы, как и вся жизнь на Земле, происходите от древних самовоспроизводящихся молекул. Этот процесс репликации поначалу был неуклюжим и хаотичным, но вскоре привел к появлению копируемых различий между репликаторами. «Эволюция» — это наше название для изменения этих различий с течением времени.

Поскольку некоторые из этих воспроизводимых различий влияют на способность к воспроизводству — явление, называемое «отбором», — эволюция привела к появлению организмов, приспособленных к размножению в условиях, подобных тем, в которых жили их предки. Все в вас построено на отголосках борьбы и побед ваших предков.

И вот вы здесь: разум, высеченный из более слабых разумов, стремящийся понять собственные внутренние механизмы, чтобы их можно было улучшить — улучшить применительно к вашим целям, а не к целям вашего создателя, эволюции. Какие полезные стратегии и выводы мы можем извлечь из понимания того, что таково наше исходное положение?

Призраки и машины

Наш мозг по своей микроструктуре и динамике похож на многие другие механические системы. И все же мы редко думаем о своем разуме в тех же терминах, что и о предметах нашего окружения или органах нашего тела. Наши базовые ментальные категории — убеждение, решение, слово, идея, чувство и так далее — мало похожи на наши физические категории.

Философы прошлого ухватились за это наблюдение и развили его, утверждая, что разум и мозг — это фундаментально различные, обособленные явления. Этот взгляд философ Гилберт Райл