Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

тысяч других понятий, что и люди. Если на это способен простой углеродный механизм, то я вполне уверен, что и простой кремниевый механизм справится с этим не хуже. Если пришельцы могут дематериализовать свои корабли, значит, это физически возможно; вы могли бы проникнуть на их заброшенный корабль, проанализировать инопланетные механизмы и со временем во всем разобраться. Но нельзя же просто выломать рычаг управления с мостика!

(См. также: «Действительно часть вас», «Слова как ручки ментальных кистей», а также статью Дрю Макдермотта «Искусственный интеллект сталкивается с естественной глупостью»1.)

Главная причина возникновения ошибки оторванного рычага состоит в том, что рычаг находится на виду, а механизм — нет; хуже того, рычаг изменчив, тогда как механизм представляет собой постоянный фон.

Вы все можете услышать, как произносится слово «яблоко» (и заметим в скобках, что распознавание речи — отнюдь не простая задача, но тем не менее...) и можете увидеть написанный на бумаге текст.

С другой стороны, большинство людей, вероятно, даже не догадываются о существовании своей височной коры; насколько мне известно, никто не знает её нейронного кода.

Вы слышите слово «яблоко» только в определенных случаях, а в других не слышите. Его появление то вспыхивает, то гаснет, привлекая к себе внимание. В значительной степени восприятие строится на разнице. Механизм распознавания яблок в вашем мозгу не отключается внезапно, чтобы потом снова включиться — если бы это было так, мы бы с большей вероятностью осознавали его как фактор, как необходимое условие.

Все это объясняет, почему нельзя создать дружелюбный искусственный интеллект, просто обеспечив ему хороших родителей и доброе (но временами строгое) воспитание, как это происходит с человеческим младенцем. Хотя мне часто приходилось слышать подобные предложения.

В эволюционной биологии считается трюизмом то, что условные реакции требуют большей генетической сложности, чем безусловные. Выращивание шерсти в ответ на холодную погоду требует большей генетической сложности, чем выращивание шерсти независимо от того, холодно на улице или нет, потому что в первом случае вам также необходимо развить датчики холода и подключить их к механизму роста шерсти.

Но это может приводить к ламаркистским иллюзиям: «Смотрите, я помещаю организм в холодную среду, и — пуф! — у него вырастает шерсть! Гены? Какие еще гены? Очевидно же, что все дело в холоде».

В истории эволюционной биологии действительно случались подобные перепалки — случаи, когда кто-то рассуждал о том, как реакция организма ускоряет эволюцию или позволяет обойтись без нее, не понимая, что условная реакция сама по себе является сложной адаптацией более высокого порядка, чем непосредственная реакция. (Выращивание шерсти в ответ на холодную погоду строго сложнее, чем конечная реакция — выращивание шерсти как таковой.)

А затем, по мере развития эволюционной психологии, эти академические перепалки повторились: на этот раз потребовалось прояснить, что даже когда человеческая культура действительно содержит в себе массу сложностей, она все равно усваивается как условная генетическая реакция. Попробуйте вырастить рыбу мормоном или отправить ящерицу в колледж, и вы быстро начнете ценить, какая огромная встроенная генетическая сложность необходима для того, чтобы просто «впитывать культуру из окружающей среды».

Это особенно важно в эволюционной психологии из-за идеи о том, что культура не пишется на чистом листе, — существует генетически скоординированная условная реакция, которая далеко не всегда заключается в простом «копировании поступающих сигналов». Классический пример — креольские языки: если дети растут в окружении смеси псевдоязыков, звучащих вокруг них, они в итоге осваивают настоящий язык с полноценной грамматикой и синтаксисом. Растущий человеческий мозг устроен так, чтобы усваивать синтаксический язык, — даже когда в исходном языке синтаксиса нет вовсе! Условной реакцией на слова в окружающей среде становится синтаксический язык, построенный из этих самых слов. Марксисты к своему сожалению обнаружили, что никакое количество суровых плакатов и идеологической обработки с детских лет не способно вырастить из детей идеальных советских рабочих и бюрократов. Невозможно вырастить абсолютно бескорыстных людей; у человека это не является генетически запрограммированной условной реакцией на какую бы то ни было известную детскую среду.

Если вы немного знакомы с теорией игр и логикой стратегии «Око за око», то вполне понятно, почему у людей может быть врожденная условная реакция отвечать ненавистью на ненависть и добром на добро. При условии, конечно, что доброта не выглядит чересчур безусловной — ведь бывают же избалованные дети. На самом деле существует эволюционная психология непослушания, основанная на идее прощупывания границ. И стоит также упомянуть, что, хотя дети, подвергавшиеся насилию, с гораздо большей вероятностью во взрослом возрасте тоже будут жестоко обращаться со своими детьми, очень многие из них разрывают этот круг и вырастают достойными людьми.

Культура далеко не так всесильна, как некогда хотелось думать многим ученым-марксистам. Подробнее об этом вы можете прочитать в статье Джона Туби и Леды Космидес «Психологические основы культуры»2 или в книге Стивена Пинкера «Чистый лист».3

Но суть в том, что если у вас есть маленький ИИ-младенец, который воспитывается любящими и добрыми (но временами строгими) родителями, вы дергаете за рычаги, которые у человека привели бы в действие генетические механизмы, заложенные миллионами лет естественного отбора, и, возможно, сформировали бы нормального человеческого ребенка. Хотя врожденный характер тоже играет роль, в чем миллиарды родителей убеждались в свое время. Если мы и впитываем нашу культуру с какой-то долей точности, то лишь потому, что мы люди, впитывающие человеческую культуру. Люди, выросшие в чужой культуре, вероятно, в итоге создали бы культуру, гораздо более похожую на человеческую, чем на оригинальную. Как в некоторой степени выяснили и в Советском Союзе.

А теперь подумайте еще раз, есть ли смысл полагаться — в качестве вашей стратегии Дружественного ИИ — на воспитание маленького ИИ с неопределенным внутренним исходным кодом в окружении добрых, но строгих родителей.

Нет, у ИИ нет внутренних механизмов условной реакции, точь-в-точь похожих на человеческие, «просто потому, что программисты их туда поместили». С чего бы здесь вообще начать? Человеческая версия всей этой системы — неряшливая, полная шума и, в той степени, в какой она вообще работает, функционирует благодаря миллионам лет проб и ошибок в конкретных условиях. Было бы глупо и опасно намеренно создавать «непослушный ИИ», который своими действиями проверяет социальные границы и которого приходится шлепать. Пусть лучше ИИ просто спросит!

Неужели программисты действительно собираются сидеть и строчка за строчкой писать код, согласно которому, если ИИ обнаружит, что у него низкий социальный статус, или если ИИ лишат чего-то, на что он считает себя вправе претендовать, ИИ воспылает непреходящей ненавистью к своим