Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

в проектировании механизмов — в том, чтобы определить механизм для эволюционирующих систем ИИ в рамках системы сдержек и противовесов, а также наделить эти системы функциями полезности, которые останутся дружественными в условиях подобных изменений. Мы не можем просто дать программе статичную функцию полезности, потому что со временем меняются как обстоятельства, так и наши желаемые реакции на них.

Встревоженные тем, что будущий прогресс в ИИ, нанотехнологиях, биотехнологиях и других областях может поставить под угрозу человеческую цивилизацию, Бостром и Чиркович составили первую академическую антологию на эту тему — «Глобальные катастрофические риски».5 Самыми экстремальными из них являются экзистенциальные риски — угрозы, способные привести к необратимой стагнации или вымиранию человечества.6

Люди (включая экспертов), как правило, чрезвычайно плохи в прогнозировании важных будущих событий (включая появление новых технологий). Одна из целей Юдковского при обсуждении рациональности — выяснить, какие именно когнитивные искажения мешают нам предсказывать крупные потрясения и готовиться к ним задолго до их наступления. Статьи Юдковского в сборнике «Глобальные катастрофические риски» — «Когнитивные искажения, способные повлиять на оценку глобальных рисков» и «Искусственный интеллект как позитивный и негативный фактор глобального риска» — связывают воедино его исследования в когнитивистике и области ИИ. Юдковский и Бостром также обобщают как краткосрочные, так и долгосрочные проблемы в главе «Кембриджского руководства по искусственному интеллекту» под названием «Этика искусственного интеллекта»7.

Хотя эта книга посвящена человеческой рациональности, тема ИИ важна как источник простых иллюстраций различных аспектов человеческого познания. Долгосрочное прогнозирование развития технологий также является одним из наиболее важных применений байесовской рациональности, которая позволяет моделировать корректные рассуждения даже в тех областях, где данные скудны или неоднозначны.

Знание устройства может многое рассказать о создателе, а знание создателя — об устройстве.

Итак, мы начнем с исследования того, чему наш собственный создатель может научить нас самих.

*

1. Гилберт Райл, «Понятие сознания» (University of Chicago Press, 1949).

2. Ирвинг Джон Гуд, «Speculations Concerning the First Ultraintelligent Machine», в Advances in Computers, под ред. Франца Л. Альта и Морриса Рубиноффа, т. 6 (New York: Academic Press, 1965), 31–88, doi:10.1016/S0065-2458(08)60418-0.

3. Ник Бостром, «Суперинтеллект: пути, опасности, стратегии» (Oxford University Press, 2014).

4. Стюарт Рассел, Питер Норвиг, «Искусственный интеллект: современный подход», 3-е изд. (Upper Saddle River, NJ: Prentice-Hall, 2010).

5. Бостром и Чиркович, «Глобальные катастрофические риски».

6. Примером возможного экзистенциального риска является сценарий «серой слизи», в котором молекулярные роботы, созданные для эффективного самовоспроизведения, справляются со своей задачей слишком хорошо и быстро вытесняют живые организмы, поглощая все доступное на Земле вещество.

7. Ник Бостром, Элиезер Юдковский, «Этика искусственного интеллекта» в The Cambridge Handbook of Artificial Intelligence, под ред. Кита Фрэнкиша и Уильяма Рэмси (New York: Cambridge University Press, 2014).

Интерлюдия. Сила интеллекта. В своих черепах мы носим около полутора килограммов склизкой, влажной, сероватой ткани, складчатой, точно смятая туалетная бумага.

Глядя на этот малоаппетитный ком, ни за что не подумаешь, что перед тобой одна из самых могущественных субстанций в известной нам Вселенной. Если бы вы никогда не видели учебника по анатомии и наткнулись на лежащий на улице мозг, вы бы сказали «Фу!» и постарались бы не испачкать обувь. Аристотель считал мозг органом, охлаждающим кровь. Он вовсе не выглядит опасным.

Пять миллионов лет назад предки львов правили днём, а предки волков бродили по ночам. Господствующие хищники были вооружены зубами и когтями — острыми, твёрдыми режущими кромками, приводимыми в движение мощными мышцами. Их жертвы в целях самообороны обзавелись в ходе эволюции панцирями, острыми рогами, ядами и камуфляжем. Война шла на протяжении сотен эпох и бесчисленных гонок вооружений. Множество проигравших выбыло из игры, но победителя видно не было. Там, где у одного вида появлялся панцирь, у другого развивалась способность его раскалывать; там, где один вид становился ядовитым, другой учился переносить этот яд. У каждого вида была своя ниша — ведь кто мог жить одновременно в море, в небе и на суше? Не существовало ни абсолютного оружия, ни абсолютной защиты, и не было причин полагать, что нечто подобное вообще возможно.

А затем наступил День Мягкотелых.

У них не было брони. У них не было когтей. У них не было яда.

Если бы вы увидели запись ядерного взрыва и вам сказали бы, что это дело рук земной формы жизни, вы бы и в самых безумных фантазиях не представили, что за этим стоят Мягкотелые. В конце концов, сами Мягкотелые не радиоактивны.

Вначале у Мягкотелых не было ни истребителей, ни пулемётов, ни винтовок, ни мечей. Ни бронзы, ни железа. Ни молотов, ни наковален, ни клещей, ни кузниц, ни рудников. Всё, что было у Мягкотелых, — это их мягкие пальцы, слишком слабые, чтобы сломать дерево, не говоря уже о горе. Очевидно, они не представляли опасности. Чтобы резать камень, нужна сталь, а Мягкотелые не умели выделять сталь. В природе не валялось стальных лезвий, которые мягкие пальцы могли бы подобрать. Их тела не могли генерировать температуру, даже отдалённо достаточную для плавки металла. Весь этот сценарий выглядел откровенным абсурдом.

А уж мысль о том, что Мягкотелые будут манипулировать ДНК, была и вовсе запредельно смехотворной. Мягкие пальцы не настолько малы. С уровня Мягкотелых доступа к ДНК нет; это всё равно что пытаться ухватить атом водорода. О, технически это всё одна вселенная, технически Мягкотелые и ДНК — часть одного мира, подчинённого одним и тем же единым законам физики, той же великой паутине причинно-следственных связей. Но давайте смотреть на вещи реально: отсюда туда никак не добраться.

Даже если бы Мягкотелые и могли когда-нибудь эволюционировать до подобных свершений, на это ушли бы тысячи тысячелетий. Мы наблюдали за приливами и отливами Жизни на протяжении эпох и уж поверьте нам: год — это даже не один тик эволюционных часов. О, конечно, технически год равен шестистам триллионам триллионов триллионов триллионов планковских интервалов. Но ничто и никогда не происходит быстрее, чем за шестьсот миллионов триллионов триллионов триллионов триллионов планковских интервалов, так что этот спор лишён смысла. Мягкотелые, бегающие сейчас по саванне, полетят над континентами не раньше чем через десять миллионов лет; ни у кого не может быть столько секса.

А теперь объясните мне ещё раз, почему Искусственный Интеллект не способен сделать ничего примечательного в Интернете, пока программист-человек не построит для него тело робота.

Я заметил, что рефлекторная реакция человека на слово «интеллект»