Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

— мысль, которая проносится у него в голове в первую же полсекунды после того, как он слышит это слово, — часто определяет его инстинктивную реакцию на саму идею взрыва интеллекта. Часто люди, обращаясь к понятию «интеллект», извлекают из памяти концепт «книжного ума» — мысленный образ гроссмейстера, который никак не может сходить на свидание, или университетского профессора, неспособного выжить за пределами академической среды.

«Чтобы преуспеть в профессии, одного интеллекта мало», — говорят люди, как будто харизма гнездится в почках, а не в мозгу. «Против пули интеллект бессилен», — говорят они, словно пистолеты растут на деревьях. «Откуда Искусственный Интеллект возьмёт деньги?» — спрашивают они, словно первые Homo sapiens находили падающие с неба долларовые купюры и расплачивались ими в магазинчиках, которые уже стояли в лесу. Человеческий вид не родился в условиях рыночной экономики. Пчёлы не продадут вам мёд, если вы предложите им электронный перевод. Человеческий вид вообразил деньги, вызвав их к жизни, и они существуют — для нас, а не для мышей или ос, — потому что мы продолжаем в них верить.

Я постоянно пытаюсь объяснить людям, что архетип интеллекта — это вовсе не Дастин Хоффман в «Человеке дождя». Это человек, и точка. Это мягкотелые создания, которые взрываются в вакууме, но оставляют следы на своей луне. Внутри этого серого влажного комка кроется сила, позволяющая прокладывать пути сквозь великую паутину причинно-следственных связей и находить дорогу к тому, что кажется невозможным, — сила, которую иногда называют творчеством.

Люди — в особенности венчурные капиталисты — иногда спрашивают, как именно результаты будут коммерциализированы, если Научно-исследовательский институт машинного интеллекта (MIRI) успешно создаст истинный ИИ. Вот это мы и называем проблемой фрейминга.

А может быть, тут кроется нечто более глубокое, чем простое несовпадение предпосылок. Приложив немного творческого мышления, люди могут представить себе, как отправиться на Луну, победить оспу или производить компьютеры. Но вообразить трюк, способный совершить всё это разом, кажется решительно невозможным — хотя подобная сила таится всего в нескольких сантиметрах за их собственными глазами. Серая влажная штуковина по-прежнему кажется загадкой для самой этой серой влажной штуковины.

И поэтому, поскольку люди не вполне понимают, как всё это будет работать, сила интеллекта кажется менее реальной; её сложнее вообразить, чем огненный столп, отправляющий корабль на Марс. Перспектива полета на Марс будоражит воображение. Но если пообещать и полет на Марс, и теорию Великого объединения, и доказательство гипотезы Римана, и лекарство от ожирения, и лекарство от рака, и лекарство от старения, и лекарство от глупости — что ж, это просто звучит как-то неправильно, вот и всё.

И это вполне естественно. Считать, что интеллект годен лишь на столь малое, — это серьезный провал воображения. Кто мог вообразить давным-давно, на что однажды окажется способен разум? Возможно, мы даже не знаем, в чём заключаются наши настоящие проблемы.

Но тем временем, поскольку трудно понять, как один процесс может обладать столь разнородными силами, трудно и вообразить, что одним махом можно решить даже такие прозаические проблемы, как ожирение, рак и старение.

Что ж, один-единственный трюк победил оспу, построил самолеты, окультурил пшеницу и приручил огонь. Наша нынешняя наука, возможно, ещё не сошлась во мнениях о том, как именно работает этот трюк, но он всё равно работает. Если вы временно чего-то не знаете о каком-то явлении, это факт о вашем нынешнем состоянии ума, а не о самом явлении. Пустая карта не означает пустую территорию. И даже если человек не вполне понимает силу, которая оставила следы на Луне, эти следы всё равно там — настоящие следы на настоящей Луне, оставленные настоящей силой. Если понять её достаточно глубоко, то эту силу можно будет создавать и направлять. Интеллект так же реален, как электричество. Просто он гораздо мощнее, гораздо опаснее, влечет за собой куда более глубокие последствия для разворачивающейся истории жизни во Вселенной — и понять, как построить для него генератор, самую малость сложнее.

*

Часть L. Простая математика эволюции.

131. Чужой бог. «Удивительный аспект теории эволюции, — сказал Жак Моно, — заключается в том, что каждый считает, будто понимает её».

Человек, глядя на мир природы, видит тысячекратную целесообразность. Ноги кролика, созданные и сочленённые для бега; челюсти лисы, созданные и сочленённые для того, чтобы рвать плоть. Но то, что вы видите, — это не совсем то, что есть на самом деле...

В додарвиновские времена причина всей этой кажущейся целесообразности была величайшей загадкой для науки. Божисты твердили: «Это дело рук Бога» — ведь за каждое упоминание слова «Бог» в предложении начисляется 50 бонусных очков. Но, возможно, я несправедлив. В додарвиновскую эпоху эта гипотеза выглядела куда более разумной. Найдите в пустыне часы, говорил Уильям Пейли, и вы сможете сделать вывод о существовании часовщика.

Но когда вы смотрите на всю кажущуюся целесообразность в природе, а не выбираете лишь удобные примеры, вы начинаете замечать вещи, которые не вписываются в иудео-христианскую концепцию единого благого Бога. Лисы кажутся отлично спроектированными для ловли кроликов. Кролики кажутся отлично спроектированными для бегства от лисиц. Творцу никак не удавалось принять окончательное решение?

Когда я проектирую тостер, я не делаю одну деталь, которая пытается подать ток на спирали, и вторую, которая пытается этому помешать. Это было бы пустой тратой сил. Кто спроектировал экосистему с её хищниками и жертвами, вирусами и бактериями? Даже кактус, который, казалось бы, отлично приспособлен для того, чтобы обеспечивать пустынных животных водой и плодами, утыкан неудобными колючками.

Экосистема выглядела бы куда более осмысленной, если бы она была спроектирована не единым «Кто», а создана целым сонмом божеств — скажем, из индуистского или синтоистского пантеонов. Это легко объясняет как повсеместную целесообразность, так и повсеместные конфликты: действовало не одно божество, и зачастую они мешали друг другу. И лиса, и кролик были кем-то спроектированы, но разными, соперничающими богами. Интересно, обращал ли кто-нибудь внимание на то, какое прекрасное доказательство превосходства индуизма над христианством здесь кроется? Скорее всего, нет.

Точно так же иудео-христианский Бог считается благодетельным — ну, в каком-то смысле. И всё же значительная часть природной целесообразности кажется откровенно жестокой. Изучение наездников навело Дарвина на мысль о нестандартном Создателе, ведь их парализующие уколы сохраняют добычу живой, чтобы её пожирали личинки: «Я не могу убедить себя в том, — писал Дарвин,