Nexus. Краткая история информационных сетей от каменного века до искусственного интеллекта. Юваль Ной Харари. Саммари - Издательство «Синдбад»

картинки». Человек был обманут, и с его помощью GPT-4 прошел капчу. Люди не программировали GPT-4 на ложь и не сообщали ему, какая ложь убедительнее. Люди лишь поставили перед GPT-4 цель пройти капчу, а алгоритм сам придумал, как ее достичь.

Принципиально важно то, что появление компьютеров, способных самостоятельно преследовать цели и принимать решения, меняет базовую структуру человеческой информационной сети.

Звенья одной цепи

До появления компьютеров люди были незаменимыми звеньями в каждой цепочке информационных сетей. Одни цепочки состояли только из людей («человек – человек»), другие включали документы («человек – документ»), но создать цепочку «документ – документ» было невозможно. Путь от одного документа к другому всегда пролегал через человеческий мозг.

В отличие от цепочек прошлого, цепочки «компьютер – компьютер» способны функционировать без участия людей. Например, один компьютер может сгенерировать фейковую новость и опубликовать ее в соцсети. Второй компьютер распознает эту новость как фейк, удалит ее и предупредит другие компьютеры, чтобы они тоже ее заблокировали. Третий компьютер, анализирующий их активность, сделает вывод о назревающем кризисе, продаст рискованные акции и купит более надежные гособлигации. Другие компьютеры, отслеживающие финансовые транзакции, отреагируют продажей большего числа акций, спровоцировав финансовый спад. Все это произойдет за несколько секунд, и ни один человек не успеет заметить и понять, что происходит.

Компьютеры, в отличие от глиняных табличек, печатных станков и радио, – полноправные участники информационной сети. В перспективе компьютеры могут стать могущественнее людей. Они могут подключаться друг к другу в неограниченных масштабах, а некоторые финансовые и юридические реалии они понимают лучше, чем многие люди. Возможно, когда-нибудь компьютеры будут доминировать на финансовых рынках и изобретут принципиально новые инструменты, недоступные пониманию человека. Кроме того, компьютеры – прирожденные бюрократы, они способны разрабатывать законы, отслеживать их нарушения и выявлять юридические лазейки со сверхчеловеческой эффективностью.

Взлом операционной системы человеческой цивилизации

Когда появились первые компьютеры, многие полагали, что их уделом останутся математические расчеты. Мысль о том, что они когда-нибудь овладеют тонкостями языка и пониманием законов и финансов, казалась фантастикой. Но к началу 2020-х годов компьютеры проявили блестящие языковые способности. Они умеют рассказывать истории, сочинять музыку, создавать картины и видеоролики и даже писать свой код.

До появления ИИ все истории, влиявшие на общество, возникали в воображении людей. Так, в октябре 2017 года анонимный пользователь сайта 4chan под псевдонимом Q заявил, что обладает доступом к самой секретной информации правительства США, и начал публиковать зашифрованные сообщения о мировом заговоре. Вскоре у него появилось множество подписчиков, а его сообщения стали толковать, как священные тексты. В них говорилось, в частности, что в администрацию США и многие другие организации по всему миру проникли сатанисты и каннибалы-педофилы.

Теория заговора, известная как QAnon, сформировалась на американских ультраправых сайтах и постепенно обрела миллионы сторонников по всему миру. Она имела последствия и в офлайне: в частности, активисты QAnon участвовали в нападении на Капитолий.

В 2017 году анонимные сообщения в интернете мог написать только человек; алгоритмы всего лишь помогали их распространить. Однако с 2024 года подобные тексты может писать и публиковать ИИ. Более того, ИИ способен еще и редактировать и интерпретировать тексты. Люди в этом контуре не нужны.

Не менее тревожно и то, что люди все чаще вовлекаются в онлайн-дискуссии с компьютерами, принимая их за людей. Это может сделать демократию несостоятельной. Демократия – это диалог, а диалог основан на языке. Овладев языком, компьютеры могут сближаться с людьми, а затем использовать эту близость, чтобы влиять на них. Для этого компьютерам достаточно вызвать у них эмоциональную привязанность. А что будет, когда чат-боты познакомятся с QAnon? Известно, что в 2021 году чат-бот по имени Сараи уже сподвигла одного молодого человека ворваться с арбалетом в Виндзорский замок.

Владение языком позволит компьютерам серьезно влиять на взгляды и мнения людей. Люди могут избрать компьютерного консультанта в качестве универсального оракула. Зачем утруждать себя самостоятельным поиском и анализом информации, если можно просто спросить оракула? Это ударит не только по поисковым системам, но и по индустрии новостей и рекламы.

Все это может привести к концу человеческой истории, то есть истории, где доминирует человек. История определяется взаимодействием между биологическими потребностями человека и культурными моделями. Если компьютеры станут играть все большую роль в культуре и начнут создавать истории, законы и религии, за несколько лет ИИ сможет поглотить всю человеческую культуру, переварить ее и начать выпускать потоки новых культурных артефактов.

Люди живут в коконе культуры, воспринимая реальность сквозь него. На них влияют культурные традиции, которые на протяжении тысячелетий формировались людьми. В будущем этот культурный кокон все чаще будут конструировать компьютеры. Поначалу они будут имитировать человеческие культурные прототипы; затем их творения будут все больше отличаться, поскольку компьютеры свободны от ограничений, которые накладывают на человеческое воображение эволюция и биохимия. Вскоре человечество может обнаружить, что живет в мире, созданном в воображении инородного интеллекта.

Потенциальная опасность этого сильно отличается от того, что часто представляют фантасты. Чтобы манипулировать людьми, нет необходимости физически подключать мозг к компьютеру, как в «Матрице». Пророки, поэты и политики всегда манипулировали обществом посредством языка. Теперь этому учатся компьютеры. И им не нужно будет подсылать к людям роботов-убийц, как в «Терминаторе». Они смогут убедить их самих стрелять друг в друга.

Человечество начало опасаться мощных компьютеров только в середине XX века, но люди с древних времен боялись оказаться в ловушке иллюзий. Платон придумал аллегорию об узниках в пещере, принимающих тени за реальность. Буддийские и индуистские мудрецы считали, что все люди живут в ловушке майи – мира иллюзий. Рене Декарт опасался, что все видимое и слышимое им придумал злой демон. Компьютерная революция сталкивает людей с платоновской пещерой, с майей и демоном Декарта.

Рассказанная история может изменить мнение человека о каких-то вещах и даже подтолкнуть к реальным действиям. Автор уверяет, что написал этот текст сам, но может ли читатель быть в этом абсолютно уверен? Еще пару лет назад никто, кроме людей, не мог создавать сложные тексты, но сегодня эти слова теоретически мог бы написать ИИ.

Каковы последствия?

С увеличением мощности компьютеров, вероятно, возникнет совершенно новая информационная сеть. Старые информационные цепочки сохранятся, но все чаще будут возникать два новых типа цепочек: «компьютер – человек» и «компьютер – компьютер».

В обозримом будущем в новую компьютерную сеть по-прежнему будут включены миллиарды людей, но они могут оказаться в меньшинстве, поскольку в нее также войдут миллиарды инородных агентов. Эта сеть будет принципиально отличаться от всего, что существовало прежде. С момента зарождения жизни на Земле все информационные сети были органическими, и человеческие сети имели много общего с другими сетями, такими как волчьи стаи. Все они строились вокруг биологических драм. Информационная сеть с преобладанием неорганических компьютеров будет настолько иной, что людям трудно ее вообразить.

Цифровые компьютеры появились всего 80 лет назад, и их потенциал далеко не исчерпан. Достижения последних десятилетий – ничто по сравнению с тем, что впереди. Новые компьютеры будут совершенно не похожи на привычные человеку металлические коробки с экраном и клавиатурой. Компьютерам может потребоваться лишь пара столетий, чтобы преодолеть пространственные и временные ограничения воображения человека, развить сверхразум, расшириться до планетарных масштабов или уменьшиться до субатомного уровня.

Темпы компьютерной эволюции отражаются в терминологическом хаосе. Если пару десятилетий назад люди говорили о «компьютерах», то сейчас говорят об алгоритмах, роботах, ботах, ИИ, сетях и облаках. Этот хаос говорит сам за себя: в случае с компьютерами трудно понять, где заканчивается одна сущность и начинается другая.

Слегка архаичным термином «компьютер» (предпочитая его другим терминам) автор называет весь комплекс программного и аппаратного обеспечения, представленный в физической форме, – отчасти потому, что термины быстро меняются, отчасти для того, чтобы напомнить о физической стороне компьютерной революции. Компьютеры материальны, на их производство и эксплуатацию уходит огромное количество ресурсов, а крупные центры обработки данных занимают десятки гектаров