Генеративный искусственный интеллект. Как ИИ меняет нашу жизнь и работу - Нума Дхамани

кто считает LaMDA чувствующей системой, уже образовалось растущее сообщество исследователей, интересующихся возможностью обнаружения сознания и способности чувствовать у ИИ и считающих это важной областью для изучения, поскольку растет распространенность ИИ-систем и количество сопутствующих моральных проблем, которые могли бы сопровождать ИИ-системы, обладающие сознанием. Философ из Anthropic AI Аманда Аскелл, которая ранее также работала в OpenAI, в 2022 году написала:

«Мы привыкли думать о сознании животных, которое развивается и меняется очень медленно. Быстрый прогресс в области ИИ может означать, что в какой-то момент будущие системы перейдут от бессознательного состояния к минимально сознательному, а затем станут способными чувствовать гораздо быстрее, чем это могут сделать представители биологических видов. Поэтому важно разработать методы для выявления способности чувствовать у ИИ-систем, природу их опыта и того, как изменить этот опыт до появления сознания и способности чувствовать, а не после свершившегося факта»26.

Философ и ученый-когнитивист из Нью-Йоркского университета Дэвид Чалмерс отвергает идею о том, что только углеродные системы могут обладать сознанием, и относит ее к «биологическому шовинизму». Чалмерс считает, что вероятность того, что современные LLM имеют сознание, менее 10 %, но верит:

«Когда речь заходит о будущих LLM и их расширениях, все выглядит совсем по-другому. Кажется вполне возможным, что в течение следующего десятилетия у нас появятся надежные системы с органами чувств, телесностью, моделями мира и моделями себя, циклической обработкой данных, глобальным рабочим пространством и едиными целями».

По мнению Чалмерса, у таких систем будет существенная возможность обладать сознанием27. Его прогноз основан на большом количестве недавних существенных изменений в LLM, но для следующего десятилетия он может оказаться слишком оптимистичным. Мы многого не знаем о сознании в целом, поэтому еще немало вопросов о сознании ИИ остаются без ответов. До сих пор обсуждение было гипотетическим, поскольку ни одна из современных систем не демонстрирует ничего похожего на сознание. Ответы LLM впечатляют, особенно в задачах с обучением на небольшом количестве примеров, но ничего не указывает на то, что у моделей есть собственное мнение; да, их ответы часто поразительны, но это статистическая генерация, а не выражение мнения. Мы считаем, как и в случае с AGI, что вопросы, связанные с сознанием и способностью чувствовать, являются второстепенными по сравнению с реальными и существующими рисками LLM. На данный момент самым большим риском, связанным с сознанием и чувствами ИИ, остается способность ИИ-систем казаться обладающими сознанием и чувствами и вызывать у пользователя чрезмерное доверие, несмотря на все задокументированные ограничения.

9.3. Как LLM воздействуют на окружающую среду

На протяжении всей этой книги мы уделяли особое внимание тому, что делает большие языковые модели большими: от триллионов токенов в наборах данных для предварительного обучения до десятков миллиардов параметров в работающих моделях. Как этап обучения, так и работа готовой модели требуют больших финансовых затрат, выполняются на специализированном оборудовании и потребляют много электроэнергии. Рост числа LLM в разгар климатического кризиса не остался незамеченным, и в этой области появилась новая тема по изучению влияния моделей на окружающую среду.

Всеобъемлющий подход к измерению воздействия больших языковых моделей на окружающую среду должен начинаться с аппаратного обеспечения, на котором они работают: компьютерных чипов, то есть графических процессоров (GPU) – специальных чипов для параллельной обработки. Каждый чип изготовлен из полупроводникового материала, обычно кремния, и содержит миллионы или миллиарды транзисторов. Они работают как электронные переключатели и могут находиться во включенном и выключенном положении, сохраняя биты данных в процессе вычислений. Для производства компьютерных чипов, как и другой электроники, требуется множество различных материалов: основа, например кремний, металлы, такие как алюминий и медь, для соединения компонентов в чипе и множество других металлов, которые могут быть задействованы в процессе обработки и производства. Таким образом, можно считать, что полный жизненный цикл LLM включает в себя добычу сырья, например кварца, переработку сырья в чистый кремний и различные металлы, производство графических процессоров. Рынок современных компьютерных чипов является очень монополизированным, а сложность процесса производства означает, что для некоторых компонентов существует всего несколько надлежащих поставщиков в мире. Графические процессоры, подключенные к сети, являются продуктом скоординированной многонациональной цепочки поставок, возможно, с десятками участников.

В августе 2023 года газета New York Times сообщила о нехватке графических процессоров, поскольку стартапы и крупные корпорации стали скупать чипы.

«Охота за этим важнейшим компонентом началась в прошлом году, когда чат-боты в интернете, такие как ChatGPT, вызвали волну ажиотажа вокруг ИИ, что создало массовый спрос и создало дефицит чипов. Теперь в ответ на это стартапы и их инвесторы предпринимают значительные усилия, чтобы гарантировать доступ к этим крошечным кусочкам кремния и создаваемой ими „вычислительной мощности“»28.

Маленькие компании обычно не заводят собственное оборудование или центры обработки данных – они арендуют время работы на графических процессорах у поставщиков облачных вычислений, таких как Microsoft Azure, Google Cloud или Amazon Web Services.

Как только доступ к графическим процессорам обеспечен, обучение LLM сводится к выполнению невероятного количества математических операций, которые называются операциями с плавающей точкой (floating-point operations, FLOP). Стандартным показателем производительности компьютера является количество операций с плавающей точкой в секунду (FLOPS, флоп/с). Для обучения GPT‐3 потребовалось порядка 100 000 000 000 000 000 000 000 операций с плавающей точкой (1023), что соответствует количеству звезд в видимой Вселенной29. Даже при уровне производительности суперкомпьютера это занимает много часов работы большого количества графических процессоров, аккуратно размещенных на серверах в центрах обработки данных и потребляющих электроэнергию во время своей работы.

Поскольку во время обучения происходит самое интенсивное использование компьютеров, измерения в основном проводятся на этой стадии. Существуют инструменты, разработанные для измерения потребления электроэнергии во время обучения, и некоторые из них работают параллельно с процессом обучения модели, обеспечивая тщательный учет энергопотребления, а другие оценивают его по факту, то есть после получения окончательной модели. Инструмент CodeCarbon измеряет энергопотребление для центрального процессора, оперативной памяти и любого графического процессора, при этом он работает параллельно и может быть запущен на любом персональном компьютере (см. https://github.com/mlco2/codecarbon). Подобные инструменты отличаются великолепной ненавязчивостью и простотой. В документации CodeCarbon разработчики приводят слова Нильса Бора «ничего не существует, пока это не измерено» в качестве объяснения, почему они решили найти способ оценить уровень углекислого газа (CO2), образующегося во время работы программ (к парниковым газам относится не только углекислый газ, но и метан, и закись азота, однако для удобства измерения все остальные пересчитываются в эквивалент углекислого газа). Хотя отчетность о потреблении электроэнергии для выполнения различных задач еще не стала распространенной нормой – на самом деле ни в области ИИ, ни в других отраслях, – такие инструменты положительно влияют