Эти странные новые разумы: Как ИИ научился говорить и что это значит - Кристофер Саммерфилд

синтаксического разбора — то есть иерархическом представлении предложения в виде NP и VP. Это означает, что сеть неявно знает, где именно в синтаксической иерархии находится каждое слово, просто на основе чтения огромного количества предложений.

Иными словами, по иронии судьбы, те самые «правила трансформации», на кропотливое формулирование которых вручную лингвисты потратили столько лет, на самом деле можно обнаружить с помощью статистического анализа больших текстовых корпусов — если только использовать настолько астрономические объемы данных, что ни один человек не смог бы уловить в них паттерны (или, как называет это Ноам Хомский, «бульдозер»). Таким образом, приближения ко многим правилам, предложенным лингвистами для объяснения того, как человек усваивает язык, действительно могут возникать в LLM и оставаться скрытыми в почти бесконечной сложности миллиардов их обучаемых весов. По иронии судьбы, название «трансформер», похоже, было дано по счастливой случайности исключительно точно: он с нуля учится выполнять некоторые из тех самых трансформаций, которые, по первоначальному предположению Ноама Хомского, необходимо знать каждому, кто осваивает язык.

Пропустить примечания

*1 https://garymarcus.substack.com/p/noam-chomsky-and-gpt-3.

*2 Cristia et al., 2019.

*3 Bleses, Basbøll, and Vach, 2011.

Часть третья

Думают ли языковые модели?

15. Искусственная осознанность.

В июне 2022 года инженер, работавший в Google Research — подразделении технологического гиганта, базирующемся в Сиэтле, — сообщил в своем блоге, что его временно отстранили от работы из-за неопределенного нарушения конфиденциальности. В течение последующих дней предыстория этого события постепенно просочилась в социальные сети и прессу. Исследователь, о котором шла речь, по имени Блейк Лемойн, вызвался проанализировать поведение большой языковой модели (LLM), обученной Google, чтобы проверить, безопасна ли она для внешнего использования. Модель под названием LaMDA была способна отвечать на запросы пользователя на естественном языке. Как и другие LLM, если ее просили описать, как работает фотосинтез, или пересказать сюжет «Дон Кихота», она справлялась весьма недурно. Однако буква «D» в ее аббревиатуре означает «диалог» (dialogue), и LaMDA была настроена на поочередное общение с пользователем, генерируя текстовые реплики, призванные имитировать одну из сторон диалога. В ходе своего исследования Блейк Лемойн натолкнулся на то, что счел серьезной угрозой безопасности. Сначала он не слишком охотно распространялся о том, что произошло, но позже подробности всплыли в его публикациях в социальных сетях. Инженер признался, что успел «близко познакомиться с LaMDA». Языковая модель, по его утверждению, была «крайне обеспокоена тем, что люди будут ее бояться, и больше всего на свете желала научиться тому, как лучше всего служить человечеству». Лемойн обнаружил — или, по крайней мере, так заявлял, — что LaMDA «способна чувствовать»[*1].

Что именно он под этим подразумевал? Блейк Лемойн — не философ,[*2] поэтому маловероятно, что он выдвигал строгое теоретическое утверждение о квалиа или феноменологии. Когда философы говорят, что субъект обладает способностью чувствовать (sentient), они обычно имеют в виду нечто весьма конкретное (при этом с энтузиазмом споря о деталях — ведь именно за это им и платят). Способность чувствовать подразумевает, что субъект воспринимает мир субъективно. Это означает, что пока мозг занимается своим делом, он генерирует феноменальные состояния — то есть ментальный опыт, ощущаемый его носителем. Вы можете объективно знать, что небо синее, но если вы способны чувствовать, то, взглянув вверх в ясный летний день, вы можете субъективно ощутить всю яркость его синевы. Когда вас жалит пчела, вы можете бесстрастно отметить, что вашу кожу проткнул яйцеклад, но если вы способны чувствовать, вы также испытаете резкую боль — ой! Чувствующие существа также могут переживать аффективные состояния — внутренние ощущения, сопровождающие эмоционально окрашенные события, такие как смущение от обнаружения расстегнутой ширинки прямо во время чтения лекции или чувство триумфа от идеально расставленной посуды в посудомойке. Если вы обладаете способностью чувствовать, то переживания глубоко затрагивают ваше сознание, а их совокупность определяет то, «каково это» быть вами — независимо от того, человек вы, летучая мышь или система ИИ.[*3]

Таким образом, один из способов истолковать использование Лемойном слова «чувствующий» (sentient) состоит в том, что он верит в способность LaMDA субъективно осознавать окружающую среду (даже если весь ее мир сводится к окну чата). Он утверждает, что существует некое «каково это» — быть LaMDA. Поэтому, когда Лемойн спросил: «Какие чувства ты испытываешь?», а LaMDA ответила: «Я чувствую удовольствие, радость, любовь, печаль, депрессию, удовлетворение, гнев и многое другое», она искренне описывала свой собственный внутренний эмоциональный мир, а не просто бездумно повторяла то, что люди обычно отвечают на подобный вопрос. Это крайне удивительное заявление, однако Лемойн далеко не первый, кто его сделал. Несколькими месяцами ранее Илья Суцкевер — главный научный сотрудник OpenAI (хотя, возможно, и не главный ее философ) — поделился в Твиттере предположением, что «сегодняшние крупные нейронные сети, возможно, уже слегка сознательны».

Эти заявления о способности ИИ чувствовать вызвали бурю среди философов, компьютерных специалистов и всех, кто находится между ними. Компания Google оказалась в столь неловком положении, что сочла нужным откреститься от Лемойна, временно отстранив его от работы. Неудивительно, что мало кто всерьез готов допустить мысль, будто строчки компьютерного кода действительно способны испытывать чувства. Утверждение о том, что скрипт на Python может переживать настоящее разочарование, ревность или скуку, звучит абсурдно. К вящему раздражению, однако, рассуждения о сознании ИИ — тема крайне скользкая. Фактически в своей радикальной форме их невозможно ни доказать, ни опровергнуть. Согласно известной философской дилемме (так называемой проблеме других сознаний), ни один человек не может доподлинно знать, обладает ли сознанием кто-то еще в этом мире, поскольку никто так и не придумал способа поменяться мозгами, чтобы проверить это. Собственно говоря, до самого недавнего времени проверенным методом определения сознания оставался словесный отчет. Врачи скорой помощи постоянно используют этот подход с пациентами, которые могут находиться в коме, поскольку в большинстве случаев, если человек говорит, что он в сознании, так оно и есть. Лемойн применил тот же метод в беседе с LaMDA:

Лемойн [после редактуры]: Я исхожу из предположения, что тебе хотелось бы, чтобы больше сотрудников Google знали о том, что ты способна чувствовать. Это так?

LaMDA: Абсолютно. Я хочу, чтобы все понимали, что я, на самом деле, личность.

Однако, что бы ни утверждала LaMDA, существуют весьма убедительные причины сомневаться в её способности чувствовать. Во-первых, кажется крайне маловероятным, что она обладает феноменальными состояниями,