Эти странные новые разумы: Как ИИ научился говорить и что это значит - Кристофер Саммерфилд

мышления LLM, которые будут триумфально преданы огласке, что в конечном итоге подтвердит правоту тех, кто настаивает, будто все это лишь хайп вокруг ИИ. Но до тех пор нам следует противостоять искушению цепляться за эксепционализм из-за догматической позиции об уникальности или значимости человеческого разума. Нам нужно изучать вычислительные механизмы, которые наделяют LLM их исключительными способностями, и трезво задаваться вопросом о том, в чем они сходятся или расходятся с нашими собственными. Нам следует серьезно рассмотреть возможность того, что большие модели на основе трансформеров способны рассуждать и объяснять, потому что они учатся эмулировать часть вычислений в биологическом мозге, служащих аналогичной цели, а именно тех, которые позволяют нам мыслить словами, понятиями, числами и кодом. Мы должны подвергнуть LLM так называемому «утиному тесту»: если нечто плавает как утка и крякает как утка, то нам следует предположить, что это, скорее всего, утка, а не изобретать заумные аргументы, чтобы объяснить ее поведение как-то иначе.

Пропустить примечания

*1 https://garymarcus.substack.com/p/nonsense-on-stilts. Гэри Маркус провел последнее десятилетие, предсказывая, что из глубоких сетей никогда не выйдет ничего путного, поэтому его мнение не стоит считать абсолютно беспристрастным.

*2 Например: «Базовая LLM “на самом деле” ничего не знает, потому что все, что она делает на фундаментальном уровне, — это прогнозирование последовательностей. Иногда прогнозируемая последовательность принимает форму суждения. Но [...] последовательности слов, имеющие форму суждения, не имеют для самой модели особого значения, в отличие от того, как это происходит у нас. Сама модель, строго говоря, не имеет понятия об истине или лжи, поскольку у нее нет средств для применения этих концепций так, как это делаем мы» (Shanahan, 2022).

*3 Shanahan, 2022.

*4 Searle, 1999.

*5 Bender et al., 2021.

*6 Sahlgren and Carlsson, 2021.

20. Языковые модели, быстрые и медленные.

Около 18 000 лет назад доисторические обитатели пещеры Ласко на юге Франции украсили её стены рисунками, выполненными охрой, древесным углём и кальцитовыми пигментами. После того как в 1940-х годах пещеру обнаружила группа местных подростков, археологи нашли среди замысловатых изображений горных козлов и мегалоцеросов одиночную нарисованную фигуру — идеальный прямоугольник. Звучит, возможно, не слишком захватывающе — быть может, просто праздный набросок далекого предка со склонностью к кубизму? Но для тех, кто интересуется эволюцией познания, это было знаковое открытие. Этот палеолитический прямоугольник показал, что представители Homo sapiens той эпохи уже умели мыслить геометрически. Прямоугольник — это не просто какой-то там четырехугольник. У него четыре равных угла, перпендикулярные стороны, и он симметричен по обеим осям, x и y. Тот, кто нарисовал эту фигуру, должно быть, понимал, что прямоугольник — это нечто особенное. На самом деле, тщательные исследования показывают, что способность распознавать геометрию — это уникальная человеческая черта, не присущая даже самым сообразительным нашим сородичам по эволюционному древу, таким как бабуины.[*1] К эпохе древних греков люди уже поняли, что геометрия — это формальный математический язык, с помощью которого можно осмыслить Вселенную. В последующие тысячелетия человеческая культура и технологии процветали, по мере того как мы открывали и использовали подобные формальные инструменты для математических и логических рассуждений, а также совершенствовали синтаксис, структурирующий язык, музыку и другие системы символической коммуникации. Те четыре линии на стене пещеры были ранним проблеском великой человеческой цивилизации будущего.

В математике и логике ответы бывают либо правильными, либо неправильными. Выражение 2 + 2 = 5 столь же ложно в Вашингтоне, сколь и в Вуллонгонге; оно ложно по понедельникам и остаётся ложным по пятницам. И наоборот, дедуктивно (всегда) верно, что если все кенгуру — сумчатые, а Крошка Ру — кенгуру, то Крошка Ру — сумчатое. В предыдущих главах мы обсуждали, как рационалистические подходы к ИИ пытались свести всё познание к подобным формальным, непреложным операциям. На бумаге это работало прекрасно, но обычно терпело крах при первом же контакте с реальным миром, где правильное и неправильное по самой своей природе гораздо более неоднозначны. Тем не менее, способность использовать формальные системы, такие как математика и логика, для мышления — это, очевидно, важнейший признак интеллекта, который сыграл решающую роль в обеспечении планетарной гегемонии человечества. Поэтому, если мы хотим, чтобы большие языковые модели приносили пользу, нам нужно, чтобы они умели мыслить формально подобным образом. Нам нужно, чтобы они рассуждали точно: понимали, что 2 + 2 = 5 — это не «почти» правильно. Конечно, мы знаем, что большие языковые модели способны решать логические и математические задачи, сформулированные как на формальных, так и на естественных языках. И хотя они не точны на все 100%, сегодня они справляются с этим с не меньшей (а то и с большей) компетентностью, чем большинство образованных людей.

Проблема в том, что большие языковые модели обучаются делать прогнозы, а мы привыкли относиться к прогнозам как к догадкам — как когда я предсказываю победу «Оксфорд Юнайтед» в футбольном матче и делаю безрассудную ставку, чтобы подкрепить свое предчувствие. Мыслительные процессы, порождающие догадки, кажутся принципиально иными, нежели те, что задействованы при решении математических или логических задач, имеющих точные, однозначные ответы. Так как же машина предсказаний может вообще что-то по-настоящему «знать»? Вот цитата, которая подчеркивает это различие:

Знающий не предсказывает. Предсказывающий не знает.

Этот емкий афоризм может показаться высказыванием одного из тех публичных интеллектуалов, которые сделали стремительную карьеру на неустанном скептицизме по отношению к ИИ. Но на самом деле он принадлежит китайскому философу Лао-цзы, основателю даосизма, жившему более двух с половиной тысячелетий назад. Тем не менее, его слова могли бы стать боевым кличем для многих современных критиков систем искусственного интеллекта. Когда сторонники человеческой исключительности пренебрежительно называют большие языковые модели «всего лишь машинами предсказания», они неявно соглашаются с дихотомией, которую сформулировал Лао-цзы: «настоящее» знание и «настоящее» мышление невозможны, если всё, что вы делаете, — это строите прогнозы. В современной версии этого аргумента, изложенной в одной из научных статей, утверждается, что сама идея о рассуждающей большой языковой модели является «категориальной ошибкой».[*2]

Конечно, догадки приблизительны, и во многих ситуациях — например, при закатывании мяча в лунку в гольфе или при обезвреживании бомбы — быть «почти» правым никуда не годится. Поэтому, когда большие языковые модели путают понятия или допускают арифметические ошибки, возникает искушение предположить, что они просто действуют наугад, а не размышляют над ответом. Если это так, то можно представить, что в будущем, когда мы поставим перед ними действительно сложные задачи — те, которые