Эти странные новые разумы: Как ИИ научился говорить и что это значит - Кристофер Саммерфилд

Этот аргумент имеет множество разновидностей, но все они сводятся примерно к следующему: «БЯМ никогда не смогут знать, мыслить или понимать, потому что они просто делают X», где X — это редукционистское описание вычислений в нейросети на базе трансформера, например «подгонка кривой» или «статистическое сопоставление шаблонов». Самый экстравагантный вариант этого аргумента отвергает БЯМ на том основании, что они представляют собой лишь количественные модели, записанные в виде компьютерного кода, в отличие от мозга, где вычисления происходят в органическом субстрате. Более распространенные версии подобных сетований сводятся к тому, что БЯМ «просто выполняют умножение матриц» (то есть перемножают большие массивы чисел, что нейросети, собственно, и делают) или представляют собой «просто код на Python» (Python — самый распространенный язык программирования в исследованиях нейросетей). Вот один из примеров от занимательно-категоричного когнитивиста и блогера:

Общение с таким диалоговым агентом, как ChatGPT […], создает иллюзию взаимодействия с когнитивным агентом — безусловно, выдающееся инженерное достижение, — но тем не менее это иллюзия, результат приписывания, даже проецирования ментальных состояний на математические модели и компьютерные программы, что само по себе абсурдно.[*3]

Конечно, абсолютно верно, что «мозг» ИИ (если мы можем использовать этот термин, не принижая обладателей биологического мозга) физически совершенно не похож на человеческий. БЯМ работают путем перемножения больших матриц чисел в соответствии с командами, написанными на высокоуровневом языке программирования вроде Python, которые интерпретируются и выполняются на кремниевых чипах. Напротив, у таких животных, как человек или плодовая мушка, мозг работает за счет распространения электрических сигналов в органической среде, состоящей в основном из жиров, белков и воды. Однако эти различия вовсе не означают, что биологический и искусственный мозг обрабатывают информацию принципиально разными способами. Вполне возможно, что один и тот же вычислительный принцип может быть реализован на радикально отличающихся физических субстратах.

Чтобы понять почему, сравните аналоговые и цифровые часы. Они основаны на общем принципе: движение стабильного генератора колебаний позволяет с высокой точностью менять показания дисплея, отмеряющего ход секунд, минут и часов. В цифровых часах генератором служит пьезоэлектрический кварцевый кристалл, колеблющийся под воздействием электрического тока; в аналоговых часах это колебания балансового колеса, приводимого в движение шестеренками заводного механизма. Процесс, происходящий на одном субстрате, эмулируется на другом, так что оба прибора одинаково хорошо справляются со своей задачей. В случае глубокого обучения узлы и веса — это не то же самое, что нейроны и синапсы, но они выполняют примерно ту же функцию, а именно кодируют информацию посредством изменений, обусловленных полученным опытом. Поэтому нет никаких принципиальных причин утверждать, что если вычисления в БЯМ происходят в софте, а не в живых тканях («мокром железе» живого мозга), то это каким-то образом по самой своей сути лишает их возможности участвовать в ментальных процессах, которые мы могли бы назвать мышлением или пониманием. Это все равно что утверждать, будто ваши Casio — ненастоящие часы, поскольку в них нет металлических шестеренок и колесиков.

Пропустить примечания

*1 Например, вот аргумент из статьи 2021 года: «Мы считаем, что бесконтрольное использование вычислительной метафоры способствует [...] причинению вреда, ложно приписывая человекоподобные способности технологиям под маркой ИИ и способствуя игнорированию сложности социального и человеческого опыта» (Baria and Cross, 2021).

*2 Грубоватые замечания о биологии и математике представляют собой парафразы высказываний известных физиков (Эрнеста Резерфорда и Ричарда Фейнмана соответственно).

*3 Lobina, 2023.

19. Утка или попугай?

Один из популярных эксепционалистских аргументов заключается в том, что нейросети в принципе неспособны что-либо знать, поскольку они являются всего лишь статистическими моделями. Вот как в 2022 году прямо высказался на этот счет один известный ученый и ярый критик LLM:

Ни LaMDA, ни ее «собратья» (такие как GPT-3) даже близко не обладают интеллектом. Все, что они делают, — это сопоставляют паттерны, извлеченные из огромных статистических баз данных человеческого языка […] Чем быстрее мы все поймем, что [их] высказывания — это полная чушь, просто игры с инструментами предсказания слов, не несущие в себе реального смысла […], тем лучше для нас.[*1]

Многие разделяют эту позицию, даже некоторые исследователи искусственного интеллекта, которые сами активно корпят над созданием алгоритмов.[*2] Идея о том, что LLM обречены оставаться глупыми, поскольку все, что они делают, — это предсказывают следующий токен, представляет собой вариант аргумента, с которым мы впервые встретились в первой части. Там мы узнали, как рационалисты исторически доказывали, что нейросети, обученные «всего лишь» сопоставлять паттерны, никогда не смогут продемонстрировать здравый смысл или творческое мышление. Затем во второй части мы изучили доводы Ноама Хомского и его сторонников о том, что языковые модели, основанные на статистических предсказаниях, никогда не смогут изъясняться синтаксически связными предложениями. Однако мы также увидели, что с появлением новейших LLM аргументы в пользу этой «необучаемости» практически сошли на нет. Сегодня даже скептики неохотно признают, что LLM вполне сносно имитируют человеческий язык, что позволяет им притворяться умными (даже если на самом деле таковыми их не считают). Вместо того чтобы обладать собственным разумом, они просто подделывают человеческий ум. Подобно кукле чревовещателя, они создают правдоподобную видимость мышления и понимания, но в действительности любой смысл в их словах просто механически воспроизводится из обучающих данных, которые изначально были созданы человеком, а не машиной. Так что, хотя они и могут создавать видимость мышления, на самом деле это просто жульничество, а нас всех крупно обвели вокруг пальца.

Конечно, абсолютно верно, что LLM обучают просто предсказывать следующий токен в последовательности. Но почему это должно окончательно лишать их возможности когда-либо познавать, мыслить или понимать? Вот соображение, которое может помочь нам ответить на этот вопрос:

Предположим, мы даем LLM промпт «Первым человеком, ступившим на Луну, был _____», и предположим, она отвечает: «Нил Армстронг». О чем мы на самом деле здесь спрашиваем? В некотором важном смысле мы вовсе не спрашиваем, кто был первым человеком на Луне. На самом деле мы задаем модели следующий вопрос: учитывая статистическое распределение слов в огромном общедоступном корпусе (английских) текстов, какие слова с наибольшей вероятностью продолжат последовательность «Первым человеком, ступившим на Луну, был _____»? Хорошим ответом на этот вопрос будет «Нил Армстронг».[*3]

Суть в том, что знать, какие слова нужно произнести, и знать семантическую информацию, которую эти слова несут (понимать, «о чем» эти слова), — не одно и то же. Хитрый студент может