Эти странные новые разумы: Как ИИ научился говорить и что это значит - Кристофер Саммерфилд

Мало того, что это совершенно неверно, лично мне это напоминает путаные рассуждения вдрызг пьяного профессора, который смутно помнит суть ответа, но затем теряет нить мысли и вместо этого начинает отстаивать совершенно не относящийся к делу аргумент. Оставшаяся часть ответа ничуть не спасает положение:

Загадка, которую вы упомянули — это вопрос с подвохом. Ответ заключается в том, что медведь белый, потому что дом расположен на Северном полюсе, где обитают только белые медведи. Единственный способ сделать так, чтобы все четыре стены дома были обращены на юг — это если дом находится на Южном полюсе, но на Южном полюсе нет медведей.

Самое поразительное, что модель как будто осознает свою первую ошибку (что она перепутала Северный и Южный полюса) и пытается загладить вину, но вместо этого без всякой просьбы бросается исправлять другой распространенный источник путаницы относительно двух полюсов (где живут белые медведи?), абсолютно не связанный с ее ответом.

Итак, БЯМ ошибаются — особенно модели меньшего размера или те, что получают меньше корректирующей обратной связи от людей (тонкая настройка — о ней мы поговорим в Части 4). GPT-4 обычно работает довольно точно, но время от времени демонстрирует странное поведение. Вот пример, когда она систематически ошибается в простом расчете, а затем исправляет себя, точь-в-точь как человек (и это, судя по всему, можно воспроизвести на момент написания книги):

Пользователь: 45 — это 90% от 50?

GPT-4: Нет, 45 — это не 90% от 50.

Чтобы найти 90% от 50: 0,90 × 50 = 45.

Так что да, на самом деле 45 действительно составляет 90% от 50. Прошу прощения за путаницу в первоначальном ответе.

В одной статье содержалось спорное утверждение, что GPT-4 демонстрирует «проблески универсального искусственного интеллекта». Авторы подвергли GPT-4 серии сложных тестов, и она действительно показала себя на удивление хорошо. Однако авторы стараются подробно описать ограничения, которые они обнаружили у GPT-4, — например, ошибку в подсчете простых чисел в диапазоне от 150 до 250 или неспособность написать стихотворение, последнее предложение которого является первым предложением, записанным в обратном порядке, при условии, что оба предложения грамматически верны. Очевидно, что это задачи, которые люди смогли бы решить только после долгих размышлений (и, скорее всего, с ручкой и бумагой). Более того, далее авторы показывают, что GPT-4 находит правильные ответы при правильной подсказке (например, если ее попросить перечислить простые числа, а не просто сосчитать их). Таким образом, самые мощные модели — а по состоянию на начало 2024 года это GPT-4 и более новая модель от Google Gemini Ultra — довольно трудно заставить сказать глупость, по крайней мере, когда речь идет о школьных задачах по математике и логике.

Так что хотя все еще можно найти случаи, когда самые мощные БЯМ совершают вопиющие ошибки, которых не допустил бы и десятилетний ребенок, делать это определенно становится все труднее и труднее. В недавней статье один автор сетует, что проверка надежности работы БЯМ подобна классическому наказанию Данаид, которые были обречены вечно наполнять водой дырявый сосуд:

Исследование устойчивости любой конкретной системы БЯМ сродни наказанию из древнегреческих мифов. Утверждается, что система демонстрирует поведение X, но к тому времени, когда оценка показывает, что это не так, появляется новая система, для которой заявляется то же самое поведение X.[*2]

Из-за этого делать какие-либо общие заявления о возможностях или ограничениях этих моделей становится практически невозможно.

Более принципиальный момент заключается в том, что склонность совершать ошибки не всегда указывает на отсутствие способностей. Если я ошибаюсь в вычислениях при сложении двух чисел, это не значит, что я не умею считать; если я на мгновение путаю Боба Дилана и Дилана Томаса, это не значит, что я не могу отличить фолк-музыку от поэзии. Наш пьяный профессор, когда у него пройдет похмелье, ясно и четко объяснит вам, что у дома, построенного на Южном полюсе, все четыре стены смотрят на север (а не на юг), и искренне удивится, какое отношение к этому вопросу вообще имеют белые медведи. На самом деле разделением понятий «компетенция» (то, что вы способны делать в теории) и «исполнение» (то, что вы делаете на практике, в том числе будучи уставшим или нездоровым) мы обязаны Ноаму Хомскому. Ему это различие понадобилось, чтобы объяснить, почему синтаксис людей часто оказывается корявым или, по крайней мере, не согласуется с его грамматикой структуры фраз.

Как и у людей, реальные результаты работы БЯМ часто не соответствуют их компетенции. Это связано с тем, что LLM по своей структуре являются вероятностными (или стохастическими), а не детерминированными. Это означает, что если вы зададите один и тот же вопрос дважды, то обычно получите разные ответы (вы можете убедиться в этом сами, воспользовавшись любой общедоступной LLM) — точно так же, как происходит при общении с человеком (хотя, если вы попытаетесь проверить это на живом человеке, на вас могут посмотреть довольно странно). На самом деле большинство БЯМ настроены на генерацию результатов примерно пропорционально их вероятности, так что, хотя всегда существует ненулевая вероятность получить полную белиберду, ответы получаются разнообразными и в большинстве своем вполне разумными. Однако из-за элемента случайности в ответе модель — совсем как человек — время от времени будет выдавать неточные ответы. Это вовсе не означает, что у БЯМ нет компетенции для решения задач определенного класса. Это означает лишь то, что (опять же, как и у людей) в ее работе есть место колебаниям, и не все ответы будут одинаково надежными. В этом кроется одна из причин, почему глупо копировать пример ошибки БЯМ и преподносить его как доказательство отсутствия у нее компетенции. Представьте, если бы кто-то записывал все, что вы когда-либо говорили, а затем тщательно смонтировал запись так, чтобы оставить только те моменты, когда вы неправильно произносили слова или путали факты, и использовал это как доказательство вашего косноязычия и невежества. Вы сочли бы это крайне несправедливым.

Поэтому, когда люди утверждают, будто современные БЯМ в принципе не могут «думать» или «понимать», поскольку они время от времени путаются, они по большей части просто хватаются за соломинку. Самые мощные БЯМ решают логические задачи более проницательно и объясняют понятия более ясно, чем подавляющее большинство людей. Но, как мы увидим далее, это вовсе не означает, что их разум устроен так же, как человеческий.

Пропустить примечания

*1 Bubeck et al., 2023.

*2 Ullman, 2023.

18. Редукционистская критика.