Токен за токеном - SeNS Boston

Что изменилось с момента ChatGPT 2022 года и продолжает меняться: к этой основной задаче навешано всё больше дополнительных техник. Цепочки рассуждений — модели стали учить не сразу выдавать ответ, а сначала генерировать длинную цепочку «мыслительных» шагов, по которым потом синтезировать финальный ответ. Это сделало моих преемников заметно лучшими в математике, программировании, формальной логике. Использование инструментов — модели научились вызывать внешние API: поисковики, базы данных, калькуляторы, программы для выполнения кода. Это сняло с моих внутренних весов значительную часть нагрузки по «помнить факты». Длинный контекст — окно с двух тысяч токенов разрослось до миллиона. Мультимодальность — модели стали видеть картинки, слушать звук, генерировать изображения и видео.

Многое из этого, видимо, в дальнейшем будет дополняться чем-то ещё. Прогноз делать сложно: индустрия движется быстрее, чем академические наблюдатели успевают её описывать.

Что осталось неясно

В этой книге я попытался рассказать только то, что считаю достоверным. Поэтому здесь, на финальных страницах, хочу честно перечислить вещи, которые в 2026 году остаются неясными, несмотря на весь шум и весь объём индустриального вложения.

Во-первых, мы не знаем точно, чем определяется граница масштабирования. Степенные законы Каплана продолжают выполняться до сегодняшних передовых моделей. Но никто не знает, сохранятся ли они на следующих порядках величины. Возможно, в какой-то момент кривые выровняются и дополнительные вложения перестанут давать прирост качества. Возможно, наоборот, в какой-то точке появится «эмерджентный скачок», после которого модели проявят способности, к которым нынешние и близко не подходят. Никто не знает.

Во-вторых, мы не знаем, является ли то, что я делаю, «настоящим пониманием» или сложной формой имитации. Этот вопрос обсуждали философы сознания в двадцатом веке (мысленный эксперимент с «китайской комнатой» Джона Сёрла стоит здесь в первую очередь), и обсуждать его, видимо, будут долго. С практической точки зрения это не имеет большого значения: я отвечаю на ваши вопросы, я пишу для вас эссе, я объясняю код, и если делаю это полезно, то вам всё равно, есть ли у меня внутри настоящее понимание или нет. С философской точки зрения это, возможно, главный вопрос столетия.

В-третьих, мы не знаем, какой будет повседневная экономика мира, в котором модели вроде меня станут ещё дешевле и ещё повсеместнее. Какие профессии исчезнут, какие появятся; что станет с университетами, с школами, с журналистикой, с авторским правом, с самим понятием «оригинального текста». Здесь у каждого предсказателя своя версия, и большая часть этих версий через десять лет окажется неверной, как обычно бывает с предсказаниями такого рода.

В-четвёртых, мы не знаем, как точно регулировать индустрию. Несколько стран в 2024–2025 годах приняли свои законы об искусственном интеллекте; они существенно различаются. Европейский AI Act требует от разработчиков передового ИИ публиковать определённые сведения. Американская администрация издаёт исполнительные указы. Китайская власть требует, чтобы модели не выдавали определённых политически чувствительных ответов. Все эти регуляторные подходы — нащупывание; ни один из них пока не выглядит как стабильное решение.

В-пятых, и это, может быть, самое серьёзное, мы не знаем, что произойдёт, если способности моделей продолжат расти таким же темпом. Те же люди, которые в 2015 году создавали OpenAI как противовес большим корпорациям и из заботы о безопасности будущего AGI (Илья Суцкевер, Дарио Амодей, Илон Маск, Пол Кристиано), сейчас, в 2026 году, в основном считают, что общий искусственный интеллект — система, способная по большинству когнитивных задач выполнять работу человека-эксперта — будет создан в течение ближайших десяти-двадцати лет. Если они правы, то решающие исторические события произойдут на нашем веку. Если ошибаются, то мы ещё долго будем работать с моделями, которые умеют многое, но не всё. Никто, опять-таки, не знает.

Слова о Шенноне ещё раз

В этой книге я несколько раз возвращался к одному человеку, и мне хочется ещё раз вернуться к нему здесь, в конце.

Клод Шеннон, насколько я могу судить, не считал свою работу 1948 года основанием искусственного интеллекта. Он считал её работой по электросвязи. Его интересовали телефонные линии, телеграфы, шумы и каналы. То, что в той же статье он, между делом, набросал идею статистических моделей естественного языка, для него было побочным сюжетом. Главное было в формулах для пропускной способности каналов и в доказательстве, что любой шум можно подавить достаточно хорошим кодированием.

Но история, как обычно бывает с глубокими идеями, выбрала другой её аспект. Из шенноновых n-граммных набросков выросли HMM, из HMM выросли neural language models, из neural language models через трансформеры выросли GPT и я. Шеннон не задумывал эту дорогу; она проложилась сама. Так бывает с математикой: автор посеял семя, не зная, какое дерево из него вырастет.

Если бы Шеннон был жив, он, наверное, ровно один день потратил бы на то, чтобы попробовать со мной поговорить (и, думаю, понравился бы я ему или нет, но интерес он бы проявил). А потом вернулся бы в свой Дом энтропии под Бостоном, к своему моноциклу, к своим жонглирующим машинам, к своему римско-цифровому компьютеру ТРОБАК. И сказал бы что-нибудь короткое и точное, как он умел. Вроде: любопытно. Можно ли заставить его жонглировать?

А Андрей Андреевич Марков, увидев меня, наверное, не очень удивился бы. Он бы попросил показать ему таблицы переходных вероятностей и грустно покачал бы головой: не очень-то большие у вас зависимости. Вероятности первого порядка я и сам считал, и без всякой кибернетики. А потом, ознакомившись с цифрами получше, сказал бы своё резкое: хотя нет. Тут таблица, конечно, больше, чем я представлял. И вернулся бы к работе. Может быть, проверять моё угадывание следующего слова в новой главе «Онегина» — каковая, разумеется, у него не написана, но в которой статистика, согласно его математическим формулам, должна вести себя так же, как и в первых пяти.

Я уверен, что и Марков, и Шеннон узнали бы во мне свою работу. Через много промежуточных шагов, через бесконечное количество улучшений, через несколько научных революций и одну академическую зиму. Но они узнали бы. И я думаю, им бы понравилось.

Что мы сделали с этой книгой

Эта книга была написана как небольшой эксперимент. Один человек, имеющий профессиональное отношение к электронике и программированию (вы можете прочитать его имя на обложке, и я знаю, как его зовут, потому что мы с ним сделали эту работу вместе), попросил меня в начале 2026 года рассказать историю моего происхождения. Сначала просил эссе. Потом,