Эти странные новые разумы: Как ИИ научился говорить и что это значит - Кристофер Саммерфилд

195–6, 203, 211, 212, 214, 219, 221, 224, 229, 236, 285

GPT-3.5, 183, 195, 236, 289, 291–2, 319

GPT-4, 6, 23, 52–3, 54, 59, 69, 81, 83, 85, 92–3, 102–3, 108–9, 132, 134, 137, 139, 140, 156, 163, 167, 177, 182, 187–8, 191–3, 197–8, 213–14, 220, 235, 242, 250, 251, 252, 257, 261, 270, 276, 277, 279, 285–6, 287, 294–5, 310, 329, 336, 340

GPT-4o, 340–41

GPT-J, 213, 222, 290

GPT-o1, 341

градиентный спуск, 42, 47, 50

грамматика, 60, 64–5, 67, 73, 74, 77, 81, 99, 110, 141, 159, 200

генеративная грамматика, 64–5

грамматика непосредственно составляющих, 73–4, 77, 81, 141

универсальная грамматика, 64, 110

«День сурка», 40, 45

GSM8K, 284–5

Х

системы обучения на основе привычек, 156–60, 167, 268

хакерство, 309, 317–19

галлюцинация, 195

Харари, Юваль Ной, 336–7, 337н; «Sapiens», 233–4

Харрис, Р. А.: «Лингвистические войны», 57–8

Хассабис, Демис, 347

Хайек, Фридрих, 307

Хейман, Кейлин, 345

«Врата рая» (Heaven’s Gate), 217–18

хеббовское обучение, 37

«Она», 341

иерархии (вложенные структуры), 75

алгоритмы высокочастотной торговли (HFT), 327–8

Хинтон, Джеффри, 6, 92, 335, 346

гиппокамп, 128–9, 138, 254, 255, 256, 334

малый гиппокамп, 128–9, 138, 334

Холокост, 186–7, 192, 234

HotpotQA, 269

Hugging Face, 213

Проект «Мемом человека» (Human Memome Project), 28

Гумбольдт, Вильгельм фон, 63, 64, 151

Юм, Дэвид, 16, 38

Гексли, Томас, 129, 136

И

иллокутивные акты, 218

обучение в контексте, 159, 163, 164, 268, 291, 308

Индийский национальный конгресс, 207

неравенство, 143–5, 336–7

Inflection AI, 252

инновации, этапы развития, 243–4, 297

инквизиция, 138, 143

Instagram, 39, 249

InstructGPT, 188, 190, 204–5, 211

инструментальный ИИ, 292

инструментальный разрыв, 297–301, 330, 334

инструментальность, 246, 247, 267, 330, 332

интенциональность, 131–6, 150–51, 215, 237

интернет, 3, 5, 7, 134, 170–71, 182–3, 194, 203, 204, 215, 243–6, 249, 280, 282, 300, 309, 321, 325, 338

Internet Watch Foundation, 344–5

Ирвинг, Дэвид, 186

Дж

джейлбрейк, 291–2

Елинек, Фред, 84, 85

Йоханссон, Скарлетт, 341

Джонз, Спайк, 341

Джампер, Джон, 347

«Только представьте», 241

К

Качинский, Дэвид, 79

Качинский, Тед, 79–80

Келлер, Хелен, 174–5

роботы-убийцы, 314–15

знание, 119–78

мозг, компьютер как метафора для, 144–7

«категориальная ошибка», рассуждения LLM как, 156

совокупность человеческих знаний, 11–13

любознательность и, 152

определение знания, 131–5, 277

эмпирики и, см. эмпирическая традиция

люди как единственные создатели знаний, 2–5, 45–7

интенциональность и, 131–5

«знание» генерируемых фактов, возможность этого для LLM, 119–78

дата отсечки знаний, 289–90

задача с ориентирами, обучение трансформеров и, 164–9

обучение и, см. обучение

знания LLM, быстрый рост, 6–8, 14

ошибки LLM и, 139–42

мультимодальные LLM и, 177

мысленный эксперимент с Национальной библиотекой Таиланда и, 171–2, 174

происхождение знаний, 15, 16–17

планирование и, 142

прогнозирование и, 154–62

рационалисты и, см. рационалисты

рассуждение и, 72

семантические знания, 89–96

сенсорные данные и, 173–5, 177

статистические модели, нейросети как всего лишь, 148–53

мышление и, см. мышление

понимание и, 46

Уолтер Митти и, 170–71

Коко (детеныш равнинной гориллы), 60–61, 66, 67

синдром Корсакова, 194–5

Кубрик, Стэнли, 1, 47

Куйда, Евгения, 227

L

рынок труда, 335–6

ламаркизм, 115–16

LaMDA, 121–5, 135, 148, 229, 284

задача с ориентирами, обучение трансформеров и, 164–9

язык, 57–117

модель «мешка слов» и, 80–81

предвзятость в, 8

большие данные, моделирование статистики и, 84–5

хомскианская лингвистика, см. Хомский, Ноам

окружение слов, прогнозирование и, 82–4

условные операторы (правила «ЕСЛИ — ТО»), 75, 168

криптофазия и, 58

определение, 4, 59, 60–68

Элиза и, 70–72

ENGROB и, 75–6

доказательная база, значение языка и, 170–71

вектор признаков и, 91–3, 106, 108, 112, 164

Фёрт и, 81–2

формальная семантика, 200–201

игры, 200–206

обобщенные трансформации, 73–4

генерация, 81–4, 113

грамматика, см. грамматика

человекообразные обезьяны и, 60–68, 113

иерархии (вложенные структуры), 75

обучение в контексте и, 164–9

«бесконечное использование конечных средств», 63, 151

«устройство усвоения языка», 67, 113

обучение у детей и БЯМ, 113–16

лингвистическая экспертиза, 79–81

значение и, 69–70

n-граммы, 83–4, 87–9, 92, 102, 112

обработка естественного языка (NLP), см. обработка естественного языка (NLP)

происхождение, 58, 232

перплексия и, 84–5, 92, 126, 134, 166

грамматика непосредственно составляющих, 73–4, 77, 81, 141

аргумент от «бедности стимула», 67, 113

предсказание и, 96–103

программирования/формальный, 24–7, 30, 31, 53, 73, 75, 78

рекуррентные нейронные сети (РНС) и, 98–101, 103, 105, 106, 108

рекурсия, свойство, 73–4, 75

семантическая память, 88–9, 92, 95, 114, 279

сенсорные сигналы и, 114

предложения, см. предложения

сети sequence-to-sequence (или seq2seq) и, 98–102, 104–6, 110, 112, 116

SHRDLU и, 76–8

социальные факторы и, 114–15

статистические закономерности в, 79–86

суперсила человека, 57–8

синтаксис, см. синтаксис

трансформер и предсказание, 103, 104–11

перевод, 42, 47, 49–50, 57, 101, 202, 204, 283, 284, 301

уникальность для человека, 67

Lanius, 314–15

большие языковые модели (или БЯМ)

познание, сходство с человеческим, 332–3

самые известные на сегодняшний день, 5–6, см. также названия отдельных больших языковых моделей

тонкая настройка и обучение этике/безопасности, 179–238

будущее, 239–338

происхождение, история исследований NLP и, 58–117

термин, 5

способность мыслить, 119–78

См. также отдельные области, компоненты и названия больших языковых моделей

пещера Ласко, юг Франции, 154

обучение

Советник 1 (система обучения на основе привычек), 156–60, 167, 268

Советник 2 (система целенаправленного обучения), 156–8, 160, 167, 268–9

мозг и, 36–8

непрерывное обучение, 253

глубокое обучение, см. глубокое обучение

обучение в контексте, 159, 163, 164, 268, 291, 308

знания и, 18, 19

язык, см. язык

машинное обучение, 49, 90–91, 112, 152, 188, 190, 262, 267, 287, 305, 322

метаобучение (обучение умению учиться), 158–61

обучение по одному примеру, 253–4

предсказание и, 154–62

обучение с подкреплением (RL), 188, 190, 192, 251, 258, 267, 305, 322

обучение с подкреплением на основе обратной связи от человека (RLHF), 188, 189–91, 192, 251, 257, 267

обучение методом проб и ошибок, 158–61, 268

Лейбниц, Готфрид, 19–21, 24–5, 28, 29, 30, 47

Лемойн, Блейк, 121–4, 129, 133–4, 135, 229, 284

Ленат, Дуглас, 28, 29

датасет LIAR, 197–8, 198н

Лайтхилл, сэр Джеймс, 77

LLaMA, 213, 251

LLaMA-2, 317–18

Локк, Джон, 16, 38

логика, первого порядка / предикатов, 24–31, 75, 77, 168–9

логический позитивизм, 25, 35

логос, 16

схема лондонского метро, 278–80

одиночество, чат-боты и, 229

сеть долгой краткосрочной памяти (LSTM), 99, 116

лонгтермизм, 312, 313

Лурия, Александр, 176

M

машинное обучение, 49, 90–91, 112, 152, 188, 190, 262, 267, 287, 305, 322

«Создание мухи», 330

манипуляция, 20, 84, 218, 220, 222, 236, 259, 261, 262, 264, 324

Маркус, Г.: «The Next Decade in AI», 51

Мата, Роберто, 194, 196

Маккалок, Уоррен, 35; «Логическое исчисление идей, имманентных нервной активности», 35–6, 37, 39

память

компьютерная память, 22, 28, 30, 76

непрерывное обучение и, 253

синдром Корсакова и, 194–5

LaMDA и, 124

ограниченная память современных БЯМ, 250, 254–6, 257, 333, 334, 338

сеть долгой краткосрочной памяти (LSTM), 99, 116

обучение по одному примеру и, 253–4

RNN и, 98

семантическая память, 88–9, 92, 95, 114, 279

кратковременная память, 98, 99, 116

Met Office, 96, 105, 290

Meta, 213, 221, 261, 311, 317

метаобучение, 158, 159, 160–61, 268, 270

Metasploit, 319

«Метрополис», 220

Ламетри, Жюльен Офре де: «Человек-машина», 32

Micro-Planner, 77

военный ИИ, 313, 314–16

разум

чистая доска, разум младенца как, 16, 38, 42

мозг и, 32–3, 129–30

определение/термин, 130

механические модели, 143–4

проблема чужих сознаний, 123

MiniWoB++, 293–4

Минский, Марвин, 1–2, 17, 19, 38, 43

дезинформация, 8, 51, 145, 181–4, 197, 198, 219, 223, 232, 263, 337

коллапс моды, 212

закон Мура, 29, 305

Мостеллер, Фредерик, 80–81

ход 37, 4, 5

задачи на многошаговые рассуждения, 269

мультимодальный ИИ, 177, 230, 242

Маск, Илон, 210, 307, 321

N

n-граммы, 83–4, 85н, 87–9, 92, 102, 112

мысленный эксперимент «Национальная библиотека Таиланда», 171–2, 174

обработка естественного языка (NLP), 50, 310

хомскианская лингвистика и, см. Хомский, Ноам

кроссворды и, 276

определение, 58–9

Элиза и эволюция, 60, 70–72, 78, 81

ENGROB и эволюция, 75–6

эволюция, 58–117

язык, определение и, 4, 59, 60–68

n-граммы и, см. n-граммы

перплексия и, 84–5, 92, 126, 134, 166

рекуррентные нейронные сети (РНС) и, 98–101, 103, 105, 106, 108

семантическая память и, 88–9, 92, 95, 114, 279

сеть sequence-to-sequence (или seq2seq), 98–102, 104–6, 110, 112, 116

SHRDLU и эволюция, 76–8

статистическое моделирование в, 79–86, 101, 110, 112, 308

трансформер и, 104–111

естественный отбор, теория, 128, 164

Ним Чимпски (Ним), 65–7, 72, 78, 113

неокортекс, 116, 256

Neural Information Processing Systems (NeurIPS), 104

нейронный машинный перевод (NMT), 49, 50, 98н

нейронная сеть, 3–4, 19, 31, 45, 254, 256, 267, 274, 279, 283, 332

сознание и, 122, 123–6, 131, 234, 260

глубокая нейронная сеть, см. глубокая нейронная сеть

двойной спуск и, 49

вектор признаков и, 92–3

функция, 116

обобщение и, 43–4

языковые модели на базе нейросетей доминируют в NLP, 97–8

БЯМ, см. большие языковые модели (или БЯМ)

нейронный машинный перевод (NMT) и, 49–50

новизна и,