性能优化
查看所有标签长上下文是 2026 年推理成本的主战场。模型权重是「一次性」成本——加载一次、人人共享；KV Cache 却是「每次请求」成本——随并发数与上下文长度线性增长。以 Llama-3-70B 为例：fp16 权重约 140GB，而单路 128K 上下文的 KV Cache 在 GQA-8 配置下就要 40GiB，若是 MHA-64 架构则高达 320GiB。权重只装一次，KV 却要为每个并发请求各存一份。这就是为什么「上下文 128K 免费」的口号背后，钱都花在 KV 上。
本文按「架构 → 工程 → 量化 → 驱逐」四层拆解 KV Cache 优化：先算清账，再讲 GQA/MLA 如何从模型侧减量，PagedAttention 与前缀缓存如何复用，FP8/KIVI 如何压缩，最后是 StreamingLLM/H2O/SnapKV 这类「不保留全部」的驱逐方案。数字来自公开论文与可复现的计算，工程建议以 vLLM 为例给出可直接落地的配置。
单机训练大模型失败，从来不是因为「模型参数装不下」这一句话。真正的问题是：训练一个模型需要保存四份不同的状态——参数、梯度、优化器状态、前向激活值——而它们各自都以不同方式随模型规模增长。以 175B 参数的 GPT-3 为例（ZeRO 论文给出的估算）：仅 Adam 优化器状态就约 1.2TB，梯度约 0.7TB，参数约 0.7TB，合计 约 2.6TB，而 2020 年最强的 A100 80GB 也只有 80GB 显存。这就是为什么 GPT-3 要在约 10,000 张 V100 的集群上训练。
但这只是「装不下」的问题。分布式训练真正的难点在于：把状态切开之后，如何在切面之间保持数学等价。本文拆解五种并行方式——DP、TP、PP、SP、EP——各自的切分维度、通信模式与组合方式，并给出工程上的选择依据。所有数字均来自可查证的论文与硬件规格。
2026 年 7 月末，两件事把「LLM 路由」推到了聚光灯下：Manifest 发表《Everyone is building LLM routers, we deprecated ours》在 Hacker News 拿到 130+ 分；Techstrong 则断言 LLM 路由器「已经从 niche 基础设施技巧变成主流产品品类」。Cursor 上线了 Cursor Router，Ramp 把内部自用的路由系统开放成产品，Meta 被曝在内部开发代号 SwitchBoard 的成本优化平台，YC S26 还出现了 Tokenless 这样的「自动换模型省钱」创业公司。
一面是产品化的火热，一面是亲自下场者（Manifest，一个 LLM 网关公司）的撤退。这篇文章不站队，而是把路由这件事拆开：它到底怎么工作、能省多少钱、隐性成本在哪，以及什么场景下它依然成立。
过去两年我们花了很多精力在「输入端」——prompt engineering、few-shot、结构化输出。但 Agent 规模化之后，真正的瓶颈转移到了上下文（context）本身：怎么把有限、昂贵、会腐烂的上下文，像内存一样管理起来。Anthropic 在 2025 年 9 月发表的《Effective context engineering for AI agents》把这件事正式命名为 context engineering——一门关于「上下文生命周期」的工程学科。
本文不重复「怎么写好 prompt」，而是把上下文当成一种可度量、可压缩、可缓存、可分层存储的资源，讨论四个核心问题：它为什么会烂（context rot）、怎么主动丢弃（compaction）、怎么变便宜（caching）、以及怎么用外部存储补足它（memory hierarchy）。
本文是模型评测系列的一篇。前作《GPT-5.6 价格-性能革命》拆解了闭源侧的价格战，《Kimi K3 架构分析》解读了开源侧的 2.8T 巨兽，本篇聚焦 DeepSeek 在 7 月 31 日放出的新变体：DeepSeek V4 Flash 0731。
2026 年 7 月 31 日，Artificial Analysis 发布了 DeepSeek V4 Flash 0731 的独立评测（Reasoning / Max Effort 版本），随后在 Hacker News 上引发热议（500+ 分）。在 GPT-5.6 宣布 Luna 降价 80%、Kimi K3 主打自托管性价比的混战周里，DeepSeek 用一个 284B 总参数的 MoE 模型把「智能/价格」的比值又推高了一截。本文基于 Artificial Analysis 的公开评测数据，拆解这份答卷背后的模型参数、定价结构与工程启示。
2026 年 7 月底，两篇关于 AI 编程的文章先后登上 Hacker News 首页：一篇是独立开发者 obryant 的《2x, not 10x: coding with LLMs in 2026》（214 分），另一篇是 Thoughtworks CTO Giles Edwards-Alexander 在 Martin Fowler 博客发表的《The Economic Benefit of Refactoring》（194 分）。
两篇文章放在一起读，恰好构成了 2026 年 AI 编程最完整的一幅现实图景：模型能力已经跨过「可用」门槛，但生产力红利的上限不是模型智商，而是工程系统——代码组织、反馈回路、工具链——的匹配度。 本文梳理两篇的论点，并用 Thoughtworks 实验中的真实数据，量化「重构 = 投资」的 Token 经济学。
2026 年 7 月 31 日凌晨，OpenAI 发布公告《Advancing the price-performance frontier with GPT‑5.6》，正式推出 GPT-5.6 系列模型，并在 Hacker News 上引发热议（发布数小时内即获 500+ 分）。公告的核心信息只有一句话：GPT-5.6 Luna——最快的模型，也是最便宜的模型——价格直降 80%。
这不是一次普通的版本迭代。在 Kimi-K3（2.8T 开源 MoE）、GLM 5.2、DeepSeek V4 轮番降价的开源围剿下，OpenAI 选择用「推理效率工程」而非「削减利润」来回应。本文从工程角度拆解这次降价的技术逻辑、成本结构，以及对推理基础设施团队的启示。
本文是 Agent 工程系列的综合篇。前文分别探讨了 Agent 推理与执行分离 和 Agent 安全防护（ToolGuardian），本篇从可观测性、安全管控与错误恢复三个维度，系统梳理生产级 Agent 系统的工程实践。
2025-2026 年，AI Agent 从「Demo 阶段」迈入「生产阶段」。Gartner 的 2026 年 Hype Cycle 报告将 Agentic AI 定位在「泡沫破裂前的过热期」——这意味着大量系统正在实际生产环境中运行，相关的工程教训也在加速积累。
本文不讨论 Agent 的理论架构，而是聚焦于三个工程问题：怎么知道 Agent 在做什么？怎么确保它不会做不该做的事？当它失败时怎么恢复？
本文是推理优化系列的第二篇。前篇《vLLM 架构深度解析》从推理引擎层面探讨了性能优化，本篇聚焦另一个关键维度——模型量化。
2025-2026 年，量化技术从「部署技巧」演变为「训练流程的一等公民」。FP8 被 Blackwell GPU 原生支持，INT4 通过 AWQ/GPTQ 等算法几乎追平 FP16 的准确率，而 KV-cache 量化更是成为长上下文推理的标配。
本文从工程实现角度，系统梳理 LLM 量化的核心概念、主流方案的生产级对比，以及关键陷阱。
大模型推理的内存需求正在走向一个矛盾：MoE 模型的参数量动辄数百亿甚至上千亿，但消费级硬件的 RAM 上限在过去五年几乎没有质变——一张显卡 24GB，一台笔记本电脑 32GB，已是多数工程师的日常。
2026 年 7 月，一位机械工程背景的开发者（HN: LozzKappa）用约 50 行 C++ 代码，以一套来自控制理论的直觉，将 gpt-oss:120b MoE 模型的内存占用从 58.5GB 压到了 19.1GB，输出与全量加载完全一致（SHA-256 验证）。这项技术被命名为 HotPin。
本文将从工程实现的角度，拆解 HotPin 的核心原理、边界条件与适用场景。