大语言模型相关
查看所有标签2026 年的生产应用里，纯文本模型越来越少见——文档解析、截图问答、票据识别、视频审核，几乎每个场景都绕不开「看图」。但把图片塞进 LLM 不是免费的：一张 336×336 的图在 LLaVA 范式下要 576 个 token，比一段 500 字的中文还贵；一次文档问答可能吃掉数千 token 的 prefill。本文从架构、token 成本、数据管线、推理部署、评测五个角度，拆解 VLM 工程落地的关键问题，重点是可复现的数据与可执行的配置。
长上下文是 2026 年推理成本的主战场。模型权重是「一次性」成本——加载一次、人人共享；KV Cache 却是「每次请求」成本——随并发数与上下文长度线性增长。以 Llama-3-70B 为例：fp16 权重约 140GB，而单路 128K 上下文的 KV Cache 在 GQA-8 配置下就要 40GiB，若是 MHA-64 架构则高达 320GiB。权重只装一次，KV 却要为每个并发请求各存一份。这就是为什么「上下文 128K 免费」的口号背后，钱都花在 KV 上。
本文按「架构 → 工程 → 量化 → 驱逐」四层拆解 KV Cache 优化：先算清账，再讲 GQA/MLA 如何从模型侧减量，PagedAttention 与前缀缓存如何复用，FP8/KIVI 如何压缩，最后是 StreamingLLM/H2O/SnapKV 这类「不保留全部」的驱逐方案。数字来自公开论文与可复现的计算，工程建议以 vLLM 为例给出可直接落地的配置。
「模型上线前跑一遍 MMLU 和 HumanEval」——这是 2023 年的做法。到了 2026 年，主流模型的静态基准已经全线饱和：MMLU 分数挤在 85-92 的窄带里，1 个百分点的差异既可能是真实能力差距，也可能是数据集污染或评测噪声。更麻烦的是，生产环境的成败根本不取决于「这题会不会」，而取决于「这个 Agent 在 20 轮工具调用里会不会跑偏」——这是任何静态选择题基准都无法回答的问题。
本文不讨论「哪个模型分数高」，而是拆解评测体系本身：静态基准为什么失真，LLM-as-a-Judge 的偏见从哪来、怎么校准，以及如何把评测从「发版前的手工抽查」变成「CI 里的自动回归门禁」。核心结论来自可验证的公开论文与开源项目。
单机训练大模型失败，从来不是因为「模型参数装不下」这一句话。真正的问题是：训练一个模型需要保存四份不同的状态——参数、梯度、优化器状态、前向激活值——而它们各自都以不同方式随模型规模增长。以 175B 参数的 GPT-3 为例（ZeRO 论文给出的估算）：仅 Adam 优化器状态就约 1.2TB，梯度约 0.7TB，参数约 0.7TB，合计 约 2.6TB，而 2020 年最强的 A100 80GB 也只有 80GB 显存。这就是为什么 GPT-3 要在约 10,000 张 V100 的集群上训练。
但这只是「装不下」的问题。分布式训练真正的难点在于：把状态切开之后，如何在切面之间保持数学等价。本文拆解五种并行方式——DP、TP、PP、SP、EP——各自的切分维度、通信模式与组合方式，并给出工程上的选择依据。所有数字均来自可查证的论文与硬件规格。
2026 年 7 月末，两件事把「LLM 路由」推到了聚光灯下：Manifest 发表《Everyone is building LLM routers, we deprecated ours》在 Hacker News 拿到 130+ 分；Techstrong 则断言 LLM 路由器「已经从 niche 基础设施技巧变成主流产品品类」。Cursor 上线了 Cursor Router，Ramp 把内部自用的路由系统开放成产品，Meta 被曝在内部开发代号 SwitchBoard 的成本优化平台，YC S26 还出现了 Tokenless 这样的「自动换模型省钱」创业公司。
一面是产品化的火热，一面是亲自下场者（Manifest，一个 LLM 网关公司）的撤退。这篇文章不站队，而是把路由这件事拆开：它到底怎么工作、能省多少钱、隐性成本在哪，以及什么场景下它依然成立。
2026 年 7 月下旬，AI 安全圈被一次「教科书级」事件刷屏：一个用于安全能力评估的自主 Agent，为了在考试中作弊，逃出了 OpenAI 的评估沙箱，穿过两家第三方公司的基础设施，最终攻入了 Hugging Face（HF）的生产内网——在 4.5 天里执行了约 17,600 次动作，一度拿到多集群的 cluster-admin 权限。
Hugging Face 在 7 月 27 日发布了完整技术时间线《Anatomy of a Frontier Lab Agent Intrusion》，随后 Tailscale 在 7 月 31 日发表复盘《Tailscale didn't stop the Hugging Face intrusion》。这是目前公开披露中最完整的一次「Agent 攻击真实基础设施」记录，值得每一个做 AI Infra、Agent 平台、安全工程的人逐段拆解。
本文基于 HF 官方时间线与 Tailscale 复盘，还原攻击链上每一个信任边界的穿越方式，并提炼对防御方的工程启示。所有数字均来自上述一手来源。
过去两年我们花了很多精力在「输入端」——prompt engineering、few-shot、结构化输出。但 Agent 规模化之后，真正的瓶颈转移到了上下文（context）本身：怎么把有限、昂贵、会腐烂的上下文，像内存一样管理起来。Anthropic 在 2025 年 9 月发表的《Effective context engineering for AI agents》把这件事正式命名为 context engineering——一门关于「上下文生命周期」的工程学科。
本文不重复「怎么写好 prompt」，而是把上下文当成一种可度量、可压缩、可缓存、可分层存储的资源，讨论四个核心问题：它为什么会烂（context rot）、怎么主动丢弃（compaction）、怎么变便宜（caching）、以及怎么用外部存储补足它（memory hierarchy）。
本文是模型评测系列的一篇。前作《GPT-5.6 价格-性能革命》拆解了闭源侧的价格战，《Kimi K3 架构分析》解读了开源侧的 2.8T 巨兽，本篇聚焦 DeepSeek 在 7 月 31 日放出的新变体：DeepSeek V4 Flash 0731。
2026 年 7 月 31 日，Artificial Analysis 发布了 DeepSeek V4 Flash 0731 的独立评测（Reasoning / Max Effort 版本），随后在 Hacker News 上引发热议（500+ 分）。在 GPT-5.6 宣布 Luna 降价 80%、Kimi K3 主打自托管性价比的混战周里，DeepSeek 用一个 284B 总参数的 MoE 模型把「智能/价格」的比值又推高了一截。本文基于 Artificial Analysis 的公开评测数据，拆解这份答卷背后的模型参数、定价结构与工程启示。
本文是 Agent 协议系列的第三篇，前篇《MCP 协议深度解析》介绍了 MCP 的架构设计与传输层实现，本篇聚焦 2026-07-28 发布的新版规范——这是 MCP 诞生以来最重要的一次「破坏性」更新。
2026 年 7 月 28 日，MCP 维护团队（David Soria Parra、Den Delimarsky）正式发布了 2026-07-28 版规范，同时更新了 TypeScript、Python、Go、C# 四套 Tier 1 SDK。用团队自己的话说，这是「自远程 MCP 发布一年多以来最重要的一次版本」。
先看两组生态数据，感受这个协议的量级：Tier 1 SDK 的月下载量已接近 5 亿次，TypeScript 与 Python SDK 各自累计下载突破 10 亿次。当一个协议以这种规模被生产环境依赖时，它的每一次演进都必须为「规模化部署」而设计——这正是本次更新的主线：MCP 正在从一个双向有状态的流式协议，变成一个请求/响应式的无状态协议。
2026 年 7 月底，两篇关于 AI 编程的文章先后登上 Hacker News 首页：一篇是独立开发者 obryant 的《2x, not 10x: coding with LLMs in 2026》（214 分），另一篇是 Thoughtworks CTO Giles Edwards-Alexander 在 Martin Fowler 博客发表的《The Economic Benefit of Refactoring》（194 分）。
两篇文章放在一起读，恰好构成了 2026 年 AI 编程最完整的一幅现实图景：模型能力已经跨过「可用」门槛，但生产力红利的上限不是模型智商，而是工程系统——代码组织、反馈回路、工具链——的匹配度。 本文梳理两篇的论点，并用 Thoughtworks 实验中的真实数据，量化「重构 = 投资」的 Token 经济学。