模型评测与基准测试相关
查看所有标签做 RAG 的后端工程师大多有过这样的经历：一套 PDF 解析（PyMuPDF + pdfplumber）、分块、embedding、rerank 的管线在技术文档上效果不错，一换到财报、合同、产品手册就开始掉分。检索出来的段落看着相关，但答案在表格的某个交叉格里、在某张流程图的标注里、或者依赖两栏排版的位置关系——这些信息在"解析成纯文本"的那一步就已经丢了。
VisRAG 这篇工作把这个损失量化过：不做文本解析、直接把文档页当图片用 VLM 嵌入，端到端比传统文本 RAG 管线高 20%~40%。这个数字不必照搬（它建立在自建的检索/生成数据上），但方向是明确的：多模态文档的检索单元应该是"页"，而不是"段落"。
本文不讨论 VLM 生成侧，只讲检索层怎么落地：三条技术路线的取舍、多向量的存储与算力账本、把成本压下来的四种手段，以及我自己在 ColQwen 上趟过的坑。前置阅读可以看 RAG 进阶检索 和 向量索引 HNSW/IVF-PQ 两篇。
开源模型现在是一周一个的节奏：Kimi-K3 那篇 2.8T 的 MoE 还没消化完，DeepSeek V4 Flash 就以 284B 参数打出了「智能指数 50」的性价比，隔一周又是 GLM-5.3 把编程 Agent 安全做成卖点（见 GLM-5.3 编程 Agent 安全拆解）。对后端工程师来说，选型已经不是一个「调研一次、用半年」的静态决策，而是一个持续跟踪、反复评估、随时切换的工程问题。本文不讲具体某个模型的评测报告，讲怎么建立自己的评估框架：看什么动态、躲什么 License 坑、怎么用自家任务集跑分。
AI 生成代码的比例正在快速攀升，但绝大多数团队的评审流程还停留在「AI 写完 → 人看一眼 diff → 合入」。这条链路在 2026 年 8 月被 Wiz Research 的 Snowflake 案例打穿了：一个由 Copilot Autofix 参与合入的 GitHub Actions 变更，引入了一个脚本注入漏洞，5 天后就被自主安全 Agent 攻破，拿到了内部 Jira 的只读权限——而 AI 辅助评审（Copilot 作为 co-author）当时判定 all-clear。
这不是孤例。HN 上「How do you review and validate LLM generated code?」的讨论里，一线工程师的共识很朴素：AI 写代码的节奏变了，但「验证代码」的严谨度不能跟着降级，反而要升级。本文把 AI 时代的代码验证拆成四层，讲清每一层做什么、在哪一层容易翻车。
「这个模型写代码不错」和「这个 Agent 能完成 20 轮工具调用把事办成」是两回事。单轮评测测的是「会不会答」，Agent 评测测的是「会不会把事情办成」——后者涉及状态、工具副作用、长程规划，评测的复杂度直接上了一个数量级。
上一篇LLM 评测工程化讲了单轮文本评测的偏见与校准，这篇聚焦 Agent 场景：评测什么、拿什么当标准答案、怎么写评测骨架、怎么避免评测本身成为成本黑洞。面向已经在跑 Agent 生产流量的后端工程师，不讲科普。
「模型上线前跑一遍 MMLU 和 HumanEval」——这是 2023 年的做法。到了 2026 年，主流模型的静态基准已经全线饱和：MMLU 分数挤在 85-92 的窄带里，1 个百分点的差异既可能是真实能力差距，也可能是数据集污染或评测噪声。更麻烦的是，生产环境的成败根本不取决于「这题会不会」，而取决于「这个 Agent 在 20 轮工具调用里会不会跑偏」——这是任何静态选择题基准都无法回答的问题。
本文不讨论「哪个模型分数高」，而是拆解评测体系本身：静态基准为什么失真，LLM-as-a-Judge 的偏见从哪来、怎么校准，以及如何把评测从「发版前的手工抽查」变成「CI 里的自动回归门禁」。核心结论来自可验证的公开论文与开源项目。