Transformer 架构相关
查看所有标签这是「每日一题」专栏的第二十一篇。每天一道面试题，后端 + AI 混合路线，从原理到代码一次讲清。上一篇是 分库分表之后的在线扩容，今天按轮换回到 AI/LLM 方向，兑现上一篇的预告：长上下文与 RoPE 长度外推。这道题的分水岭很清楚——背过的人能说出「位置插值」四个字，真做过的人能讲清楚「为什么高频维度和低频维度的失败方式完全相反，所以一刀切必错」。
2026 年 8 月中旬，Qwen 开源了 Qwen3.8-27B：270 亿参数的稠密（Dense）原生多模态模型，Apache 2.0 协议。两个数字让它在一众开源模型里显得特殊——262K 原生上下文（YaRN 可外推到 1M）和量化后 24GB 显存可部署（RTX 3090/4090 级别）。官方 benchmark 里，它在 SWE-bench Pro 上比 Claude Opus 4.6 Max 高出 8.3 分，QwenSWEBench 上领先 15.2 分。
对做工程的人来说，这条新闻的真正信号不是"又一个榜单刷分"，而是：长上下文 + 强 Agent 能力开始向消费级硬件下沉。这背后是架构层面的变化——Qwen3.8-27B 的 64 层里只有 16 层是标准 Attention，其余 48 层换成了 Gated DeltaNet 线性注意力，按"三层线性 + 一层完整 Attention"循环排列。这篇文章拆解这个设计到底解决了什么问题、KV Cache 的账怎么算、以及部署时要注意什么。
很多人能脱口而出「Attention 是 O(n²)」，但少有人追问：这个 n² 到底卡在哪一步？为什么优化不掉？
答案不是「矩阵乘法天生就是 n²」这么简单——矩阵乘法有结合律，本来可以调顺序把 n² 甩掉。真正把 n² 焊死的，是 softmax 的全局归一化。这篇把它从数学上拆开。
这是「每日一题」专栏的第四篇。每天一道面试题，后端 + AI 混合路线，从原理到代码一次讲清。
这是「每日一题」专栏的第一篇。每天一道面试题，后端 + AI 混合，从原理到代码，从八股到实战。