跳到主要内容

1 篇博文 含有标签「MoE」

混合专家模型（Mixture of Experts）与稀疏激活相关

查看所有标签

面试题：MoE 为什么能用更少的激活参数换来更大的容量？专家路由怎么设计、负载不均衡怎么治、为什么 MoE 推理比同规模稠密模型更难？

· 阅读需 16 分钟

这是「每日一题」专栏的第十九篇。每天一道面试题，后端 + AI 混合路线，从原理到代码一次讲清。上一篇是 短链接系统进阶，间隔了一个月没更新，今天按轮换回到 AI/LLM 方向，聊近两年面试出现频率陡增的一题：混合专家（MoE）——为什么 671B 的模型只需要 37B 的激活参数就能跑起来，这条路到底省了什么、又难在哪。