LoRA/QLoRA 参数高效微调实战：低秩假设、NF4 双重量化与多 Adapter 生产部署
· 阅读需 8 分钟
全参微调（full fine-tuning）的成本账很吓人：训练时除了权重本身，还要存梯度，以及 Adam 优化器的一阶矩、二阶矩两个状态。一个 7B 模型，权重 bf16 约 14GB，梯度 14GB，Adam 状态约 28GB，再加上激活和中间结果，全参微调 7B 要 60GB 以上显存，70B 直接破 600GB。这不是普通工程师玩得起的。
于是有了参数高效微调（PEFT）三件套：Adapter、Prefix Tuning、LoRA。其中 LoRA（Low-Rank Adaptation，微软 2021）因为"训练省显存、推理时可合并、能热插拔多任务"成为事实标准；QLoRA（2023）进一步把底座量化到 4bit，让 65B 模型在单张 48GB 消费卡上做微调成为可能。本文不重复上一篇多 Agent 编排（多 Agent 协作架构），专注把 LoRA/QLoRA 这条线讲透到能直接上手。