1 篇博文 含有标签「Fine-tuning」

微调和蒸馏是聊开源模型时绕不开的两个词，但经常被混为一谈。一句话区分：微调改变「模型会什么」，蒸馏改变「模型有多大」——微调是拿你的数据继续训练，让模型适配你的任务；蒸馏是让大模型当老师，把能力压缩进小模型。本文讲清两者的本质、方法和选型。