全量微调（Full Fine-tuning）和参数高效微调（PEFT）的区别？各在什么场景下使用？

全量微调：

• 更新模型全部参数
• 优点：效果最好，适合需要大规模改变模型行为
• 缺点：需要大量GPU显存（7B模型FP16约需56GB）、训练慢、灾难性遗忘风险高

PEFT（Parameter-Efficient Fine-Tuning）：

• 仅更新/添加少量参数（通常<1%），冻结原始权重
• 优点：显存占用小（7B+LoRA只需约16GB）、训练快、可快速切换多个Adapter
• 缺点：效果略逊于全量微调
• 适用：绝大多数生产场景和资源受限的情况

主流PEFT方法： 方法原理参数占比特点 LoRA低秩矩阵分解更新Attention权重<1%最流行，可合并回原权重 Adapter在层间插入小网络3-8%结构简单 Prefix Tuning在输入前加可学习prefix<1%适合生成任务 IA3缩放Key/Value/FNN<0.01%极少参数 趋势：生产环境几乎100%使用PEFT（尤其是LoRA）而非全量微调