什么是灾难性遗忘（Catastrophic Forgetting）？如何在微调中避免？

灾难性遗忘指微调使模型在新任务上变好的同时，在原有能力上显著退化

为什么发生：LLM在预训练阶段学会了通用的语言知识和推理能力。微调时参数被「推」向特定任务分布，远离了原始的通用分布。尤其当微调数据量过少、过拟合时最严重 缓解策略：

• PEFT技术（LoRA、Adapter）：只修改少量参数，最大限度地保留原始权重中的预训练知识
• 数据混合：在微调数据中混入10-20%的通用数据（原始预训练数据），维持模型的通用能力
• 小学习率：使用低学习率（<1e-5）减少每次更新的幅度
• 正则化：L2正则化约束模型参数不要偏离原始值太远
• 多任务学习：同时训练目标任务和其他辅助任务，让模型保持多维度能力

评估方法：微调前后在同一通用Benchmark（MMLU、HellaSwag）上测试，确保通用能力没有显著退化