3
什么是大模型的预训练（Pre-training）和微调（Fine-tuning）？两者的关系是什么？
大模型基础理论简单
📋 面试问题
什么是大模型的预训练（Pre-training）和微调（Fine-tuning）？两者的关系是什么？
✅ 期望回答
预训练 (Pre-training)：
- 在大规模无标注语料上训练模型学习通用语言知识（语法、事实、推理能力）
- 目标函数：GPT系列用Next Token Prediction（自回归）；BERT用Masked Language Modeling（MLM）
- 输出：General-purpose基础模型（如GPT-3、LLaMA）
- 在特定任务的标注数据上调整预训练模型参数
- 类型：全量微调（更新所有参数）、参数高效微调/PEFT（LoRA、Adapter等，更新少量参数）
- 目的：让通用模型适应特定领域或任务
- 预训练是基础，微调是适配；预训练提供「通用智能」，微调赋予「专业能力」
- 类比：预训练 = 大学通识教育，微调 = 研究生专业方向
- 趋势：Instruction Tuning（指令微调）和RLHF（对齐微调）让模型更擅长遵循指令、对齐人类偏好
#预训练#微调#Fine-tuning