7

什么是大模型的「涌现能力」(Emergent Abilities)?请举例说明。

大模型基础理论中等

📋 面试问题

什么是大模型的「涌现能力」(Emergent Abilities)?请举例说明。

✅ 期望回答

涌现能力指模型在规模达到临界点时「突然」表现出的、小模型不具备的能力,而非在更小规模时能从性能曲线上预测

常见涌现能力:
  • 上下文学习(ICL):给定几个示例(Few-shot Prompt),模型无需参数更新即可在新任务上表现出色
  • 思维链(CoT):在Prompt中加入「Let's think step by step」,模型自动分解推理步骤,大幅提升数学和逻辑推理准确率
  • 指令跟随:模型经过Instruction Tuning后能理解并执行复杂的自然语言指令

学术争议:
  • 2023年一篇研究(Schaeffer等)指出涌现可能是评估指标的非线性导致的「假象」——如果用连续指标(如Perplexity的连续变化),「涌现」可能只是平滑的Scaling曲线的陡峭段
  • 但实践中,超过一定规模后模型确实表现出质变行为,这仍是重要研究方向
#涌现#Scaling Law#ICL