23

在Few-shot Prompt中,示例的选择和排序对结果有何影响?如何优化?

提示工程与Prompt设计中等

📋 面试问题

在Few-shot Prompt中,示例的选择和排序对结果有何影响?如何优化?

✅ 期望回答

影响:
  • 示例质量:准确、格式规范的示例比随意示例效果好很多
  • 示例多样性:涵盖多种Case类型比重复同一种类型好
  • 标签分布:示例的标签/答案分布尽量均衡(如正负样本各一半,避免模型偏斜)
  • 顺序效应:模型对最近看到的示例更敏感(Recency Bias),建议随机打乱顺序多次采样取平均结果

优化策略:
  • 动态示例选择:基于用户Query的embedding检索最相似的K个示例
  • 主动学习:找出模型最常出错的Case类型,重点补充该类示例
  • 困难负例:不光给正例,给「容易搞错的Case」作为负例,明确告诉模型「这种不要这样做」
  • 格式对齐:确保Few-shot示例的格式与期望的输出格式完全一致

工具支持:LangChain ExampleSelector、LlamaIndex FewShotPromptTemplate
#Few-shot#示例选择#优化