在大模型应用开发中，你如何平衡效果和成本？请举例说明。

成本构成：

• 推理成本（API调用费/GPU租赁费）占总成本70-90%
• Embedding成本（RAG索引构建和实时检索）
• 向量数据库存储和查询成本
• 人工标注和运维成本

平衡策略：

• 路由分层（Cascade）：简单问题用小模型（LLaMA-3 8B），复杂问题用大模型（GPT-4o）。通过分类器判断问题复杂度
• 缓存机制：高频相同/相似问题（>80%语义相似度）直接返回缓存结果。可用Redis+向量相似度检索
• Prompt优化：精简System Prompt和Few-shot示例，减少输入token
• 模型选择：生产环境评估国产模型（Qwen-72B-INT4、DeepSeek-V2）效果，性价比通常更高
• 批处理：非实时场景（如批量标注、离线分析）用vLLM连续批处理

实例：某客服系统日均10万次对话，采用分层策略（50%小模型+30%中等模型+20%大模型），日均成本从800元降至120元