如何设计一个大模型API网关（API Gateway）？需要哪些功能？

API Gateway入口负责管理所有模型调用请求，为上层应用提供统一、安全、高效的访问入口

核心功能设计： 请求管理：

• 统一API接口：OpenAI-compatible /v1/chat/completions
• 智能路由：根据请求复杂度路由到不同模型（简单->小模型，复杂->大模型）
• 负载均衡：Round-robin/Least Connections/一致性哈希
• 流量整形：Rate Limiting（QPS/用户/天）、排队溢出保护

安全：

• API Key认证/SSO用户鉴权
• Prompt注入检测（规则+ML模型）
• 内容安全过滤（敏感词/越狱检测）
• 审计日志（全量记录请求和响应摘要）

降本：

• Prompt/Answer缓存（语义相似度匹配+KV-Cache）
• 模型分层路由，越简单的问题用越便宜的模型

可观测性：

• 每请求可追踪全链路（请求ID/用户ID/模型/延迟/tokens/成本）
• 提供商业看板（按用户/模型/日期聚合）