#QPS

Agent 如何支撑 3 万 QPS：从单实例到分布式推理的工程全景

LLM Agent 的单次请求往往涉及多轮推理、工具调用与上下文组装，成本是普通接口的数十倍。本文从容量建模、推理服务、缓存体系、无状态架构到弹性伸缩，系统拆解 Agent 系统支撑 3 万 QPS 的完整工程路径。