Continuous Batching（动态批处理）的原理和优势是什么？

传统Static Batching：一批请求同时开始处理，必须等同一批中所有请求的生成完成（最长的拖慢全班）-> GPU利用率低

Continuous Batching原理：

• 不等待整批完成，每个请求生成完随时退出Batch，新请求随时加入Batch
• 每个推理步骤（forward pass）动态决定当前Batch包含哪些请求
• vLLM/TGI/TensorRT-LLM实现了不同版本的Continuous Batching

优势：

• GPU利用率大幅提升：从30-50% -> 70-90%+（避免短请求被长请求阻塞）
• 延迟更可预测：每个请求不等同批中的长请求完成
• 吞吐量提高：同样GPU资源可服务的并发用户数显著增加

实现复杂度：需要精细管理KV Cache内存的分配和释放；vLLM通过PagedAttention解决了KV Cache的碎片化管理