模型部署有哪些主流框架？vLLM、TensorRT-LLM、llama.cpp各有什么特点？

框架定位核心技术加速比适用场景 vLLM高吞吐推理引擎PagedAttention + Continuous Batching~10-30xLLM在线服务（API） TensorRT-LLMNVIDIA官方推理引擎PTQ量化+内联优化~20-50xNVIDIA GPU生产环境 llama.cppCPU/边缘推理纯C++实现+GGUF量化~1-3x(CPU)本地部署、边缘设备 TGI (HF)HuggingFace部署Continuous Batching+量化~5-15xHF生态内集成服务 核心技术解释：

• PagedAttention (vLLM)：将KV Cache按页管理而非连续大矩阵，类似OS虚拟内存，减少显存碎片
• Continuous Batching：不等整个Batch完成，每个请求随时可加入/退出Batch
• TensorRT-LLM：NVIDIA原生效果最好，但需要一定量模型转换和图融合工作