GGUF格式是什么？适用于什么场景？

GGUF (GGML Universal Format) 是 llama.cpp 项目提出的模型分发格式，替代了之前的GGML格式

特点：

• 单文件分发：模型权重、Tokenizer、配置全在一个文件中
• 灵活量化：支持多种量化级别（Q2_K到Q8_0），在精度和大小间选择
• 无Python依赖：纯C++实现，不依赖PyTorch/TensorFlow
• 跨平台：Windows/Mac/Linux，支持CPU(C++加速)、Metal(GPU M系列)、CUDA(NVIDIA)

适用场景：

• 本地/边缘部署：个人电脑、手机、嵌入式设备运行大模型
• 隐私优先：所有推理数据不离开本地设备
• 快速原型：用Ollama一键启动本地LLM服务（底层基于llama.cpp）
• 资源受限：16GB内存+CPU就能运行70B量化模型

局限：QPS远低于GPU服务器部署；长Prompt的Prefill速度慢；不适合高并发在线服务