85
设计一个面向企业的大模型应用平台（如内部知识库问答系统），画出架构图并解释各模块。
编程能力与工程实践困难
📋 面试问题
设计一个面向企业的大模型应用平台（如内部知识库问答系统），画出架构图并解释各模块。
✅ 期望回答
分层架构（五层）：
接入层：
- 企业IM（钉钉/企微/飞书）Bot + Web界面
- 鉴权 + 限流（按部门、角色控制）
- 意图识别：用户Query -> 意图分类（FAQ/文档检索/数据分析/工单操作）
- 对话管理：多轮对话 + 上下文窗口管理 + 记忆
- 工作流引擎：复杂问题多步处理
- RAG引擎：Embedding + 向量检索 + Reranker + LLM生成
- Agent引擎：工具调用 + 规划 + 执行
- 模型路由：按问题复杂度智能选择模型（小模型 vs 大模型）
- 文档库：S3/MinIO存储原始文档
- 向量库：Milvus集群存储文档Embedding索引
- 业务数据库：MySQL/PostgreSQL存储用户/权限/对话记录
- 缓存：Redis存储高频Query答案
- LLM推理服务：vLLM集群（自建）+ API备份
- 监控告警：Prometheus + Grafana + 日志平台/ELK
- CICD：GitOps + Jenkins/GitLab CI
- FAQ优先检索 -> 命中直接返回（最快的路径）
- RAG兜底 -> 未命中FAQ时才触发检索和生成
- 所有回答引用来源文档（可溯源审计）
- 人工兜底机制（低置信度问题时转人工客服）
#系统设计#架构#平台