#架构设计

共 16 篇文章

当大模型从「聊天机器人」走向「企业级 Agent」，安全不再是「写一个好的 System Prompt」就能解决的事情。本文结合企业级实践，拆解 Agent 多级防御架构的设计思路与落地方法——从静态规则、LLM 语义审核、工具权限管控到输出审核的四层防守漏斗。

Agent 单次请求动辄消耗数万 token，成本是普通 API 的数十倍。本文从 token 计价模型出发，拆解输入/输出/调用次数的成本构成，给出上下文瘦身、缓存复用、模型分层、批量与缓存折扣等可落地的成本控制手段与成本可观测体系。

LLM 输出的不确定性是 Agent 工程的常态：格式漂移、字段丢失、工具参数错误随时可能发生。本文给出完整的兜底架构——结构化输出、容错解析、校验重试、降级链路与版本回滚，让系统在模型「任性」时依然稳定交付。

从一次面试翻车出发，系统拆解 Agent 断点续跑的三个层次（任务级/步骤级/调用级），以及幂等性与崩溃一致性这两个关键地基，附完整工程实践。

Agent 的延迟不是单次 LLM 调用延迟，而是「多轮推理 + 工具调用 + 上下文组装」的链路延迟。本文拆解 Agent 延迟预算的构成，并从上下文瘦身、并行执行、流式输出、模型分层到缓存体系给出可落地的优化清单。

LLM Agent 的单次请求往往涉及多轮推理、工具调用与上下文组装，成本是普通接口的数十倍。本文从容量建模、推理服务、缓存体系、无状态架构到弹性伸缩，系统拆解 Agent 系统支撑 3 万 QPS 的完整工程路径。

在多Agent系统中，冲突不是异常而是常态。本文从检测、协商、回退三个层面，提供一套可落地的冲突治理方案，涵盖投票机制、加权投票、仲裁Agent设计、动态优先级矩阵及安全回退策略。

从消息格式、通信模式、路由策略、错误处理到外部交互，五层递进拆解 Agent 间通信协议（IACP）的设计范式，让你的 Multi-Agent 系统从"能跑"迈向"可扩展、可插拔"。

从分布式锁、令牌桶限流、优先级队列、死锁预防到熔断降级，系统拆解 Multi-Agent 系统中并发控制的工程实践，帮你避免系统从「智能」走向「僵死」。