🚀

大模型应用开发实战

将大模型能力落地为实际应用。涵盖 API 调用优化、流式输出、上下文管理、多模态应用、模型部署与监控等工程实践。

大模型 API 集成

掌握 OpenAI、Claude、国产大模型等 API 的调用方法，理解参数配置（temperature、top_p、max_tokens）对输出质量的影响。

入门

temperature、top_p、frequency_penalty、presence_penalty 等参数的深入理解与调优实践。

统一封装不同大模型提供商的 API，实现灵活切换和降级策略。

实现 SSE（Server-Sent Events）流式响应，优化用户体验，处理 token 级别的实时渲染。

进阶前置要求：llm-api-integration

管理长对话的上下文：滑动窗口、摘要压缩、重要信息提取、token 计数与预算控制。

进阶前置要求：llm-api-integration

整合文本、图像、语音、视频等多模态能力，构建丰富的 AI 交互体验。

高级前置要求：streaming

学习模型服务化部署（vLLM、TGI），API 网关配置，负载均衡，以及日志、监控、告警体系的搭建。

高级前置要求：context-management