🔍
阶段6:RAG 企业知识库开发(核心)
招聘重点!开发企业最常见的 AI 应用——知识库问答系统。掌握文档解析、向量数据库、检索优化全链路技术。
1
2
文档解析与处理
学习 PDF 解析(PyPDF2、pdfplumber)、Word 解析(python-docx)、Markdown 解析,掌握文档加载、文本清洗、分块策略。
进阶前置要求:rag-flow
子主题
PDF 解析
使用 PyPDF2、pdfplumber 等工具解析 PDF 文档,处理扫描件和复杂排版。
Word / Markdown 解析
处理企业常见文档格式,保持文档结构和语义信息。
3
向量数据库
掌握至少一个主流向量数据库(Milvus/Elasticsearch),了解 FAISS、Chroma 等轻量级方案,理解向量索引和相似度搜索原理。
进阶前置要求:rag-flow
4
RAG 优化技巧(重点)
掌握 Chunk 分块策略优化、Rerank 重排序、Query Rewrite 查询重写、Hybrid Search 混合检索等进阶优化技术,大幅提升检索准确率。
高级前置要求:doc-processing、vector-db
推荐资源
子主题
Chunk 优化
固定大小分块、语义分块、重叠窗口、层级分块等多策略对比选择。
Rerank 重排序
使用 Cohere Rerank、BGE Reranker 等模型对初步检索结果进行精排。
Query Rewrite 查询重写
利用 LLM 对用户问题进行改写、扩展、分解,提升检索召回率。
Hybrid Search 混合检索
结合向量检索和关键词检索(BM25),优势互补提高检索效果。
5
项目实战:企业知识库平台
综合运用 RAG 技术栈开发完整的企业知识库问答平台,包含文档上传、知识库管理、智能问答、引用溯源等功能。
高级前置要求:rag-optimization