LangChain RAG——检索增强生成

大语言模型虽然具备丰富的知识，但并不一定知道你的私有文档、企业资料或最新更新的内容。

例如，你希望 AI 根据公司的内部文档、个人笔记或者编程教程回答问题，如果只依赖模型本身，它可能无法获得这些信息，甚至生成看似合理但实际错误的答案。

这时就可以使用 RAG（Retrieval-Augmented Generation，检索增强生成）。

RAG 的核心思想是：先从知识库检索相关资料，再将资料交给大模型生成回答。

不需要重新训练或微调模型，就可以让应用利用自己的文档知识。

本章节基于 LangChain 1.x，使用 DeepSeek、OpenAI 或阿里百炼 Embedding，以及 Chroma 向量数据库，完成从文档索引到 RAG 问答的完整流程。

一、什么是 RAG？

RAG 是将信息检索与大模型生成相结合的一种技术。

传统模型主要依赖训练阶段获得的知识，以及本次请求中提供的上下文。

而 RAG 可以在回答之前，从外部知识库检索相关内容。

例如，用户提问：

Python 入门课程主要包含哪些内容？

RAG 系统可以先搜索教程资料，找到相关段落，再让模型根据检索内容组织回答。

通常分为两个阶段：

• 索引阶段：加载文档、清洗、切分、生成向量并存储。
• 检索与生成阶段：接收问题、检索相关内容、组织上下文、调用模型生成回答。

需要注意，RAG 不等于简单的向量搜索。向量搜索负责寻找资料，而 RAG 还需要使用这些资料生成最终回答。

二、RAG 工作流程

一个典型的 RAG 系统包括以下环节：

【索引阶段】

原始文档（TXT、PDF、HTML）
           ↓
      DocumentLoader
           ↓
       TextSplitter
           ↓
       文档片段 Chunk
           ↓
      Embedding 模型
           ↓
       向量数据库 Chroma


【检索与生成阶段】

         用户问题
             ↓
       Embedding 模型
             ↓
       向量相似度检索
             ↓
       相关 Document
             ↓
     检索资料 + 用户问题
             ↓
         大语言模型
             ↓
        带来源的回答

整个流程涉及几个重要组件：

三、安装依赖与环境准备

本教程使用 LangChain 1.x、Chroma 和 DeepSeek。

安装依赖：

pip install -U langchain langchain-core langchain-deepseek langchain-openai langchain-chroma chromadb langchain-text-splitters langchain-community pypdf python-dotenv

主要依赖说明：

创建 .env 文件：

# DeepSeek 聊天模型
DEEPSEEK_API_KEY=your_deepseek_api_key

# 方式一：OpenAI Embedding
OPENAI_API_KEY=your_openai_api_key

# 方式二：阿里百炼 Embedding
DASHSCOPE_API_KEY=your_dashscope_api_key

其中 OpenAI 和阿里百炼 Embedding 只需要选择其中一种，不必同时配置两个 Key。

注意：DeepSeek 在本教程中主要用于生成最终回答，Embedding 使用单独的向量模型。聊天模型和 Embedding 模型不是同一回事。

四、什么是 Embedding？

Embedding（文本嵌入）可以将文本转换为一组浮点数，也就是向量。

例如：

Python 是一种编程语言
        ↓
Embedding 模型
        ↓
[0.012, -0.026, 0.031, ...]

语义相近的文本，生成的向量通常也会在向量空间中更接近。

例如：

如何学习 Python？

Python 初学者学习路线

怎样入门 Python 编程？

这些文本虽然用词不同，但语义有一定关联，因此可以利用向量检索寻找相似内容。

LangChain Embedding 接口主要提供两个方法：

注意：Embedding 向量本身不是可读的知识文本。向量数据库通常还需要关联原始文本和来源元数据，才能在检索后提供给模型使用。

五、方式一：使用 OpenAI Embedding

LangChain 通过 OpenAIEmbeddings 调用 OpenAI 文本嵌入模型。

这里使用 text-embedding-3-small，默认生成 1536 维向量。

实例：将文本转换成向量

成功时会得到类似：

原始文本： 菜鸟教程 RUNOOB 是一个编程学习平台
向量维度： 1536
前5个数值： [0.012, -0.004, 0.023, ...]

具体向量数值由模型返回，不同文本会产生不同结果。

实际代码中不应把展示用的示例向量当作真实输出。

六、方式二：使用阿里百炼 Embedding

如果不使用 OpenAI Embedding，也可以选择阿里云百炼提供的 text-embedding-v4。

百炼支持 OpenAI 兼容的 Embedding API，可以使用 langchain-openai 中的 OpenAIEmbeddings，指定对应的 API 地址。

该模型默认输出 1024 维向量，也可以根据服务支持情况指定其他维度。

需要关注两个兼容参数：

• check_embedding_ctx_length=False：避免使用 OpenAI 专用的 Token ID 预处理方式，向兼容接口传入文本字符串。
• chunk_size=10：限制每批请求中的文本数量，适配 text-embedding-v4 的批量输入上限。

实例：百炼 text-embedding-v4

使用默认维度时，通常输出：

原始文本： 菜鸟教程 RUNOOB 是一个编程学习平台
向量维度： 1024
前5个数值： [...]

这里使用北京地域的传统兼容地址。百炼也提供业务空间专属地址，生产环境建议根据 API Key 所属地域和业务空间使用对应的服务端点。

注意：chunk_size=10 限制的是每批 Embedding 请求的文本条数，不是每个文档片段的字符数，也不是 TextSplitter 的 chunk_size。

两种 Embedding 的选择

重要：创建知识库和检索知识库时，应使用同一套兼容的 Embedding 配置。不能随意将 OpenAI 的向量与百炼的向量混用，即使维度相同，也不代表向量空间兼容。

七、Document：LangChain 的文档对象

LangChain 使用 Document 表示一段文本及其元数据。

最常见的字段有：

• page_content：文档的文本内容。
• metadata：文档来源、分类、页码等附加信息。
• id：可选的文档标识。

实例：创建课程文档

相比只保存普通字符串，Document 的优点是可以将文本与来源信息关联起来。

后续生成 RAG 回答时，可以利用 metadata 展示参考文档。

八、DocumentLoader：加载真实文档

实际项目通常不会将知识内容手动写成字符串列表，而是直接读取 TXT、PDF、Markdown 或其他文档。

实例：读取 TXT 文件

这里会读取当前目录下的 python_tutorial.txt。

如果文件不存在，需要先创建对应文本文件。

实例：读取 PDF 文件

通常每一页 PDF 会产生一个 Document，并在 metadata 中保留页码等信息。

注意：PyPDFLoader 对可提取文本的 PDF 比较适合。对于扫描件、拍照合同或图片型 PDF，通常需要先通过 OCR 识别文字，不能假设 PDF Loader 能准确提取其中的全部内容。

九、TextSplitter：将长文档切分成 Chunk

直接把一本教程或一份几十页的 PDF 作为一个整体向量化，往往不利于检索具体知识点。

因此，RAG 通常需要先将文档切分成多个较小的片段，称为 Chunk。

LangChain 推荐使用 RecursiveCharacterTextSplitter 处理常规文本。

实例：切分文档

主要参数：

默认长度计算一般以字符为单位，而不是模型 Token 数量。

对于普通文档，可以先尝试：

chunk_size=800
chunk_overlap=150

之后根据文档结构、检索效果和模型上下文窗口调整。

注意：chunk_size 和 chunk_overlap 没有适合所有文档的固定最佳值。过小可能丢失上下文，过大则可能引入较多无关内容。

十、创建 Chroma 向量存储

Chroma 是一个适合 RAG 入门的向量数据库。

通过 langchain-chroma，可以使用统一的 VectorStore 接口添加和搜索文档。

下面继续使用前面创建的 embeddings。

实例：初始化 Chroma

其中：

• collection_name：集合名称。
• embedding_function：文本向量化模型。
• persist_directory：本地数据库保存目录。

指定 persist_directory 后，Chroma 可以将集合数据持久化到本地目录。

如果程序重新启动，可以使用相同的目录和集合名称重新连接。

十一、向向量数据库添加文档

可以使用 add_documents() 保存 Document，也可以使用 add_texts() 保存简单的文本列表。

对于实际 RAG 项目，建议使用 Document，因为它能够保留文档来源。

实例：添加课程知识

使用固定 ID 可以帮助应用识别文档，避免每次执行时都自动生成全新的随机 ID。

但正式知识库还需要设计文档更新、覆盖和删除规则。重复写入同一个 ID 的具体行为，应以所使用的向量数据库实现为准。

建议：不要把知识库初始化放在每次用户提问的代码中。索引建设和在线问答应当分开运行。

十二、使用 similarity_search() 语义搜索

向量数据库建立后，可以使用 similarity_search() 查询相关文档。

实例：查找 Python 教程

可能返回：

结果1： Python3 基础教程包含变量、数据类型、循环、函数等内容。
来源： python

结果2： HTML 基础教程包含标签、链接、图片、列表和表单。
来源： html

其中 k=2 表示最多返回两个相关结果。

结果通常按照向量相似性进行排序，但不能保证每次检索都能找到正确文档。

语义检索也不意味着完全不考虑关键词。Embedding 会根据文本整体内容形成向量，关键词本身也是语义信息的一部分。

查看相似度分数

如果需要观察检索距离，可以使用：

注意：不同向量数据库和距离配置对 score 的定义可能不同。Chroma 中常见的是距离值，不应统一把"越大"当作"越相关"。

十三、创建 Retriever 检索器

Retriever 是 LangChain 的统一文档检索接口。

可以通过向量数据库的 as_retriever() 方法创建。

实例：创建检索器

Retriever 的主要优点，是将底层数据库检索接口统一为：

retriever.invoke(query)

因此后续替换向量数据库时，RAG 应用的其他部分通常不需要完全重写。

常见检索方式

例如使用 MMR：

retriever = vector_store.as_retriever(
    search_type="mmr",
    search_kwargs={"k": 3, "fetch_k": 10}
)

MMR 适合避免多个检索结果内容过度相似，但不代表它在所有问题上都优于普通相似度搜索。

十四、完整 RAG：根据检索结果生成回答

前面已经完成文档存储和检索，接下来将检索结果交给 DeepSeek，生成真正的 RAG 回答。

这里采用最容易理解的 2-step RAG：

用户问题 → Retriever → 文档内容 → LLM → 回答

这种方式不要求模型自行决定是否搜索，而是每次提问都先执行检索。

实例：检索增强问答

可能得到：

根据参考资料，Python 基础教程包含变量、数据类型、循环和函数等知识。[资料1]

这里已经完成了 RAG 的核心闭环：

• 接收用户问题。
• 检索相关 Document。
• 构造包含来源的上下文。
• 调用大模型生成回答。

注意：提示词中的引用编号属于模型生成内容，不保证每条引用都准确对应事实。正式系统应保存检索结果，并检查引用是否确实支持回答。

十五、RAG Agent：将检索器包装成工具

前面的 2-step RAG 每次都会执行检索。

如果希望模型根据问题决定什么时候查询知识库，可以将 Retriever 包装成 Tool。

这类方式通常称为 Agentic RAG。

实例：知识库搜索工具

与 2-step RAG 不同，这里由 Agent 判断是否调用知识库工具。

但模型不一定每次都调用工具。

如果业务要求回答必须建立在知识库检索结果上，建议使用强制检索的 2-step RAG，或者使用确定性的 LangGraph 工作流。

十六、完整可运行示例：本地课程知识库

下面整合前面的操作，构建一个完整的 RAG 程序。

该程序完成：

• 初始化 Embedding 模型。
• 创建 Chroma 向量数据库。
• 建立模拟课程知识库。
• 检索相关课程内容。
• 调用 DeepSeek 生成回答。
• 展示检索来源。

文件名：rag_demo.py

下面默认使用阿里百炼 Embedding 和 DeepSeek 聊天模型。

可能的运行结果

问题： Python 基础教程主要学习哪些内容？

回答： 根据课程资料，主要包括变量、数据类型、运算符、条件判断、循环、函数和模块等知识。

参考来源：
[资料1] Python3 基础教程
[资料2] HTML 基础教程

这里的课程内容是为演示 RAG 创建的模拟资料，不代表对真实站点课程章节和收费信息的实时查询。

另外，检索结果的来源顺序由实际向量搜索决定，上述输出只是示意。

十七、如何避免重复建立向量索引？

生产环境应将文档索引和在线问答拆分为两个独立程序。

例如：

build_index.py
    ↓
读取文档、切分、向量化、保存 Chroma

chat.py
    ↓
连接已有 Chroma、执行检索、调用模型

这样每次用户提问时，不需要重复计算全部文档的 Embedding。

如果已有持久化集合，问答程序只需要：

需要注意，重新连接时必须使用原来的 Embedding 配置和相同的数据库目录。

如果更换向量模型或维度，通常应建立新的集合并重新生成文档向量，而不是直接混入已有集合。

十八、RAG 与微调有什么区别？

对于企业文档问答、编程教程搜索和知识库助手，通常可以先从 RAG 开始。

但 RAG 和微调不是互斥关系，复杂系统也可以同时使用。

十九、RAG 常见问题

1、RAG 必须使用向量数据库吗？

不是。RAG 的核心是先检索，再生成。检索可以基于关键词、全文搜索、向量或混合检索。

2、RAG 需要微调大模型吗？

通常不需要。外部知识可以通过检索上下文提供给模型。

3、DeepSeek 能直接生成 Embedding 吗？

本教程没有使用 DeepSeek Embedding 服务，而是使用 OpenAI 或阿里百炼的专用文本向量模型。

4、OpenAI Embedding 与百炼 Embedding 可以混用吗？

不建议。不同模型生成的向量空间通常不兼容，应统一索引和查询阶段的 Embedding 配置。

5、Chroma 是否需要额外部署服务器？

入门阶段不需要。使用本地 persist_directory 就可以保存向量数据。

6、为什么 similarity_search 返回了不相关内容？

向量搜索通常会返回最相近的候选结果，不代表这些结果一定足够相关。需要结合评分、阈值、文档分块和其他检索策略优化。

7、chunk_size 应该设置多少？

没有统一最佳值。常见做法是从几百到一千左右的字符长度测试，再根据实际文档结构调整。

8、为什么 PDF 无法提取文字？

如果 PDF 主要是扫描图片，可能需要 OCR 才能获取正文。

9、RAG 是否能完全消除幻觉？

不能。RAG 可以提供参考依据，但模型仍可能误读资料、引用错误或生成未经支持的结论。

10、Retriever 和 VectorStore 有什么区别？

VectorStore 是向量存储及检索系统；Retriever 是 LangChain 对检索能力提供的统一接口。

11、如何实现多轮 RAG 对话？

可以结合 Checkpointer 保存对话状态，并根据当前问题和历史上下文进行查询改写或检索。

12、如何防止用户检索到其他用户的文档？

必须在检索前使用可信用户身份、权限过滤和数据隔离，不能只依赖 Prompt 提示模型不要泄露资料。

二十、生产环境注意事项

RAG 系统不仅要考虑检索效果，还需要保证数据正确性和安全性。

• 知识库权限：文档检索必须根据用户身份过滤可访问内容，不能把所有私有文档混在一个不受控的公共集合中。
• 来源引用：保留文档 ID、来源地址、页码和版本信息，方便核对答案。
• 索引更新：文档修改或删除后，应同步更新向量数据库。
• 防止重复：为文档片段设计稳定 ID，避免重复索引导致成本和检索噪声增加。
• 上下文限制：不要将大量无关文档全部交给模型，应控制检索数量和文本长度。
• 提示词注入：检索到的文档可能包含恶意指令，应将其作为不可信数据处理。
• 效果评估：分别测试检索召回率、回答正确性、引用准确性和无答案场景。

对于涉及合同、财务或其他高风险业务的文档，还需要更严格的解析、访问控制和人工复核机制。

总结

RAG 是让大语言模型利用外部知识的重要技术。

本章节介绍了完整的 RAG 流程：

• DocumentLoader：加载原始文档。
• TextSplitter：将文档分成 Chunk。
• Embedding：将文本转换为向量。
• Chroma：保存与检索文档向量。
• similarity_search()：进行语义搜索。
• Retriever：统一文档检索接口。
• 2-step RAG：先检索，再调用模型回答。
• Agentic RAG：由 Agent 决定是否调用知识库工具。

可以简单记住：

文档 → 切分 → Embedding → 向量数据库

用户问题 → Retriever → 相关资料 → LLM → 回答

对于 LangChain 1.x，推荐优先掌握 Document、TextSplitter、Embedding、VectorStore 和 Retriever 的组合，再进一步学习基于 Agent 的 RAG。

核心原则：RAG 不只是让模型"找到内容"，而是让模型根据可检索、可验证、有权限控制的外部资料生成回答。检索质量、资料质量和生成约束共同决定最终效果。