大模型存在知识截止、幻觉等问题。RAG(检索增强生成)通过在生成前先检索相关知识,让 AI 的回答有据可依。
RAG 的基本原理
简单说就是:”先查资料,再作答”。用户提问时,系统先从知识库中检索相关文档片段,把它们和用户问题一起交给大模型生成答案。
完整流程
- 文档切分:将长文档切成合适大小的块(Chunk)。
- 向量化:用 Embedding 模型把文本转成向量。
- 存储索引:存入向量数据库(如 Milvus、Pinecone、Chroma)。
- 检索:用户问题向量化后,找出最相似的文档块。
- 生成:把检索结果作为上下文,让 LLM 生成答案。
关键优化点
Chunk 大小:通常 500-1000 tokens,重叠 10-20%
检索策略:向量检索 + 关键词检索混合(Hybrid Search)
重排序:用 Rerank 模型对结果二次排序
Prompt:明确要求"仅基于给定上下文回答"
常见坑
文档质量差、切分不合理、检索召回率低……都会影响最终效果。RAG 的上限取决于检索质量,这一点怎么强调都不为过。
RAG 不是万能的,但它是目前让 AI 可靠回答专业问题的最实用方案。