VoltIQ Docs

高级RAG架构

10 min read

级 RAG 架构

随着 检索增强生成 RAG 技术的发展，研究者和工程师们提出了许多高级架构和优化策略，以解决基础 RAG 的局限性并提升系统性能。本文档详细介绍这些前沿的 RAG 架构模式和技术。

1. RAG 架构演进

1.1 Naive RAG（基础 RAG）

最简单的 RAG 实现，包含三个步骤：

  • 索引：文档切分 → 向量化 → 存储
  • 检索：查询向量化 → 相似度搜索
  • 生成：将检索结果与查询拼接后输入 LLM

局限性：

  • 检索精度受限于嵌入模型质量
  • 缺乏查询优化机制
  • 无法处理复杂的多跳推理

1.2 Advanced RAG（高级 RAG）

在基础 RAG 上增加了优化模块：

预检索优化：

  • 查询改写 (Query Rewriting)：使用 LLM 将用户查询改写为更适合检索的形式
  • 查询扩展 (Query Expansion)：添加同义词或相关术语扩大检索范围
  • 查询分解 (Query Decomposition)：将复杂查询拆分为多个子查询

后检索优化：

  • 重排序 (Reranking)：使用交叉编码器对初步检索结果重新排序
  • 上下文压缩 (Context Compression)：提取检索文档中最相关的片段
  • 结果融合 (Result Fusion)：合并多个检索策略的结果

1.3 Modular RAG（模块化 RAG）

将 RAG 系统分解为可组合的模块，实现更灵活的架构：

  • 支持多种检索器和生成器的组合
  • 可以根据任务动态调整流程
  • 便于 A/B 测试和性能优化

2. 前沿 RAG 技术

2.1 自适应检索 (Adaptive Retrieval)

系统智能决定何时需要检索外部知识：

FLARE (Forward-Looking Active REtrieval)
├── 生成过程中监测不确定性
├── 当置信度低时触发检索
└── 动态更新生成上下文

实现方法：

  • 基于困惑度 (Perplexity) 的触发机制
  • 基于注意力权重的不确定性估计
  • 使用专门的分类器判断是否需要检索

2.2 迭代检索 (Iterative Retrieval)

通过多轮检索逐步精化答案：

ITER-RETGEN 流程：
1. 初始检索 → 生成初步答案
2. 基于初步答案生成新查询
3. 二次检索 → 补充信息
4. 生成最终答案

应用场景：

  • 多跳问答 (Multi-hop QA)
  • 需要综合多个信息源的复杂任务
  • 答案需要逐步推理的场景

2.3 递归检索 (Recursive Retrieval)

处理层次化和结构化的文档：

树形检索策略：

文档树
├── 章节摘要
│   ├── 段落摘要
│   │   └── 具体内容
│   └── 表格/图表
└── 索引/目录

实现要点：

  • 先检索高层摘要定位相关章节
  • 递归深入到具体内容
  • 保持上下文的层次关系

2.4 多模态 RAG

扩展到文本之外的模态：

支持的模态：

  • 图像：使用 CLIP 等模型进行图文匹配
  • 表格：结构化数据的专门处理
  • 代码：语法感知的代码检索
  • 音视频：通过转写或特征提取支持检索

统一表示学习：

  • 将不同模态映射到同一向量空间
  • 支持跨模态检索（如用文本搜图片）

3. RAG 优化策略

3.1 查询优化技术

HyDE (Hypothetical Document Embeddings)：

  • 让 LLM 生成假设性答案
  • 使用假设答案的向量进行检索
  • 适合答案比问题更接近文档的场景

Step-back Prompting：

  • 生成更抽象的”后退”问题
  • 同时检索具体和抽象层面的信息
  • 提升对概念性问题的处理能力

3.2 文档优化技术

文档增强：

  • 为每个文档块生成假设性问题
  • 添加文档摘要和关键词
  • 创建文档间的链接关系

知识图谱集成：

  • 构建文档的知识图谱
  • 结合图检索和向量检索
  • 支持实体关系的推理

3.3 上下文管理

上下文窗口优化：

  • 动态调整检索文档数量
  • 根据相关性分配上下文空间
  • 使用摘要技术压缩低相关内容

长上下文处理：

  • 分段处理超长文档
  • 使用滑动窗口保持连贯性
  • 关键信息的位置感知（避免”迷失在中间”）

4. 混合检索架构

4.1 稀疏-密集混合

结合传统关键词检索和向量检索：

# 伪代码示例
sparse_results = bm25_search(query)  # BM25 关键词检索
dense_results = vector_search(query)  # 向量相似度检索
final_results = reciprocal_rank_fusion(sparse_results, dense_results)

优势：

  • 精确匹配 + 语义理解
  • 提升对专业术语的处理
  • 更好的召回率

4.2 多向量表示

为每个文档生成多个向量：

ColBERT 方法：

  • 文档的每个 token 都有独立向量
  • 查询时计算 MaxSim 匹配分数
  • 细粒度的语义匹配

多视角编码：

  • 使用不同编码器生成向量
  • 捕捉文档的不同语义侧面
  • 通过集成提升鲁棒性

5. 生成优化技术

5.1 Chain-of-Thought RAG

将思维链推理与 RAG 结合：

用户查询 → 检索相关信息
    ↓
生成推理步骤：
1. "根据文档A，我们知道..."
2. "结合文档B的信息..."
3. "因此可以推断..."
    ↓
最终答案

5.2 Self-RAG

模型自我反思和改进：

核心机制：

  • 生成时预测特殊标记（如 [Retrieval], [Relevant]）
  • 自动判断是否需要检索
  • 评估检索内容的相关性
  • 验证生成内容的准确性

5.3 Corrective RAG (CRAG)

自动纠正检索错误：

工作流程：

  1. 评估检索文档的相关性
  2. 如果相关性低，触发知识补充：
    • Web 搜索
    • 知识库扩展查询
  3. 知识精炼和噪声过滤
  4. 基于净化后的知识生成答案

6. RAG 系统设计模式

6.1 Agent-based RAG

将 RAG 集成到智能代理框架：

RAG Agent
├── 规划器：分解任务，制定检索策略
├── 执行器：调用检索和生成模块
├── 记忆：存储会话历史和检索结果
└── 工具：集成外部 API 和数据库

6.2 Active Learning RAG

持续学习和改进：

  • 收集用户反馈
  • 识别检索失败案例
  • 优化嵌入模型和检索策略
  • 更新文档索引

6.3 Federated RAG

分布式知识库架构：

  • 多个独立的 RAG 实例
  • 查询路由和结果聚合
  • 隐私保护的知识共享
  • 适合企业多部门场景

7. 实施建议

7.1 架构选择原则

  1. 从简单开始：先实现基础 RAG，逐步添加高级特性
  2. 基于数据特点：根据文档类型选择合适的处理策略
  3. 考虑成本效益：平衡性能提升和计算成本
  4. 可观测性设计：预留监控和调试接口

7.2 性能优化清单

  • 实施查询缓存机制
  • 使用异步并发检索
  • 优化向量索引参数
  • 实现结果预取策略
  • 部署边缘缓存节点

7.3 质量保障措施

  • 建立评估基准和测试集
  • 实施 A/B 测试框架
  • 监控关键质量指标
  • 定期审查失败案例
  • 持续更新知识库

高级 RAG 架构代表了检索增强生成技术的最新发展方向，通过灵活组合各种优化技术，可以构建出适应不同场景需求的高性能 RAG 系统。

链接

Graph View

Backlinks