- DeepMind | 在生成的过程中进行检索：一种有潜力完全替代RAG的思路"RICHES"
- 一、概述
- 1 Motivation
- 2 Methods
- 1 RICHES 的工作流程
- 2 详细方法和步骤
- 3 Few-shot prompt（QA的提示词）
- 1 single-hop QA
- 2 multi-hop QA
- 4 特点总结
- 5 索引构建策略对比
- 4 QA
- Q1：如何选择合适的索引策略？ ：
- Q2：基于命题索引究竟是什么，怎么来的？
- 5 Conclusion
- 二、详细内容
- 1 实验设置
- 2 RICHES在单跳开放式问答任务上效果不错
- 3 RICHES能自主思考迭代检索优化回答效果
- 4 命题索引 **(Proposition)**更适合 RICHES 的解码搜索策略
- 5 RICHES 在不同数据集上的整体性能
- 6 消融实验
- 1 Beam size越大效果越好
- 2 自适应Beam Size可以让constrained retrievals效果发挥更好
- 三、总结
DeepMind | 在生成的过程中进行检索：一种有潜力完全替代RAG的思路"RICHES"
DeepMind | 在生成的过程中进行检索：一种有潜力完全替代RAG的思路"RICHES"
2024年8月28日修改
作者：NLP PaperWeekly
附件不支持打印
大家好，我是HxShine
今天分享一篇 Google DeepMind 公司的一篇文章，Title: From RAG to RICHES: Retrieval Interlaced with Sequence Generation：从 RAG 到 RICHES：在生成过程中完成检索。
这篇文章提出了一种新的方法 RICHES ，它 将检索RAG与生成完全结合在一块。RICHES 消除了对单独构建RAG系统再结合LLM进行生成的模式，为传统的 RAG 系统提供了一种替代方案。 它 通过直接解码其内容来检索文档 ，并受到语料库的约束。 RICHES允许我们仅通过提示即可适应各种新任务。 RICHES 可以与任何指令微调模型一起使用，而 无需额外的训练。它提供属性证据，支持多跳检索，并在单个 LLM 解码过程中交织思维以规划下一步要检索的内容。 实验表明RICHES 在 ODQA 任务（包括属性和多跳 QA）中都有非常好的性能。
RICHES是 非常有潜力能替代RAG 的一种方案，他能做到 在生成的过程中完成检索，并且能做到边检索，边思考，边纠错，能解决复杂的多步推理问题 。后续 RICHES或许能成为LLM接入外部知识的一种新方案 。同时其对检索数据的构建方法也有了更高的要求，需要在decode上做额外的设计，也增加了其使用难度。
一、概述
•
• Title: From RAG to RICHES: Retrieval Interlaced with Sequence Generation
•
•
• Authors: Palak Jain, Livio Baldini Soares, Tom Kwiatkowski
•
• Institution: Google DeepMind
1 Motivation
•
• 当前的 RAG 系统 需要将检索和生成分开，导致多系统流水线复杂且难以训练。
•
• LLMs 容易产生幻觉，无法及时引入新内容，无法解释新鲜的、在训练时无法获得的知识。