LLM（廿一）：从 RAG 到 Self-RAG —— LLM 的知识增强​

2024年8月20日修改
​
作者：紫气东来​
原文：https://zhuanlan.zhihu.com/p/661465330​
​
一、 RAG 及其必要性​
1.1 初识 RAG​
RAG（Retrieval Augmented Generation, 检索增强生成），即 LLM 在回答问题或生成文本时，先会从大量文档中检索出相关的信息，然后基于这些信息生成回答或文本，从而提高预测质量。RAG 方法使得开发者不必为每一个特定的任务重新训练整个大模型，只需要外挂上知识库，即可为模型提供额外的信息输入，提高其回答的准确性。RAG模型尤其适合知识密集型的任务。​
​
附件不支持打印

加载失败，

​
在 LLM 已经具备了较强能力的基础上，仍然需要 RAG ，主要有以下几点原因：​
•
幻觉问题 ：LLM 文本生成的底层原理是基于概率的 token by token 的形式，因此会不可避免地产生“一本正经的胡说八道”的情况。​
•
时效性问题 ：LLM 的规模越大，大模型训练的成本越高，周期也就越长。那么具有时效性的数据也就无法参与训练，所以也就无法直接回答时效性相关的问题，例如“帮我推荐几部热映的电影？”。​
•
数据安全问题 ：通用的 LLM 没有企业内部数据和用户数据，那么企业想要在保证安全的前提下使用 LLM，最好的方式就是把数据全部放在本地，企业数据的业务计算全部在本地完成。而在线的大模型仅仅完成一个归纳的功能。​
1.2 RAG V.S. SFT​