- 胎教级教程：万字长文带你理解RAG全流程
- 写在前面
- 案例先行
- 网易的QAnything
- Claude的Projects
- 业务背景
- 一、初识大模型
- 知识“过期”的困扰
- 大模型的“异想天开”
- 专业知识的局限
- 总结
- 二、大模型的构建过程
- 1. 收集海量数据
- 2. 预处理数据
- 3. 设计模型架构
- 4. 训练模型
- 5. 调整和优化
- 6. 评估和测试
- 三、AI模型的优化过程
- 提示词工程：巧妙地"问"出好答案
- 微调：让AI成为"专家"
- 知识库：AI的"活字典"
- 四、从AI搜索引出RAG
- 五、RAG全貌概览
- 六、构建知识库各个流程的What与Why
- 文档解析
- 文档预处理
- 文本清洗
- 文档分块
- 为什么要进行文档分块
- 文档分块需要考虑的因素
- 索引构建和数据入库
- 为什么需要索引构建
- 向量化（Embedding）
- 向量数据库
胎教级教程：万字长文带你理解RAG全流程
胎教级教程：万字长文带你理解RAG全流程
2024年11月28日修改
写在前面
这篇文章不是一篇面向RAG研究者的技术向文章，而是面向普通人的RAG科普。
这篇文章一共1.6万字，我为什么要花费大的心力写这篇文章呢？
因为在当前AI技术的发展中，工作流和RAG已成为核心应用。
RAG不仅是一项真正落地的AI技术，而且其衍生产品不仅服务于企业，更能为个人效率带来显著提升。
然而，任何技术都有其局限性。许多人初次接触RAG时兴致勃勃，但实际使用后却失望而归。
这并非RAG技术不够强大，而是因为期望过高。
因此，我希望通过全面详细地阐述RAG的完整流程，让你对这项技术有更全面的认知。
这样，在使用RAG相关产品时，可以更好地理解其能力边界，从而充分发挥其潜力
在开始花费你的时间看这篇长文之前，我希望先管理好你的预期
•
这是一篇关于RAG的科普性文章，我会用我一贯的文风（通俗易懂）给小白讲清楚RAG的各个环节
•
严格来讲，这不是一篇技术向文章，为了让更多人可以听懂，我隐去了一些不重要的技术细节和术语
•
本文适合任何人，不包括但不限于：AI爱好者 / 为企业寻找知识库解决方案的老板 / AI产品经理 等
•
读完本文，我希望你在使用任何知识库工具的时候，对每一步操作都是清晰的，做到知其然，知其所以然
废话不多说，我们开始！
案例先行
由于这是一篇教学文档，为了吸引你，我想先上两个案例
网易的QAnything
我们直接上视频