用llama3打造光速响应的RAG Chatbot​

作者：lucas大叔​
原文： https://zhuanlan.zhihu.com/p/700525...​
​
本示例不仅展示如何构建高级的RAG 索引/查询 pipeline，而且还传授如何将其转化为具有快速响应的 全栈 应用。​
1.
通过句子拆分、标题提取和Gemini embedding定义索引 pipeline​
2.
定义以Groq为LLM和聊天引擎查询的 pipeline 维护对话历史​
3.
使用chainlit构建整洁的全栈应用​
​
​
准备工作​
​
附件不支持打印
​
现在我们开始研究如何基于LlamaIndex实现RAG，首先安装 llama-index ：​
​
​
安装完成后导入必要的包​
​
​
数据摄入​
构建RAG pipeline的第一步是加载数据，可以是PDF、文本、代码或Markdown文件，SQL数据库，或者我们希望加载的任何其他格式。LlamaIndex提供了一系列的数据加载器，无论是本地文件存储还是Google Drive或MongoDB等外部存储。​
​
​
SimpleDirectoryReader 模块允许从本地系统加载跨格式的文件/文件夹。​
参数 ：​