输入“/”快速插入内容

Kimi+Langchain+FastGPT:文档转LLM微调数据集 / QA问答对生成、Kimi 128KAPI免费接入!

2024年8月29日修改
作者:Aitrainee | AI进修生
Hi,这里是Aitrainee,欢迎阅读本期新文章。
今天我将介绍:如何使用 Kimi API 将文档转换为LLM指令监督微调数据集(Alpaca 格式)以及 如何部署FastGPT并接入Kimi API
我会使用两种方式来完成QA问答对生成这个需求,第一种是使用 Langchain 这个框架编码实现,第二种是将 Kimi API接入FastGPT 中,再利用他的“文档问答”功能实现。
实际上,我曾使用Coze很长一段时间,并且在这个平台上我经常使用的基础模型就是 Kimi-128k ,我使用它构建知识库、生成长文本内容、解读我的本地文档... ...
我喜欢Kimi,除了它 聊天客户端 的各种强大的功能以外,它的API能进行更强大的超长文本、 多文档的深度理解任务 ,且收费标准非常低廉。
最近一段时间我在使用FastGPT这个项目,这个项目需要我们自己借助One-API去接入其他第三方模型,我想要接入Kimi, 就像在Coze平台上使用它一样~
一、使用Kimi+Langchain生成QA问答对
1、我们首先导入依赖包
主要包括一些结构化的处理库,还有langchain的依赖库。