输入“/”快速插入内容

大模型+知识库/数据库问答实践过程的经验汇总

2024年8月19日修改
作者:悟乙己
本篇是沿着 【 悟乙己:想自己利用OpenAI做一个文档问答的话...... 】 知识库往后,目前很多大模型会用在知识库问答上,同时借助Text-to-SQL 也可以检索数据库进行回复( 悟乙己:大模型与数据科学:从Text-to-SQL 开始(一) )。知识库检索与数据库检索,会是之后大模型应用的标配,所以相应的实践过程中会遇到不一样的问题。
笔者随便画一个草图,在这个过程中,有几个环节可以应用到大模型:
query意图识别+意图补充+意图修复
Text-to-SQL
文本总结
那么这三个环节前面两个应该问题多
最后一个环节通过召回的文本,大模型可以用来做summary以及结果的核验。
1 query 意图识别+意图补充+意图修复 环节
在之前【 悟乙己:想自己利用OpenAI做一个文档问答的话...... 】的一些文档问答里面,非常粗暴,query直接通过一些句向量去查询,实际应用中对精准度要求高的话,基本不奏效。
所以,这个环节就需要跟chatbot一样进行意图识别。
1.1 意图识别方式一:多关键词/主题词提取与检索
【关键词/主题词提取 + 基于多个关键词向量搜索】
关键词/主题词提取:传统的 成分句法分析 模型,具体方案如下: