质朴发言：大模型未来发展：RAG vs 长文本，谁更胜一筹？｜Z 沙龙第 8 期
输入“/”快速插入内容
质朴发言：大模型未来发展：RAG vs 长文本，谁更胜一筹？｜Z 沙龙第 8 期
质朴发言：大模型未来发展：RAG vs 长文本，谁更胜一筹？｜Z 沙龙第 8 期
2024年4月9日修改
来源：质朴发言
发文时间：2024.03.25
编者按：当前，AIGC的迭代速度正以指数级的速度增长。2024 年 2 月，谷歌发布的 Gemini 1.5 Pro；
再次将上下文刷新为 100 万 token，创下了最长上下文窗口的纪录，相当于 1 小时的视频或者 70 万个单词。
由于 Gemini 在处理长上下文方面表现出色，甚至有人高喊“RAG 已死”。爱丁堡大学博士付尧表示：“一个拥有 1000 万 token 上下文窗口的大模型击败了 RAG。
大语言模型已经是非常强大的检索器，那么为什么还要花时间构建一个弱小的检索器，并将时间花在解决分块、嵌入和索引问题上呢？”
随着模型上下文长度的提升，一个问题逐渐显现：RAG技术是否会被取代？由此，我们在 3 月 9 日举办了 Z 沙龙第八期：Long-context & RAG。
我们邀请了产业界和学术界的朋友们共同碰撞思想，交流观点；他们分享了关于于 Long-context 和 RAG 的看法，并对 Context length 是否存在摩尔定律展开了精彩讨论。
同时，投资人与产业从业者也分享了 Long-context 及 RAG 如何赋能 AI 应用。对于研究人员与大模型从业者关心的点，罗列如下，方便大家结合目录使用：
•
Long-context 将取代 RAG（2.2）
•
Context length 存在摩尔定律（3.1）
•
大海捞针是否是长文本测试唯一的标准（4.3）
•
Long-context 与 RAG 未来的发展趋势（5.5）
🚅
目录 建议结合要点进行针对性阅读。👇
一、长文本 & RAG 发展近况
1、长文本发展近况
2、RAG 发展近况
二、RAG vs 长文本，谁更胜一筹？
1、观点一：RAG 与长文本各有所长
2、观点二：长文本将取代 RAG
3、观点三：RAG 和长文本分工已经明确，不存在争议空间
4、观点四：长文本和 RAG 需要结合
5、观点五：RAG 是大模型发展的中间态，短期内长文本无法替代 RAG
三、Context length是否存在摩尔定律？
1、观点一：存在
2、观点二：不存在
3、观点三：不确定
四、模型层：大模型如何优化？如何有效对大模型测试？
1、模型优化——优化数据质量
2、模型优化——节省计算资源
3、模型测试——大海捞针是否是唯一？
五、长文本及 RAG 在大模型场景落地时的角色
1、投资人的看法
2、情感陪伴
3、教育产品
4、医疗领域
5、未来发展趋势
#一、长文本 & RAG 发展近况
1、长文本发展近况
随着大模型上下文窗口长度不断增加，各个厂商对于文本生成模型呈现出“军备竞赛”的态势。
目前，主流的文本生成模型是聊天模型，比如GPT、Claude 3 等，也有少部分 Base 模型，例如 Yi-34 开源模型。
两位技术研究人员分享了他们对于大模型的看法：
•
用户使用最多的是 GPT，但对外开放的版本性能较差，用户交互端无法传输大文件，只能通过 API 接口上传。
•
月之暗面的 Kimi 模型大海捞针测试分数很高，但实际使用效果没有达到理想状态。
•
百川 192K 的闭源模型，对于 6 万字的长文本，其表现的推理能力和回答效果很优秀。
•
各种长文本的跑分数据，最高的是 Claude 3 模型。