加载失败,

奇绩大模型日报(6月 13日)

2024年6月13日修改
资讯
IDC最新报告,7大维度11家大模型厂商比拼,唯一全优是谁?
如果考试题太简单,学渣也能拿一百昏。在 AI 圈,我们应该拿怎样的「试卷」来检验一直处于流量 C 位的大模型的真实水平?是高考题吗?当然不是!也有些人认为,在各种 Benchmark 榜单上,谁排第一谁最强。其实并非如此,有时候,越「权威」的榜单就越容易被策略性刷榜。因此,模型的「强」不能只是在某个 Benchmark 上排名第一,而是要在多个维度上都很能打。近日,全球领先的国际数据公司(IDC) 最新发布的大模型实测报告《中国大模型市场主流产品评估,2024》从基础能力到应用能力 7 大维度对 11 家大模型厂商的 16 款市场主流产品进行实测。报告显示,百度文心大模型整体竞争力位于领先水平,产品能力处于第一梯队,是唯一一家在 7 大维度上均为优势厂商的企业。文心一言、文心一格在问答理解类、推理类、创作表达类、数学类、代码类等基础能力,toC 通用场景类、toB 特定行业类等应用能力等 7 大维度均具备领先优势。其他评测厂商中,阿里获 6 项优势维度,OpenAI GPT-4 和商汤分获 5 项。
50%
附件不支持打印
飞书文档 - 图片
50%