奇绩大模型日报（7月 13-14日）
输入“/”快速插入内容
奇绩大模型日报（7月 13-14日）
奇绩大模型日报（7月 13-14日）
2024年7月14日修改
资讯
OpenAI新模型「草莓」曝光：强推理/长任务规划/超大规模训练！还给出AGI分级
OpenAI最新绝密项目曝光！知情人士透露，OpenAI正在开发一个名为“草莓（Strawberry）”的新模型，它的前身是Q*。其工作机制在内部被严格保密，且细节从未被外界报道过。消息称，“草莓”模型不仅在超大规模数据集上完成预训练，并且采用了一种特殊的方法。
OpenAI Lilian Weng万字长文解读LLM幻觉：从理解到克服
人会有幻觉，大型语言模型也会有幻觉。近日，OpenAI 安全系统团队负责人 Lilian Weng 更新了博客，介绍了近年来在理解、检测和克服 LLM 幻觉方面的诸多研究成果。
英伟达又赚到了！FlashAttention3来了：H100利用率飙升至75%
随着大型语言模型（LLM）加速落地，扩展模型上下文窗口变得越来越重要。然而，Transformer 架构的核心 —— 注意力层的时间复杂度和空间复杂度与输入序列长度的平方成正比。这使得扩展模型上下文窗口存在挑战。2022 年，一种快速、内存高效的注意力算法 ——FlashAttention 问世，该算法无需任何近似即可加速注意力并减少内存占用。FlashAttention 对注意力计算进行重新排序的算法，并利用 tiling 和重计算来显著加快计算速度，将内存使用量从序列长度的二次减少到线性。2023 年，研究团队宣布推出 FlashAttention-2，在算法、并行化和工作分区等方面有了显著改进。现在，来自 Meta、英伟达、Together AI 等机构的研究者宣布推出 FlashAttention-3，它采用了加速 Hopper GPU 注意力的三种主要技术：
•
通过 warp-specialization 重叠整体计算和数据移动；
•
交错分块 matmul 和 softmax 运算；
•
利用硬件支持 FP8 低精度的不连贯处理。
FlashAttention-3 的速度是 FlashAttention-2 的 1.5-2.0 倍，高达 740 TFLOPS，即 H100 理论最大 FLOPS 利用率为 75%。使用 FP8，FlashAttention-3 的速度更是接近 1.2 PFLOPS。
豆包大模型团队发布全新Detail Image Caption评估基准，提升VLM Caption评测可靠性
当前的视觉语言模型（VLM）主要通过 QA 问答形式进行性能评测，而缺乏对模型基础理解能力的评测，例如 detail image caption 性能的可靠评测手段。针对这一问题，中科院、北大和字节豆包大模型团队发布了 DetailCaps-4870 数据集，并提出了一种有效的评估指标 CAPTURE，取得了开源评估指标中最高的专家评价一致性，并低成本实现了与 GPT-Eval 可比的效果。
OpenAI 首位投资人 Vinod Khosla 最新福布斯对谈：中美技术经济战，赢得 AI 将会拥有巨大经济影响力
近日，硅谷著名投资人和企业家 Vinod Khosla 与《福布斯》高级编辑 Alex Konrad 探讨了多个热点话题，特别是 AI 在未来社会中的变革性影响。
布局 IPU！继 Arm 翻盘之后，软银孙正义又收购一家英国 AI 芯片公司 Graphcore