奇绩大模型日报（10月 19-20日）
输入“/”快速插入内容
奇绩大模型日报（10月 19-20日）
奇绩大模型日报（10月 19-20日）
2024年10月31日修改
🔉潜空间活动报名
🍰
本期活动将在11月9日 10:00开始，我们邀请到的嘉宾是鱼哲，Lepton AI 创始成员，曾在阿里云担任高性能 AI 平台产品负责人，专注于 AI 在多个行业的落地及应用。Lepton AI 致力于建立高效可用的AI 基础设施，让团队更关注于应用构建及落地。在本次分享中鱼哲将带来关于AI产品相关的思考，分享主题《Beyond Infra, what matters?—— 不同AI产品形态对团队的挑战》。
除嘉宾分享外，每期设置了【匹配合伙人 Cofounder Matching】环节。你可以和 GenAI 时代最有活力的创业者和研究者线下面对面交流，将有机会找到志同道合、有共同创业梦想的小伙伴。
报名通道已开启，欢迎扫描下方二维码报名。
资讯
OpenAI可能摆脱与微软协议的惊人方式
《纽约时报》近日发布了一篇关于OpenAI与其投资者、合作伙伴以及日益成为竞争对手的微软之间“关系恶化”的报道。文章指出，OpenAI与微软之间长达五年的合作关系因财务压力、微软提供给OpenAI的有限计算能力以及双方关于合作规则的分歧而变得紧张。
最引人注目的是报道中提到，OpenAI与微软的合同中包含一项条款：如果OpenAI开发出所谓的通用人工智能（AGI），即能够媲美人类思维的AI系统，微软将失去对OpenAI技术的访问权限。据报道，这项条款旨在确保微软无法滥用这项技术，而何时认为AGI已经实现则由OpenAI董事会决定。OpenAI CEO Sam Altman早前曾表示，AGI的到来将是一个渐进的、模糊的过程，具体时间点并不容易确定。
这项条款让OpenAI拥有对未来技术发展的掌控权，并可能成为其摆脱与微软长期绑定关系的一种方式。
陶哲轩：纳维-斯托克斯方程或已不再是流体的良好模型
在最近的采访中，陶哲轩谈到了AI在数学领域的未来。他表示，AI可能在两到三年内超越人类，特别是在数学竞赛中表现更佳。然而，他强调，虽然AI能在预设问题的竞赛中取得优异成绩，但在需要长期创造性的数学研究中，AI仍远远无法替代人类。研究中的创造性和丰富的经验是AI目前所不具备的。
对于谷歌DeepMind的AlphaProof和AlphaGeometry系统，陶哲轩肯定了它们在模拟数学竞赛中的表现，但指出这些系统并不是在标准竞赛条件下运行的。它们有更多时间解题，并且得到了人类的帮助，而人类选手需要在规定时间内独立解决所有问题。
陶哲轩还谈到了当前AI模型的局限性，特别是它们在从少量数据中学习的能力方面存在不足。他认为，若能突破这一限制，AI或许可以在创造性任务中更进一步。他同时呼吁加强对AI的监管，尤其是考虑到像埃隆·马斯克这样的富豪掌控着AI的开发。他认为，关键技术不应被少数公司垄断，开源替代方案将变得越来越重要。
在关于纳维-斯托克斯方程的讨论中，陶哲轩解释了数学上可能存在的“爆炸”现象，指出虽然这种“爆炸”在模型中可能发生，但在现实世界中并不会导致实际的灾难性后果。最终，他对AI的发展表示谨慎乐观，认为AI缺乏创造性领域中至关重要的“失败经验”，这使得它只能解决已有大量数据的问题。
又快又准，清华8比特量化Attention
清华大学计算机系的陈键飞团队提出了一种8位量化的Attention机制，称为SageAttention，旨在解决大模型中注意力模块的计算瓶颈问题。当前线性层的低比特量化已经成熟，但注意力模块仍然依赖高精度运算（如FP16、FP32），尤其在处理长序列时，Attention计算的时间开销成为主要障碍。SageAttention通过8位量化技术实现了即插即用的加速效果，并在多个任务（视频、图像、文本生成）上实现了2到2.7倍的推理加速，同时保持端到端精度不变。
1.
K矩阵平滑处理：针对矩阵K在生成模型中的异常分布，SageAttention通过减去均值来消除异常值，保证了量化的精度，同时对计算速度影响极小（约0.2%）。
2.
Q、K分块INT8量化：采用分块量化策略，将矩阵Q、K进行INT8量化，这不仅提高了精度，而且在硬件如RTX4090上，INT8的矩阵乘法速度是FP8的两倍。
3.
P、V矩阵FP16累加器：为避免精度损失，矩阵P、V保持FP16数据类型，并使用FP16累加器进行矩阵乘法，确保在精度和速度之间的平衡。
实验表明，SageAttention在不同的模型和任务上，相比于FlashAttention2和xformers有显著的推理加速，同时在多个生成任务上保持了精度。SageAttention实现了一种高效、精确的低比特Attention机制，特别适合处理长序列任务。