奇绩大模型日报（5月 18-19日）
输入“/”快速插入内容
奇绩大模型日报（5月 18-19日）
奇绩大模型日报（5月 18-19日）
2024年5月19日修改
资讯
OpenAI解散Ilya重要团队，前高管怒斥，宫斗第二季
本周，OpenAI 联合创始人、首席科学家 Ilya Sutskever官宣离职，与 Ilya 同步宣布离开的，还有超级对齐团队的共同领导者 Jan Leike。Ilya 与 Jan 是 OpenAI 超级对齐团队的领导者，该团队的任务是确保人工智能与其制造者的目标保持一致，而不是做出不可预测的行为并伤害人类。另据《连线》等媒体报道，随着最近两位高管离职，OpenAI 的超级对齐团队已被解散。本周五，Jan Leike 在 X 发布了一系列帖子，怒斥 OpenAI 及其领导层忽视「安全」而偏爱「光鲜亮丽的产品」。
OpenAI CEO下场回应「封口协议」，争议还是到了股权利益上，奥特曼：我的锅
自从 Ilya 和 超级对齐负责人 Jan 离职后，OpenAI 内部还是心散了，后续也有越来越多的人离职，同时也引发了更多的矛盾。昨天，争议的焦点来到了一份严格的「封口协议」。OpenAI 前员工 Kelsey Piper 爆料，任何员工的入职文件说明中都包含一项：「在离开公司的六十天内，你必须签署一份包含『一般豁免』的离职文件。如果你没有在 60 天内完成，你的股权获益将被取消。」这份引发风浪的文件截图，让 OpenAI CEO 迅速下场回应：「我们从未收回任何人的既得权益，如果人们不签署分离协议（或不同意不贬损协议），我们也不会这样做。既得股权就是既得股权（句号）。」
谷歌Gemini 1.5技术报告：轻松证明奥数题，Flash版比GPT-4 Turbo快5倍
今年 2 月，谷歌上线了多模态大模型 Gemini1.5，通过工程和基础设施优化、MoE 架构等策略大幅提升了性能和速度。拥有更长的上下文，更强推理能力，可以更好地处理跨模态内容。本周五，Google DeepMind 正式发布了 Gemini 1.5 的技术报告，内容覆盖 Flash 版等最近升级，该文档长达 153 页。在本报告中，谷歌介绍了 Gemini 1.5 系列模型，它是代表了下一代高计算效率的多模态大模型，能够从数百万 token 上下文中调用细粒度信息并进行推理，包括多个长文档、数小时的视频。
大模型研究获最佳论文，WWW 2024奖项出炉
The Web Conference（前身为 International World Wide Web Conference，WWW）会议是万维网领域的顶会，由图灵奖得主 Tim 创办，被中国计算机协会将其认证为 CCF-A 类会议，每年举办一次。目前大会公布了最佳学生论文奖、最佳论文奖以及时间检验奖。
替代MLP的KAN，被开源项目扩展到卷积了
本月初，来自 MIT 等机构的研究者提出了一种非常有潜力的 MLP 替代方法 ——KAN。KAN 在准确性和可解释性方面表现优于 MLP，而且它能以非常少的参数量胜过以更大参数量运行的 MLP。比如，作者表示，他们用 KAN 以更小的网络和更高的自动化程度重现了 DeepMind 的结果。具体来说，DeepMind 的 MLP 有大约 300000 个参数，而 KAN 只有大约 200 个参数。KAN 与 MLP 一样具有强大的数学基础，MLP 基于通用逼近定理，而 KAN 基于 Kolmogorov-Arnold 表示定理。最近，有研究者将 KAN 创新架构的理念扩展到卷积神经网络，将卷积的经典线性变换更改为每个像素中可学习的非线性激活函数，提出并开源 KAN 卷积（CKAN）。