奇绩大模型日报（6月 1-2日）
输入“/”快速插入内容
奇绩大模型日报（6月 1-2日）
奇绩大模型日报（6月 1-2日）
2024年6月2日修改
资讯
Yann LeCun：ViT慢且效率低，实时图像处理还得看卷积
在 Transformer 大一统的时代，计算机视觉的 CNN 方向还有研究的必要吗？今年年初，OpenAI 视频大模型 Sora 带火了 Vision Transformer（ViT）架构。此后，关于 ViT 与传统卷积神经网络（CNN）谁更厉害的争论就没有断过。近日，一直在社交媒体上活跃的图灵奖得主、Meta 首席科学家 Yann LeCun 也加入了 ViT 与 CNN 之争的讨论。
开源模型进展盘点：最新Mixtral、Llama 3、Phi-3、OpenELM到底有多好？
深度学习领域知名研究者、Lightning AI 的首席人工智能教育者 Sebastian Raschka 对 AI 大模型有着深刻的洞察，也会经常把一些观察的结果写成博客。在一篇 5 月中发布的博客中，他盘点分析了 4 月份发布的四个主要新模型：Mixtral、Meta AI 的 Llama 3、微软的 Phi-3 和苹果的 OpenELM。他还通过一篇论文探讨了 DPO 和 PPO 的优劣之处。之后，他分享了 4 月份值得关注的一些研究成果。
Hugging Face称检测到对其人工智能模型托管平台的"未经授权访问"
人工智能初创公司Hugging Face表示，其安全团队在本周早些时候检测到对Spaces的"未经授权访问"，Spaces是Hugging Face用于创建、共享和托管人工智能模型和资源的平台。Hugging Face 在一篇博文中说，这次入侵与 Spaces 秘密有关，即作为解锁账户、工具和开发环境等受保护资源的密钥的私人信息。
多模态大模型不够灵活，谷歌DeepMind创新架构Zipper：分开训练再「压缩」
Google DeepMind 近期提出了模块化设计的新型架构 Zipper，它由多个单模态预训练解码器模型组成。利用丰富的无监督单模态数据，Zipper 可以在单一模态中预训练强大的纯解码器模型，然后利用交叉注意力将多个这样的预训练解码器「压缩」在一起，并利用有限的跨模态数据进行微调，实现多模态生成能力。预训练的纯解码器模型可以在新的多模态组合中灵活地重复使用和再利用。
“最强ATM”中东，投了中国独角兽智谱AI
中国大模型初创公司拿下的第一笔国外投资，来自中东。2024年5月31日，据Financial Times报道，两位知情人士称，中东石油巨头沙特阿美（Aramco）旗下风险投资部门管理的基金Prosperity7，投资了中国大模型独角兽智谱AI，金额达到4亿美元（约29亿元）。据报道，这笔投资将使智谱AI的估值达到约30亿美元（约217亿元）。
翠贝卡电影节将首映使用 OpenAl Sora 制作的五部短片