奇绩大模型日报（5月 30日）
输入“/”快速插入内容
奇绩大模型日报（5月 30日）
奇绩大模型日报（5月 30日）
2024年5月30日修改
推特
大的要来了？OpenAI再次宣布为免费用户开放浏览、视觉、数据分析、文件上传！
所有ChatGPT免费用户现在可以使用浏览、视觉、数据分析、文件上传和GPT功能。
饮用 OpenAI：
我们向所有人免费开放了我们的新旗舰模型GPT-4o以及浏览、数据分析和记忆等功能（有使用限制）。https://openai.com/index/gpt-4o-and-more-tools-to-chatgpt-free/
GPT-3三周年生日，Karpathy重新训练微系列中的最小模型庆祝
我今天正在重新训练微系列中的最小模型，意外地庆祝这一周年。HellaSwag 33.7（附录H）几步前几乎达到了这个目标（虽然这仅完成了45%的训练）。
我清楚地记得GPT-3论文发布的时候，因为我不得不中断工作出去散步。
我意识到这一领域的一个重要性质发生了变化。大约在2011年，AI的进展主要受限于算法。我们需要更好的想法、更好的建模和更好的方法来取得进一步的进展。如果你当时给我一台大10倍的计算机，我不确定该如何利用它。GPT-3论文表明，如果只训练一个更大的模型，它在各种实际任务上会变得更好。更好的算法成为了一个加分项，而不是AGI进展的必要条件。可能不会永远如此，但至少在目前和短期内，在非常实际的意义上是如此。今天，如果你给我一台大10倍的计算机，我知道该如何使用它，然后我会要求更多。这也是为什么NVIDIA今天是一家市值2.8万亿公司的核心原因。我不确定其他人是如何体验的，但四年前GPT-3让我深刻意识到这一点。
震惊！LeCun竟然说出这种话，马斯克杨乐昆之战仍在继续！
要成为科学研究，一项研究必须是正确的和可重复的。
要正确和可重复，它必须在出版物中进行详细描述。
要“出版”（获得认可），出版物必须由审稿人检查其正确性。
要被重复，出版物必须在社区内广泛可用并且足够有趣。
如果你做了研究但没有发表，那就不算科学。
没有同行评审和可重复性，你的方法可能有缺陷，你自己被误导认为你做了很棒的事情。
没有人会听说过你的工作。
没有人会接手并在其基础上进一步研究。
没有人会用它来构建新技术和新产品。
你的工作将是徒劳的。
你会在痛苦和被遗忘中死去。
如果你从未发表过你的研究但以某种方式将其发展成了一种产品，你可能会死得富有。
但你仍会有些苦涩并且大多被遗忘。
二次澄清：对这条评论有太多误解了！
以下是我*不是*在说的事情：
•
你需要博士学位才能做科学研究。你不需要。博士学位教你如何做研究，但你可以自己学到（虽然有导师会更容易）。
•
•
工程不是科学：这取决于你的方法论。我既是科学家*也是*工程师。这些活动是互补的，彼此需要。
•
科学需要正式的论文：不需要。一个网站上的清晰解释和公共仓库中的一段代码就可以。