奇绩大模型日报（6月 21日）
输入“/”快速插入内容
奇绩大模型日报（6月 21日）
奇绩大模型日报（6月 21日）
2024年6月21日修改
推特
Claude 3.5 Sonnet 上线：迄今为止最智能的模型
介绍Claude 3.5 Sonnet——我们迄今为止最智能的模型。
这是我们3.5模型系列的首次发布。
Sonnet现在在关键评估中表现优于竞争对手的模型，其速度是Claude 3 Opus的两倍，成本仅为五分之一。
Karpathy分享Micrograd：标量值的自动求导引擎
这些94行代码是训练神经网络所需的一切。其他的只是为了提高效率。
这是我早期的项目Micrograd。它实现了一个标量值的自动求导引擎。你从叶节点（通常是输入数据和神经网络参数）开始，用类似+和*的操作来构建一个计算图，计算图的末端是一个单一的值（损失）。然后你通过图的反向传播，应用链式法则来计算每个节点的梯度。梯度告诉你如何调整参数以减少损失（从而提高网络性能）。
有时当事情变得太复杂时，我会回到这段代码前稍作休息。不过，你还需要知道计算图应该是什么样的（例如，MLP -> Transformer），损失函数应该是什么（例如，自回归/扩散），以及如何最好地利用梯度进行参数更新（例如，SGD -> AdamW）等等。但这段代码是主要过程的核心。
1986年由Rumelhart、Hinton和Williams发表的论文推广并使用了这个算法（反向传播）来训练神经网络：
micrograd在Github上的项目：
还有我（现在有点旧的）非常缓慢地构建和解释的YouTube视频：
吴恩达父亲节感叹：编码代理在六个月前还是新奇事物，现在已经很有趣高效
吴恩达感叹：在父亲节，我用OpenDevin为女儿生成算术练习题，提升了我们的学习体验。六个月前，编码代理还是新奇事物，现在它们已逐渐实用。编码代理的工作流程包括分析问题、生成代码、测试并迭代改进。多代理系统表现更好，因为不同代理分别编写代码和测试。通过HumanEval等基准测试，研究人员可以自动评估代码生成的准确性。随着工具的发展，编程变得更加有趣和高效。
EVI上线IOS应用
EVI，前沿的具有情感智能的语音AI，现在变得更加聪明——并且已经可以在iOS应用上使用了！📲