输入“/”快速插入内容

奇绩大模型日报(7月 29日)

2024年7月30日修改
资讯
奥运8分钟AI影片出圈 巴赫主席:感谢中国黑科技
贡献人:
飞书用户5537
奥运会期间,一支由阿里巴巴和国际奥委会联合制作的 AI 技术增强短片《永不失色的她》引起了广泛关注。该短片利用 AI 技术如图像超分辨率、上色和基于生成技术的补帧,展现了女性在奥运历史中的重要角色和成就。文章通过苏珊・朗格伦、张山和凯瑟琳・斯威策等女性运动员的故事,展示了她们如何在奥运赛场上突破和拼搏,推动了女性运动的发展。阿里云的 AI 技术团队在修复历史影像方面的工作,使得这些珍贵的历史时刻得以以更加清晰、生动的形式呈现给现代观众。
50%
50%
Llama3.1训练平均3小时故障一次,气温波动会影响H100万卡集群吞吐量
贡献人:
飞书用户5537
Llama 3.1 模型训练期间,每 3 小时发生一次故障,大多数故障源于 H100 GPU 集群的硬件问题,特别是 GPU 和 HBM3 内存故障。为了提高有效训练时间,团队减少了任务启动和 checkpointing 时间,并利用 PyTorch 的 NCCL flight recorder 等工具进行快速诊断和问题解决。尽管存在硬件故障和环境因素如温度变化影响吞吐量的问题,Llama 3.1 团队仍保持了超过 90% 的有效训练时间。Meta 正面对大规模 AI 集群的技术挑战,包括电力、网络设计、并行和可靠性等。
50%
50%
英伟达Llama 3.1合成数据技术与RAG系统微调实践指南
贡献人:
飞书用户5537
NVIDIA 的技术博客文章介绍了使用 Llama 3.1 405B 大型语言模型来生成合成数据,以提高不同行业的人工智能模型性能。合成数据不是创造新信息,而是通过转换现有信息来创建不同的数据变体,这一过程可以帮助模型在准确性上获得提升。文章详细说明了使用 LLM 进行知识蒸馏和自我改进的方法,以及如何通过预训练、微调和对齐步骤来应用合成数据。此外,介绍了如何利用 LLM 生成的合成数据来改进其他模型,例如 RAG 管道,并通过一个案例研究展示了评估 RAG 管道性能的具体方法。
50%
50%
下一代AI数据库:Infinity 0.2版引领混合搜索与排序新纪元
贡献人:
飞书用户5537
Infinity 数据库 0.2 版本推出了稀疏向量和张量数据类型,实现了全文搜索、向量搜索和张量搜索的多路召回和混合搜索功能,大幅提升了 RAG 系统的检索质量。文章强调了单纯向量搜索在精确语义表达上的局限性,并介绍了如何通过混合搜索(全文搜索与稀疏向量搜索结合)来优化搜索结果。此外,文章还探讨了 ColBERT 排序模型的特点,以及如何在 Infinity 中实现端到端的 ColBERT 应用,包括 Tensor 数据类型的支持和对超长文本的处理方案。通过对 MLDR 数据集的评测,Infinity 展现了其在性能和排序质量上的优异表现,特别是在与 Elasticsearch 的对比中,Infinity 表现出卓越的全文搜索性能。
50%
50%