奇绩大模型日报（7月 29日）
输入“/”快速插入内容
奇绩大模型日报（7月 29日）
奇绩大模型日报（7月 29日）
2024年7月30日修改
资讯
奥运8分钟AI影片出圈 巴赫主席：感谢中国黑科技
奥运会期间，一支由阿里巴巴和国际奥委会联合制作的 AI 技术增强短片《永不失色的她》引起了广泛关注。该短片利用 AI 技术如图像超分辨率、上色和基于生成技术的补帧，展现了女性在奥运历史中的重要角色和成就。文章通过苏珊・朗格伦、张山和凯瑟琳・斯威策等女性运动员的故事，展示了她们如何在奥运赛场上突破和拼搏，推动了女性运动的发展。阿里云的 AI 技术团队在修复历史影像方面的工作，使得这些珍贵的历史时刻得以以更加清晰、生动的形式呈现给现代观众。
Llama3.1训练平均3小时故障一次，气温波动会影响H100万卡集群吞吐量
Llama 3.1 模型训练期间，每 3 小时发生一次故障，大多数故障源于 H100 GPU 集群的硬件问题，特别是 GPU 和 HBM3 内存故障。为了提高有效训练时间，团队减少了任务启动和 checkpointing 时间，并利用 PyTorch 的 NCCL flight recorder 等工具进行快速诊断和问题解决。尽管存在硬件故障和环境因素如温度变化影响吞吐量的问题，Llama 3.1 团队仍保持了超过 90% 的有效训练时间。Meta 正面对大规模 AI 集群的技术挑战，包括电力、网络设计、并行和可靠性等。
英伟达Llama 3.1合成数据技术与RAG系统微调实践指南
NVIDIA 的技术博客文章介绍了使用 Llama 3.1 405B 大型语言模型来生成合成数据，以提高不同行业的人工智能模型性能。合成数据不是创造新信息，而是通过转换现有信息来创建不同的数据变体，这一过程可以帮助模型在准确性上获得提升。文章详细说明了使用 LLM 进行知识蒸馏和自我改进的方法，以及如何通过预训练、微调和对齐步骤来应用合成数据。此外，介绍了如何利用 LLM 生成的合成数据来改进其他模型，例如 RAG 管道，并通过一个案例研究展示了评估 RAG 管道性能的具体方法。
下一代AI数据库：Infinity 0.2版引领混合搜索与排序新纪元
Infinity 数据库 0.2 版本推出了稀疏向量和张量数据类型，实现了全文搜索、向量搜索和张量搜索的多路召回和混合搜索功能，大幅提升了 RAG 系统的检索质量。文章强调了单纯向量搜索在精确语义表达上的局限性，并介绍了如何通过混合搜索（全文搜索与稀疏向量搜索结合）来优化搜索结果。此外，文章还探讨了 ColBERT 排序模型的特点，以及如何在 Infinity 中实现端到端的 ColBERT 应用，包括 Tensor 数据类型的支持和对超长文本的处理方案。通过对 MLDR 数据集的评测，Infinity 展现了其在性能和排序质量上的优异表现，特别是在与 Elasticsearch 的对比中，Infinity 表现出卓越的全文搜索性能。