AWS 和 Twelve Labs 宣布了一项为期三年的合作协议,并在拉斯维加斯的 AWS re:Invent 活动上展示了这项技术。现在,开发者可以通过对话式查询找到运动员表现的特定视频片段,或者从档案中搜索到电影场景。Twelve Labs 使用 AWS 技术来训练其多模态基础模型,据称可以将训练速度提高 10%,同时将训练成本降低超过 15%。Twelve Labs 的 Marengo 和 Pegasus 基础模型提供文本摘要和音频翻译,它们在 AWS Marketplace 上可用,可为媒体、娱乐、游戏、体育等依赖大量视频的行业创建语义视频搜索和文本生成的应用程序。该公司使用 Amazon SageMaker HyperPod 来训练其基础模型,这些模型能够同时理解包括视频、图像、语音和文本在内的不同数据格式,从而可以更深入地研究模型,以获得针对特定数据类型的见解。训练工作负载分布在多个 AWS 计算实例上,以并行方式工作,这意味着 Twelve Labs 可以连续数周甚至数月不间断地训练其基础模型。