警惕 AI 训练中的“模型崩溃”:AI 生成内容带来的潜在危机
警惕 AI 训练中的“模型崩溃”:AI 生成内容带来的潜在危机
2024年12月8日修改
在当今这个生成式 AI 蓬勃发展的时代,许多全球领先公司的员工已经在工作流程中使用这类技术,众多公司也纷纷推出内置生成式 AI 的新产品。然而,随着 AI 生成的内容在互联网上大量涌现,一个严峻的问题逐渐浮出水面:当 AI 模型开始以 AI 生成的内容而非主要以人类生成的内容进行训练时,会发生什么?
来自英国和加拿大的一组研究人员深入研究了这个问题,并在开放获取期刊 arXiv 上发表了相关论文。他们的研究结果对当前的生成式 AI 技术及其未来发展带来了令人担忧的影响:使用模型生成的内容进行训练会导致最终模型出现不可逆转的缺陷。
具体来看,研究人员在对文本到文本和图像到图像的 AI 生成模型的概率分布进行研究后得出结论,从其他模型生成的数据中学习会导致模型崩溃——这是一个退化过程,随着时间的推移,模型会逐渐忘记真实的基础数据分布。即使在长期学习的几乎理想条件下,这个过程也是不可避免的。这意味着,随着 AI 训练模型接触到更多的 AI 生成数据,其性能会随着时间的推移而下降,在生成的响应和内容中会产生更多的错误,并且其响应的多样性也会大大减少。
以一个假设的场景为例,当一个机器学习模型在一个包含 100 只猫的图片的数据集上进行训练时,其中 10 只猫的毛是蓝色的,90 只猫的毛是黄色的。模型会学习到黄色的猫更为普遍,但同时也会将蓝色的猫表现得比实际更黄,当被要求生成新数据时,会返回一些绿色猫的结果。随着时间的推移,通过连续的训练循环,蓝色猫毛的原始特征会逐渐被侵蚀,从蓝色变成绿色,最终变成黄色。这种逐渐的扭曲和最终少数数据特征的丢失就是模型崩溃。
这种由 AI 生成的数据带来的“污染”会导致模型对现实产生扭曲的认知。即使研究人员训练模型不要产生太多重复的响应,他们发现模型崩溃仍然会发生,因为模型会开始编造错误的响应,以避免过于频繁地重复数据。而且,如果生成式 AI 随着时间的推移学会在其响应中只产生某一种族,而“忘记”其他种族的存在,那么还可能会导致基于性别、种族或其他敏感属性的歧视等更严重的问题。
值得注意的是,这种现象与“灾难性遗忘”不同,后者是模型丢失先前学习的信息,而模型崩溃则是模型基于其强化的信念对现实的误解。
幸运的是,即使对于现有的转换器和大型语言模型,也有方法可以避免模型崩溃。研究人员强调了两种具体的方法。第一种是保留原始的、完全或名义上由人类产生的数据集的权威副本,避免其被 AI 生成的数据污染。然后,可以定期使用此数据对模型进行重新训练,或者从零基础开始完全用它进行更新。第二种方法是将新的、干净的、人类生成的数据集重新引入到模型的训练中,以避免响应质量的下降并减少 AI 模型中不必要的错误或重复。
然而,正如研究人员所指出的,这需要某种大规模的标记机制或内容生产者或 AI 公司的努力,以区分 AI 生成的内容和人类生成的内容。但目前,在网络上还不存在这样可靠或大规模的努力。
尽管这些消息对当前的生成式 AI 技术以及试图从中获利的公司来说,尤其是在中长期内,是令人担忧的,但对于人类内容创作者来说,却有一个积极的方面:研究人员得出结论,在一个充满生成式 AI 工具及其内容的未来中,人类创造的内容将比现在更加有价值——如果只是作为 AI 原始训练数据的来源的话。
这些发现对人工智能领域具有重要意义,强调了需要改进方法来长期保持生成模型的完整性。它们突显了不受控制的生成过程的风险,并可能为未来的研究提供指导,以制定预防或管理模型崩溃的策略。
总之,模型崩溃是机器学习中的一个问题,必须采取措施来确保生成式 AI 能够持续改进。我们需要更加重视人类生成内容的价值,同时努力寻找有效的方法来避免模型崩溃,以推动人工智能的健康发展。