行动胜过言语: Meta落地工业界首个万亿级别参数的生成式推荐系统模型
行动胜过言语: Meta落地工业界首个万亿级别参数的生成式推荐系统模型
大家好，我是蘑菇先生。今天分享一篇Meta最新的工作：借鉴LLMs思路重塑推荐系统范式，实现推荐系统的scaling。该工作第一次在 核心产品线 替换掉了近十年工业界长期使用的 基于海量异构特征的深度推荐模型， 在模型规模、业务效果、性能加速等方面都相当亮眼。有可能成为工业级推荐系统大规模scaling的 开创性工作 。
附件不支持打印
Motivation
传统的大规模推荐系统基于海量用户行为数据，构造海量 高基数和异构特征 进行深度模型训练。尽管模型规模已经很庞大了，但如果想进一步进行scaling，则非常困难。
受到近期大语言模型成功的启发，Meta团队重新审视了传统的推荐系统范式，数十亿用户规模的推荐系统所面临的三类主要挑战：