LEARN: LLM在快手电商广告推荐场景的应用
LEARN: LLM在快手电商广告推荐场景的应用
2024年7月16日修改
作者：Lukan | NewBeeNLP
今天继续分享一篇大模型在推荐系统中的落地应用工作，是快手今年5月份发表的论文《Knowledge Adaptation from Large Language Model to Recommendation for Practical Industrial Application》。
太长不看版
这篇文章主要做了两个工作：
•
工作1：使用冻结的LLM提取文本embedding后，设计了一个基于transformer的双塔结构，用对比学习的方式训练用户行为序列数据，以提取更适用于推荐任务的user embedding和item embedding，
•
工作2：在排序模型中加一个CVR辅助任务，使用1学习到user embedding和item embedding接入一个MLP网络和推荐目标做进一步对齐，然后取出中间层特征供排序模型使用
方法其实和上次介绍的小红书的NoteLLM（ NoteLLM: 大语言模型在小红书推荐系统的落地应用 ）有点类似的地方，都是想用大模型作为特征提取器来提取item文本中的语义信息来弥补推荐模型中的冷启动以及长尾物品由于行为稀疏学不好的问题，并且都使用对比学习的范式进行学习。
不过小红书的采用i2i的方式来训练，产出一个item embedding，最终用在i2i的召回上，这篇用的是u2i的方式，能够同时产生user embedding和item embedding，看文章的线上实验最终两个embedding是用在排序模型中作为特征使用（对应工作2），并没有用于u2i召回。
所以个人认为这篇文章对于实践的价值参考意义更大的可能是工作2，虽然笔墨很少，但毕竟是有上线的，工作1花里胡哨一通操作，最终也就离线自己搞了个数据集和其他几个方法跑了跑对比，为了发文章也可以理解，但是思想也可以稍微参考下吧。
背景
现有的推荐系统模型都是通过ID embedding学习用户和物品之间的交互来表示用户和物品，然而这种方式忽略了，物品文本描述中包含的语义信息。同时，对于一些行为数据少的用户和物品（冷启动和长尾）ID embedding是学不好的，但是LLM对于语义信息的表征能力是很强的，所以自然就会想用LLM学习物品描述中的语义信息来改善推荐中的冷启动和长尾问题。
现有的用LLM来做推荐的大多是通过构建prompt将推荐的数据文本化作为LLM的输入，然后通过生成式的方式来推荐物品，但受限于计算性能以及LLM的输入长度，所以也只能在几个玩具数据集上跑一跑，文章把这种方式称为Rec-to-LLM, 而文章要做的工作就是LLM-to-Rec，将LLM用作特征提取器，将推荐任务作为训练目标，不仅有利于从 LLM 的开放世界领域无缝过渡到RS的协作领域，还能确保更好地满足工业在线 RS 的实际需求。
附件不支持打印
加载失败，