小红书怎么利用LLM做推荐系统的
小红书怎么利用LLM做推荐系统的
1月21日修改
本文介绍了大语言模型在小红书笔记推荐场景下的落地应用,主要是围绕如何利用LLM的表征能力来生成更适用于i2i召回的文本embedding,思路简单,落地也容易,个人觉得实践价值非常高,值得学习。
方法介绍
方法分为三个部分,一个输入的prompt构建和训练时用到的两个预训练任务:
•
笔记压缩prompt构建
•
生成式对比学习
•
协同监督微调
附件不支持打印
加载失败,
背景
为了解决推荐中的物品冷启动问题,在召回阶段中往往会增加一路使用内容多模态表征的i2i召回,这路召回由于只使用了纯内容的特征,和老物品便可以公平比较,不会产生因为新物品后验行为少而导致无法被召回的问题。
在现有的多模态i2i召回方法在文本侧一般都是用一个BERT经过预训练后生成embedding然后基于embedding的相似度来进行召回,但是这样可能也会存在一些问题: