用户交互引导大模型生成内容特征，LLM-Rec框架助力个性化推荐！

今天主要和大家分享一篇**使用大语言模型做数据增强来提升推荐系统性能**的研究

> * **标题：** LLM-Rec: Personalized Recommendation via Prompting Large Language Models
> * **链接：** https://arxiv.org/pdf/2307.15780.pdf
> * **公司/机构：** University of Rochester/UCLA/Meta AI

## 摘要

**本篇论文主要研究使用大语言模型（LLMs）来提升个性化推荐性能的策略，核心的方式是使用大模型对推荐模型的输入文本做数据增强。** 论文中提出了 LLM-Rec 的框架，该框架包括四种 prompt 策略：基本的 prompt、推荐驱动的 prompt、交互引导的 prompt、推荐驱动 + 交互引导的混合 prompt。 **通过实验表明，使用 LLM 增强的文本融入到推荐中可以提升推荐性能。** 推荐驱动和交互引导的提示策略有助于 LLM 理解全局和局部特性，凸显了多样化 prompt 设计和输入增强技术在增强 LLM 推荐能力方面的重要性。

## 介绍

以往的研究主要集中在将 LLM 直接用作推荐模型，或者将 LLM 用在推荐系统的框架中，而本次则从不同的角度出发。本次研究主要是通过设计不同的 prompt 策略来改进 LLM 生成高质量的文本，并将生成后的文本作为特征应用到推荐系统中，最终通过推荐效果来评估增强的质量。 **作者提出了名字叫做 LLM-Rec 的 prompt 设计框架，框架中包含了许多专门为个性化内容推荐而设计的 prompt 策略。其中包括：基本的 prompt、推荐驱动的 prompt、交互引导的 prompt、推荐驱动 + 交互引导的 prompt。这些策略旨在提升 LLM 生成文本的能力，提高内容推荐的准确性和相关性。** 通过实验布置，与基准方法进行了比较，证明了 LLM-Rec 框架的有效性。同时本研究揭示了不同提示策略对推荐性能的影响，并突显了利用 LLMs 进行个性化推荐的潜力。

## LLM-Rec prompt 的设计

### 基础的 Prompt

基础 prompt 主要有三种：**$P_{para}$ 、$P_{tag}$、$P_{infer}$** ，其中， **$P_{para}$：** 表示对原有的文本描述做一个改写，但不要引入其他额外的信息。 **$P_{tag}$：** 表示对原有的文本描述做 tag 词的提取。 **$P_{infer}$：** 表示根据原有的文本描述的特征做推导，得到一些宏观力度上的答复。

![图片](/media/202311/2023-11-10_1604200.5173772871266112.png)

### 推荐驱动的 prompt

对应基础的三种 prompt，分别引入了推荐驱动的版本，用 **$P^{rec}_{para}$ 、 $P^{rec}_{tag}$、$P^{rec}_{infer}$** 表示。作者表示为了生成更高质量的内容描述，推荐驱动的 prompt 引入了一下 3 个特性：

* Enhanced Context
* Guided Generation
* Improved Relevance

**这三个特性总结来说是通过在基础 prompt 中引入推荐的指令和说明** ，具体如下图

![图片](/media/202311/2023-11-10_1604200.9950817157569155.png)

作者表示**引入的额外信息能够给模型起到引导的作用， 使得模型能够捕捉关键信息、用户偏好，提升生成描述的相关性。** 同时**显式的提及生成的内容即将要被用于内容推荐，模型会对最终的目标有个清晰的理解，即可生成和最终应用目的一致的内容。**

### 交互引导的 prompt

交互引导的 prompt 的核心原则是充分利用 user-item 的交互信息来设计 prompt，后续实验中使用  **$P_{eng}$** 表示。 **交互引导的 prompt 主要的作用是让大模型更加深入的捕捉到用户的偏好，同时将这些特性融入到生成的文本中。** 在设计该 prompt 的之前，需要结合目标 item 的内容描述和 T 个 items 的内容表述，这 T 个 items 是根据用户交互行为和相关算法得到的，该部分和推荐系统中使用用户行为序列建模的思想一致，通过这种模式更深入地捕捉用户的兴趣偏好。这种 prompt 设计能够提升大模型生成内容描述的质量主要原因有如下三方面：

* Contextual Relevance
* User Preference Alignment
* Enhanced Recommendation Quality

总结来说通过引入 target 和 T 个 items 的内容描述，可以让大模型具有一个较为丰富的上下文和较为深入的理解。同时由于 T 个 items 是通过用户交互行为而确定出来的，所以模型能够根据这些信息来对齐用户兴趣偏好。通过对比 target 和用户偏好的相似性、相关性的判断来生成更加高质量的内容描述。

### 推荐驱动的 prompt+ 交互引导的 prompt

指的是将以上两种 prompt 进行融合的设计，用 **$P_{rec+eng}$** 表示。

![图片](/media/202311/2023-11-10_1604200.13252524164805968.png)

## 实验布置

### 实验方案

在推荐任务中，会将 target_item 的描述作为文本的特征（embedding）加入到推荐模型中来提升模型的性能。**本次实验主要是对比使用大模型做描述增强后的文本作为特征和原始文本描述作为特征的推荐效果，其中原始文本描述为 BaseLine。**

### 数据集

![图片](/media/202311/2023-11-10_1604200.9395829728116416.png)

* **MovieLens-1M：** 数据集中没有关于电影的描述，只有标题和类别标签，所以作者使用 GPT3 为其生成原始文本描述。
* **Recipe：** 该数据集中含有关于食谱的描述。

这里的数据集作者均做了低频的过滤，对于交互频次低、被打分频次低的用户和 item 进行了过滤。

### Item 模块

* **LLM：** GPT3
* **Text encoder：** Sentence-BERT
* **T 个 item 的选取：** Personalized PageRank (PPR) score 作为重要程度的评估，再次选取 Top T

### User 模块

* **Embd 表：** 将用户 id 转为 128 维的 embedding 表

### 推荐模块

在实验中主要尝试了四种推荐方案：

* **ItemPop：** 根据 item 的热度进行排序推荐
* **MLP：** 将原始文本的 embeddings 和增强后文本的 embeddings 做 concat 后放入 MLP 中做推荐
* **AutoInt：** 使用多头注意力机制网络和残差网络结构在低维空间做特征交叉
* **DCN-V2：** 进行显示的特征交叉

### 评估指标

* Precision@K
* Recall@K
* NDCG@K

## 实验结果

通过以上实验的布置，结果如下图所示：

![图片](/media/202311/2023-11-10_1604200.5625293240021079.png)

通过对比， **可以看出 LLM-Rec（MLP+ 数据增强）相比其他几种常见的推荐模型在效果上有显著的提升， 甚至超过了一些复杂的特征交叉模型的效果。** 为了进一步说明不同的 prompt 的设计策略所带给推荐系统的作用， 作者又进一步做了评估，评估的框架如下图所示：

![图片](/media/202311/2023-11-10_1604200.18508747364430556.png)

在整个后续的评估中，要保持推荐模块和用户模块不变，仅更改增强的文本（通过不同的 prompt 设计得到的，图中的虚线部分），然后对比不同 prompt 策略对推荐效果的影响和产生效果原因。结果如下图：

![图片](/media/202311/2023-11-10_1604200.7407472383768984.png)

### 结论：

* **评估证明，无论哪种 prompt 设计，所得到的增强文本 embedding 和原始文本 embedding 合并后均提升了推荐的效果。说明数据增强给推荐提供了额外的，有效的信息。**
* **不同的 prompt 设计策略的提升是有差异的，具体的差异做了进一步的解释。**

### 策略差异的 case study

作者抽取了使用 **$P^{rec}_{para}$** 为 prompt生成策略的情况下胜出的 3 个 item（两个数据集），分别对比 3 个 item 的 **$P_{para}$** 和 **$P^{rec}_{para}$** 策略生成的 prompt，寻找差异点。

![图片](/media/202311/2023-11-10_1604200.11484443928812393.png)

- **$P_{para}$** 和 **$P^{rec}_{para}$** 的差异：**$P^{rec}_{para}$** **策略生成的增强文本会包含一些特殊的词， 这些词和用户偏好具有一定的相关性，而在**$P_{para}$**策略生成的文本中没有。** 因此作者推断是因为这些词使得推荐效果变得更好了。
- 为了证明这些词的真实作用，作者对 prompt 进行了改写，设计出了 **$P^{mask}_{para}$** 、**$P^{keyword}_{para}$ **。其中 **$P^{mask}_{para}$** 是将**$P^{rec}_{para}$**中生成的关键词在 prompt 屏蔽掉** ，而 **$P^{keyword}_{para}$** 是将在**$P^{rec}_{para}$**中生成的这些词和其他预定义的能够代表用户偏好的标签词汇一起拼接到$P_{para}$中**，根据新 prompt 生成的数据的推荐效果如下图：

![图片](/media/202311/2023-11-10_1604200.9388937174961258.png)

很明显，当和用户偏好相关的词被屏蔽后，效果出现了折损。同时，新增一些和用户偏好相关预定义的词，效果有明显的提升。

- **$P_{infer}$** 和 **$P^{rec}_{infer}$** 的差异：**$P^{rec}_{infer}$** 相比 **$P_{infer}$** 的推荐效果变差了，作者认为推导的方式所获取的增强文本和原始文本的差异性导致了最终效果变差。
- **$P_{rec}$** 和 **$P_{rec+eng}$** 的差异：相比 **$P_{rec}$** 而言 **$P_{eng}$** 能够合成更细粒度的用户偏好相关的词汇，而两者的结合也会引入一些预定义的词汇，具体如下图：

![图片](/media/202311/2023-11-10_1604200.31968375277644634.png)

### 策略组合的效果

最后作者又进行了一次组合的实验， **将之前几种 prompt 的设计所生成的增强文本进行了排列组合** ，确定当所有数据全部组合到一起的情况下，效果是最好的。同时，考虑到和 base 实验 embedding 维度对齐的问题，作者还额外增加了附属对比组。比如：将原始文本的 embedding 直接翻倍。最终组合效果如下图：

![图片](/media/202311/2023-11-10_1604200.4765163092448832.png)

![图片](/media/202311/2023-11-10_1604200.17744325162825547.png)

这个结果也直接 **证明了通过大模型做数据增强的有效性，同时多种策略组合的叠加也能够显著提升推荐效果。** 图中的蓝色线表示仅使用原始文本 embedding 的 MLP，而红色线表示仅使用原始文本 embedding 的 DCN-V2。

## 总结

本篇论文主要研究了使用大模型做数据增强对内容推荐性能的影响，通过实验对比可以得出：

* **通过大模型生成的文本结合原始文本可以提升推荐的性能**
* **大模型生成文本的策略决定了生成数据的质量** ，推荐驱动的 prompt 设计策略和交互引导的 prompt 设计策略均从不同的角度增强了数据的可用信息量， 使得生成的文本质量更好，更适合推荐。
* **所有的策略生成的文本合并到一起的作用最明显，说明不同的策略生成的数据是可互补的。**

---

# 往期论文

> * [ChatGPT：推荐系统的颠覆者？阿里团队的研究带你揭开神秘面纱](http://mp.weixin.qq.com/s?__biz=MzU4MjgyNTYxMA==&mid=2247483981&idx=1&sn=b0653b9911cfd4a6d0a4ec64d4b55a26&chksm=fdb321a8cac4a8beeaa91438f280f8d4b1f06638e660503350177184aa2a02ca62abedf5fa37&scene=21#wechat_redirect)
> * [ InstructGPT 论文精读：大模型调教之道（ChatGPT 学习必读）](http://mp.weixin.qq.com/s?__biz=MzU4MjgyNTYxMA==&mid=2247484549&idx=1&sn=7dc5749ead041df883fe84f8a6da2680&chksm=fdb32760cac4ae76c2e560b05a1d0cb790f04e974b1d3cb24997716eda996153d67b65ce04e8&scene=21#wechat_redirect)
> * [GPT-3 解读：惊艳世界的模型原来是暴力出奇迹](http://mp.weixin.qq.com/s?__biz=MzU4MjgyNTYxMA==&mid=2247484401&idx=1&sn=1d158cbf19d8fcf7c9784dab2344ecc3&chksm=fdb32014cac4a902ceb6c83801bc5af657f711573004e565d6603e9425579a657190c1cd6af8&scene=21#wechat_redirect)
> * [GPT-2：基于无监督多任务学习的语言模型](http://mp.weixin.qq.com/s?__biz=MzU4MjgyNTYxMA==&mid=2247484319&idx=1&sn=9956cd507d0223492bfe73bef9a528f1&chksm=fdb3207acac4a96c973104abfe929f33ec7c941fb6f35b7b3c49a7a36ed3efb227a185b59a38&scene=21#wechat_redirect)
> * [一文读懂 GPT-1：生成式预训练如何提升语言理解](http://mp.weixin.qq.com/s?__biz=MzU4MjgyNTYxMA==&mid=2247484242&idx=1&sn=82a5e7cbbf79dab2b22a8bc907309cc0&chksm=fdb320b7cac4a9a16529c3f9a7342e7bd54bf9e955a6b6df77ac8a998ed266d69d41309c0d3a&scene=21#wechat_redirect)

![图片](/media/202311/2023-11-10_1604200.13661862787935863.png)