我们提出了一种个性化 Transformer 模型（PETER）来解决用户和物品 ID 无法与单词在相同的语义空间中表示的问题，通过在目标解释中使用 ID 来预测单词，并赋予 ID 语言意义，从而使其实现个性化。我们的实验结果表明，我们的小型未预训练模型在生成任务上优于微调 BERT，这凸显了我们设计的重要性和实用性。

May, 2021

为了提高用户满意度和建立信任，推荐系统内提供解释尤为重要，特别是对为用户定制的推荐物品进行解释。在这个研究领域中，主要方法是生成基于文本的解释，主要侧重于应用大型语言模型（LLMs）。然而，由于时间限制和计算资源限制，对于可解释性推荐来说，细化 LLMs 的工作并不可行。作为替代方案，当前的方法是训练提示而不是 LLMs。在这项研究中，我们开发了一个模型，利用用户和项目输入的 ID 向量作为 GPT-2 的提示。我们在多任务学习框架内使用联合训练机制来优化推荐任务和解释任务。这种策略能更有效地探索用户的兴趣，提高推荐的效果和用户满意度。通过实验，在 Yelp、TripAdvisor 和 Amazon 数据集上，我们的方法在解释能力评估指标上分别达到 1.59 DIV、0.57 USR 和 0.41 FCR，相比于四种现有技术，表现出卓越性能。此外，我们发现所提出的模型能够确保在这三个公共数据集上文本质量的稳定。

Jan, 2024

通过 IDGen 方法将每个项目表示为独特、简洁、语义丰富、与平台无关的文本 ID，并通过基于 LLM 的推荐系统和文本 ID 生成器的协同训练，无缝地将个性化推荐融入自然语言生成，从而建立了一个基础生成推荐模型。实验结果表明，该方法在标准实验设置下在序列推荐方面始终优于现有模型，并且该方法在从 19 个不同数据集中收集的数据上进行零 - shot 训练后，在 6 个不同平台上的未见数据集上的推荐性能与一些基于监督训练的传统推荐模型相当甚至更好，展示了 IDGen 模式作为生成推荐基础模型的潜力。

Mar, 2024

通过离散提示嵌入的方法，我们提出了一种构建连续提示的新方法，以提高连续提示的可解释性和推理准确性，验证了在自然语言理解任务中使用线性组合这些提示会获得更好性能的权重预测模型。

Dec, 2023

基于预训练模型的提示式方法在连续学习中与其他解决方案相比，在仅有很少可学习参数且无需内存缓冲区的情况下，展现出了防止灾难性遗忘的强大能力。本研究在理论上分析和解释了提示式学习的有效性，并提出了一种基于非线性残差门机制（NoRGa）的新型门机制，从而在保持参数效率的同时提高了连续学习性能。

May, 2024

利用生成模型进行推荐系统和个性化问题的初步研究，提出了 Prompt-Model 检索和生成项排序的两阶段框架，并通过 GEMRec-18K 数据集展示了生成模型推荐的潜力和现有评估指标的局限性。

Aug, 2023

本文首次尝试运用 Prompt Learning 模型中的 cloze-style 任务，设计了 Prompt4NR 框架，包含了离散、连续和混合模板，并使用 Prompt Ensemble 方法，成功提升了新闻推荐效果，实验采用了 MIND 数据集进行验证。

Apr, 2023

该论文通过使用基于 RQ-VAE 的语义 ID 替代随机生成 ID 的方式来解决推荐系统中的冷启动问题，并展示了语义 ID 对模型的泛化能力的提升。

Jun, 2023

本文提出了一种新的连续提示方法，称为上下文调整，用于对预训练语言模型进行微调以进行自然语言生成，可以根据输入文本生成上下文化的提示，然后使用连续的反向提示来改进过程自然语言生成的过程。

Jan, 2022

本文提出了一种基于实例的提示学习方法，用于不同实例的学习。该方法在双向和单向的 PLMs 上得到了相当大的提升，并在 SuperGLUE few-shot learning 基准测试上实现了最好的结果。

Jan, 2022