GRAM: 面向内容的协同过滤的快速预训练语言模型微调

ACLApr, 2022

GRAM: 面向内容的协同过滤的快速预训练语言模型微调

GRAM: Fast Fine-tuning of Pre-trained Language Models for Content-based Collaborative Filtering

Yoonseok Yang, Kyu Seok Kim, Minsam Kim, Juneyoung Park

TL;DR提出了 GRAM（CCF 中的 GRadient Accumulation for Multi-modality），它利用了同一批交互历史记录中单个物品经常出现多次的事实来解决通过预训练语言模型提取高质量物品编码的资源密集型问题，显著提高了基于五个数据集的任务领域（知识追踪和新闻推荐）中的训练效率（最大提升 146 倍），Single-step GRAM 和 Multi-step GRAM 分别是 GRAM 的一个单步版本和扩展版本。

Abstract

content-based collaborative filtering (CCF) predicts user-item interactions based on both users' interaction history and items' content information. Recently, pre-trained language models (PLM) have been used to e

content-based collaborative filtering pre-trained language models item encodings end-to-end training gram

发现论文，激发创造

大型语言模型与协同过滤相遇：一种高效全能基于 LLM 的推荐系统

提出了一种高效的全方位基于语言模型的推荐系统，能够在冷和热场景下表现出卓越的性能，并利用协同知识和高质量用户 / 物品嵌入来生成自然语言输出。

Apr, 2024

基于预训练语言模型的知识感知协同过滤用于个性化基于评论的评分预测

为解决个性化基于评论的评分预测中的问题，提出了一种名为 KCF-PLM 的知识感知协同过滤与预训练语言模型的方法，将评论文本、方面、知识图和预训练语言模型结合起来，通过表示传播和用户 - 物品引导关注来模拟用户 - 物品交互，实验证明了 KCF-PLM 的有效性。

Aug, 2023

CALRec：生成式 LLM 的对比对齐在顺序推荐中的应用

传统推荐系统如矩阵分解方法依赖于学习一个共享的稠密嵌入空间来表示物品和用户偏好。最近，序列模型如 RNN、GRU 和 Transformer 在序列推荐任务中也表现出色。研究人员最近开始探索使用在大量文本语料库上预训练的大型语言模型（LLMs）进行序列推荐。为了在序列推荐中使用 LLMs，用户交互的历史记录和模型预测的下一个物品都以文本形式表示。我们提出了 CALRec，一个两阶段的 LLM 微调框架，它使用两种对比损失和语言建模损失在两个塔式结构中微调预训练的 LLM：首先在多个领域的数据混合上微调 LLM，然后进行目标领域的微调。我们的模型显著优于许多最先进的对比方法（在 Recall@1 上增长 37%，在 NDCG@10 上增长 24%），系统的消融研究揭示了（i）两个微调阶段都是至关重要的，在结合起来时我们可以获得更好的性能，以及（ii）目标领域中的对比对齐在我们的实验中是有效的。

May, 2024

LCMR: 基于结构化文本的协同过滤中的本地化和集中式记忆

该研究提出了一种名为 LCMR 的神经框架，利用本地和集中记忆来处理内容信息和交互数据，以提高协同过滤推荐系统的性能，该方法在实际数据集上表现出较好的表现。

Apr, 2018

多图卷积协同过滤

本文提出了一个基于图卷积的推荐框架，名为 Multi-GCCF，该框架利用了用户项目交互数据和用户对和项目对之间的相似性来建立分区图和 user-user /item-item 图，并在双分图上执行图卷积，在四个公共基准测试中取得较显著的改进，证明了模型的有效性以及学习的嵌入捕获了重要的关系结构。

Jan, 2020

CG-FedLLM：用于大规模语言模型的联邦微调中梯度压缩方法

本研究提出了一种创新方法来压缩梯度以提高大型语言模型联邦学习中的通信效率，通过在客户端增加编码器以获取压缩的梯度特征，以及在服务器端增加解码器来重构梯度。通过使用特征筛选和保护关键特征的方式，我们的方法降低了通信成本并提高了性能，在隐私保护框架内进行了一系列实验分析，为开发更高效和安全的大型语言模型提供了洞见。

May, 2024

问 GRU：深度文本推荐的多任务学习

本文介绍了一种基于深度递归神经网络的内容推荐方法，通过将文本序列映射至潜在向量实现推荐，在科学论文推荐任务中，该方法精度显著优于传统基于主题模型或词向量平均值的推荐方法。此外，使用多任务学习进一步提高了推荐精度。

Sep, 2016

XRec: 可解释的推荐系统的大型语言模型

这项研究介绍了一种名为 XRec 的模型无关框架，利用大型语言模型（LLMs）的语言能力推动可解释的推荐系统的发展，该框架通过集成协作信号和设计轻量级的协作适配器使 LLMs 能够理解用户和物品之间的复杂模式并更深入地了解用户的偏好，全面且有意义的解释能力优于其他基准方法。

Jun, 2024

解耦对比协同过滤

本篇研究提出了一种基于图神经网络和图对比学习的协作过滤框架，通过自我监督学习进行自适应增强，实现目的的解耦和噪声抑制，将学习到的解耦表示与全局上下文结合，相比于现有的解决方案，具有更好的性能表现。

May, 2023

MM-GEF：多模态表示与协同过滤相遇

现代电子商务中，多种内容形式的物品特征为推荐系统提供了精确而全面的信息。本研究提出了一种基于图形的物品结构增强方法 MM-GEF：多模态图形早期融合推荐，通过将多模态特征的潜在物品结构与协作信号相结合，有效地改善了物品表示。在四个公开数据集上进行的大量实验证明了我们方法在多模态推荐技术方面的系统改进。

Aug, 2023