面向序列推荐中表示退化问题的对比学习

Oct, 2021

面向序列推荐中表示退化问题的对比学习

Contrastive Learning for Representation Degeneration Problem in Sequential Recommendation

Ruihong Qiu, Zi Huang, Hongzhi Yin, Zijian Wang

TL;DR本文提出了一种新的推荐模型 DuoRec，通过对用户行为序列的表示形式的优化，解决了深度学习模型在生成物品表示时的退化问题，并在五个数据集上进行了实验验证。

Abstract

Recent advancements of sequential deep learning models such as Transformer and BERT have significantly facilitated the sequential recommendation. However, according to our study, the distribution of item embeddings generated by these models tends to degenerate into an anisotropic shape

sequential deep learning models recommender model item embeddings distribution contrastive regularization model-level augmentation

发现论文，激发创造

社交推荐的解耦对比学习

本研究提出了一种新颖的解缠式对比学习框架，名为 DcRec，该框架可以从物品和社交领域中学习解缠式用户表示，并在社交推荐中进行知识转移。实验证明，该模型在各种真实世界数据集上具有优越性。

Aug, 2022

AdaptiveRec: 序列推荐中自适应构建对比学习对

该论文提出了一种改进的对比学习方法，以解决序列推荐系统中假负问题，进而提高项目嵌入质量并缓解类似实例被错误分类的问题，实验结果表明相比现有系统其性能有所提高，具有很强的灵活性和适用性。

Jul, 2023

大规模推荐系统中，对偏差候选生成采用对比学习方法

本文研究了在深度候选生成（DCG）中使用对比学习的有效性，理论证明了对比损失函数等效于通过逆倾向加权来减少暴露偏差，并提出了 CLRec 和 Multi-CLRec 方法用于改善大规模推荐系统的公平性、效率和准确性。该方法在淘宝上的四个月在线 A/B 测试和离线分析中表现出显著的改善，包括 Matthew 效应的显著降低。

May, 2020

序列推荐的图形掩蔽自编码器

提出了一种简单而有效的图蒙版自编码器，通过自监督学习来自适应动态提取全局项转换信息，在顺序推荐中进行信息增强。

May, 2023

对比自监督学习中的维度崩塌的理解

本文介绍了一种自监督学习方法 —— 对比学习。为了避免嵌入向量全部收敛到常数解的问题，这篇文章提出了一种新的对比学习方法 DirectCLR，该方法直接优化表示空间而不依赖于显式可训练的投影仪。实验表明，DirectCLR 在 ImageNet 上的表现优于 SimCLR。

Oct, 2021

将对比学习与动态模型集成，用于从图像中进行强化学习

本文提出了一种自监督表征学习方法，它将对比学习与动态模型相结合，以协同地实现三个目标，即通过最大化信息 NCE 界来诱导线性预测嵌入，通过显式学习非线性转换模型进一步提高学习嵌入的马尔可夫性以及最大化下一嵌入的互信息，其基于当前动作和当前状态的两个独立增强的嵌入预测，实验表明，与基于对比学习或重建的现有方法相比，我们的方法在样本效率和泛化性能上都取得了更好的结果。

Mar, 2022

基于双向 Transformer 的对比学习用于序列推荐

本文提出了一种新框架，使用双向 Transformer 进行对比学习，针对顺序推荐中用户行为不是严格的从左到右顺序这一问题进行改进，同时采用滑动窗口技术，结合 Cloze 任务掩码和 Dropout 掩码来生成高质量正样本，并进行多对比学习，通过实验结果表明，相较于传统单一对比学习，该框架表现更优越。

Aug, 2022

当搜索遇见推荐：为推荐学习解耦搜索表示

本文提出了一个基于搜索的框架，即 SESRec，用于为顺序推荐提供支持。在该框架中，用户 S＆R 行为的相似和不同表示的区分是通过对 S＆R 行为序列的对比学习任务进行监督来实现的，该任务旨在从三个方面从注意力机制中提取用户兴趣。在工业和公共数据集上的广泛实验表明，SESRec 始终优于现有的其他模型，并且它成功地从 S＆R 行为中分离了相似和不同的用户兴趣。

May, 2023

精细对比学习用于定义生成

本文提出一种新型对比学习方法，以有效地学习和表达所考虑词语的语义组成部分，并使模型在进行定义生成任务时，能够生成更具体、高质量的定义，实验证明该方法优于现有模型。

Oct, 2022

RecSys-DAN: 用于跨领域推荐系统的判别式对抗网络

提出了一种新颖的方法 RecSys-DAN，通过表示学习、对抗学习和转移学习（特别是域适应）来减轻交叉领域和领域内数据的稀疏性和不平衡性，并学习用户、项目及其交互的可传输潜在表示。该方法通过对抗损失进行最小最大博弈来学习目标域中的映射函数，旨在生成具有域不可区分性的表示形式。在真实的亚马逊数据上的实验结果表明，即使不使用目标域中的标记数据（即评分），RecSys-DAN 与最先进的监督方法相比具有竞争力。

Mar, 2019