Dec, 2023

(去偏) 对比学习损失在推荐中的应用（技术报告）

PDF
TL;DR本文通过对比学习的视角对推荐任务中的推荐损失进行了系统的研究，引入并研究了去偏 InfoNCE 和互信息神经估计（MINE）这两种损失函数，并通过下界分析将它们与 BPR 损失进行了关联和区分。此外，提出了去偏点对损失（适用于均方误差和余弦对比损失），并在理论上证明了 iALS 和 EASE 这两种最流行的线性模型本质上是去偏的。实证实验结果验证了去偏损失和新引入的互信息损失的有效性超过了现有的（有偏的）损失函数。
发现论文，激发创造
  • 通过对比学习重新审视推荐损失函数（技术报告）

    通过对比学习的成功启发，我们系统地研究了推荐系统损失函数，包括列表损失（softmax）、成对损失（BPR）和逐点损失（MSE 和 CCL）。在这个工作中，我们引入了带有平衡系数的 InfoNCE+，强调其性能优势，尤其是与我们的新解耦对比损失 MINE + 相结合时。我们还利用了去偏的 InfoNCE 来修正逐点推荐损失 CCL，称为去偏 CCL。有趣的是，我们的分析表明线性模型如 iALS 和 EASE 本质上是去偏的。实证结果证明了 MINE + 和去偏 CCL 的有效性。

    Dec, 2023

  • 大规模推荐系统中，对偏差候选生成采用对比学习方法

    本文研究了在深度候选生成（DCG）中使用对比学习的有效性，理论证明了对比损失函数等效于通过逆倾向加权来减少暴露偏差，并提出了 CLRec 和 Multi-CLRec 方法用于改善大规模推荐系统的公平性、效率和准确性。该方法在淘宝上的四个月在线 A/B 测试和离线分析中表现出显著的改善，包括 Matthew 效应的显著降低。

    May, 2020

  • 无偏监督对比学习

    本文提出了一种基于边界的理论框架，并推导出了一种新的有监督对比损失（epsilon-SupInfoNCE）和一种有效的去偏差正则化损失（FairKL），这些方法可以用于从偏差数据中学习无偏模型，并在多个偏差数据集上实现了最先进的性能。

    Nov, 2022

  • 交叉成对排名用于无偏物品推荐

    本文提出了一个名为交叉成对排序（CPR）的新学习范式，它在不了解暴露机制的情况下实现了无偏推荐，相比现有的去偏方法具有更好的模型泛化和训练效率。

    Apr, 2022

  • 通过逐点互信息理解多模态对比学习

    本研究探讨了多模态表示学习中对称 InfoNCE 损失的理论理解，通过点间互信息的视角展示了达到预训练最优相似度的编码器在下游分类任务中提供了良好的表示。我们基于理论结果，提出了一种新的多模态对比学习相似度度量方法，并利用非线性核函数增强了其能力。通过在 Conceptual Caption 数据集上进行多模态表示模型的预训练，并在常用基准数据集上进行零样本分类和线性分类的评估，验证了所提方法的有效性。

    Apr, 2024

  • 多边损失函数：在推荐系统中的提出和应用

    多边界损失（MML）是一种简单而有效的损失函数，通过引入多个边界和变化的负样本权重，解决了资源有限时的挑战，并在两个知名数据集上实验证明，在使用更少的负样本时，MML 相对于基准对比损失函数取得了高达 20％的性能提升。

    May, 2024

  • 多模态学习中对比损失的重要性

    通过分析一个简单的多模态对比学习模型的训练动态，我们展示了对比对是提高学习效率和平衡学习表示非常重要的因素。特别地，正对会驱使模型在增加条件数的代价下对齐表示，而负对将减小条件数，保持表示的平衡。

    Apr, 2023

  • 对比推荐系统的毒化攻击

    对比学习已经在推荐领域取得了显著的流行度，但本文发现基于对比学习的推荐系统存在一个更易受污染攻击的漏洞，并通过实验证明了这一攻击模型的破坏性，以促进更强大的对比学习推荐系统的发展。

    Nov, 2023

  • 基于贝叶斯学习的原型对比损失函数在类别增量学习中的应用

    我们提出了一个针对增量学习场景的原型网络和贝叶斯学习驱动对比损失（BLCL）的联合方法，该方法通过减小类内距离和增大类间距离，将新类别融入潜在表示中，动态调整交叉熵和对比损失函数之间的平衡，实证评估结果证明了我们方法的优越性。

    May, 2024

  • 对比学习中互信息的严谨分析

    对比学习通过互信息分析的深入研究，引入了三种新方法和一些相关定理，以增强互信息分析的严谨性，并通过重新评估对比学习分析的三个实例，展示了它们在加深理解或纠正误解方面的能力。

    Aug, 2023