Jun, 2024

SimCE：简化协同过滤中的交叉熵损失

PDF
TL;DR学习目标对协同过滤系统至关重要，贝叶斯个性化排名（BPR）损失广泛用于学习信息丰富的骨干。然而，BPR 往往收敛较慢且局部最优解不理想，部分原因是因为它仅考虑每个正样本一个负样本，忽视了其他未观察到项目的潜在影响。为了解决这个问题，最近提出的采样 Softmax 交叉熵（SSM）将一个正样本与多个负样本进行比较，从而提高了性能。我们的综合实验证实，推荐系统在训练过程中始终受益于多个负样本。此外，我们引入了一种简化的采样 Softmax 交叉熵损失（SimCE），该损失使用其上界简化了 SSM。我们在 12 个基准数据集上进行验证，使用 MF 和 LightGCN 骨干，结果显示 SimCE 在性能上明显优于 BPR 和 SSM。
learning objectivecollaborative filtering systemsbayesian personalized rankingsampled softmax cross-entropyrecommender systems
发现论文，激发创造
  • 使用累计交叉熵损失的序列推荐有效高效训练

    本文提出了一种基于序列的 Cumulative Cross-Entropy (CCE) 损失函数，在不使用负采样的情况下有效地训练了三种最先进的推荐模型，针对序列推荐系统中存在的缺陷，重点解决了序列信息利用率低的问题，并在五个基准数据集上进行了广泛的实验。

    Jan, 2023

  • SimpleX：协同过滤的简单而强大的基准模型

    通过对 11 个基准数据集进行广泛的实验，本研究体现了损失函数以及负采样比率的重要性， 并进一步将余弦对比损失函数用于一个简单的统一协同过滤模型 SimpleX 中， 结果表明，在 CCL 损失和大负采样比率下，SimpleX 可以大幅度超越大多数当前最先进的模型。

    Sep, 2021

  • 关于对抗鲁棒性的重新思考：Softmax 交叉熵损失

    该研究探讨了在保证标准准确率的前提下提高对抗性鲁棒性的方法，介绍了 Max-Mahalanobis 中心损失函数，强制在特征空间中诱导高密度区域，以使学习到的特征点更加紧凑和有序，从而提高对抗性防御水平。

    May, 2019

  • 采样 Softmax 损失对于物品推荐的有效性

    本研究通过理论推导与实验验证，阐明了应用于商品推荐的采样 softmax 损失函数相较传统损失的理论优势包括减轻流行度偏见、挖掘难负样本、最大化排名指标等，并探讨了其在不同推荐算法中的具体应用及特性。

    Jan, 2022

  • 带有噪声标签的鲁棒学习的对称交叉熵

    本文提出了一种名为 Symmetric cross entropy Learning 的深度神经网络学习方法，通过将 Cross Entropy 与 Reverse Cross Entropy 相结合，解决了在标签噪声存在下 CE 的过拟合与欠拟合问题，并在多个基准数据集和真实世界数据集实验中表现出优于其他现有方法的效果。

    Aug, 2019

  • Softmax 交叉熵和负采样的统一解释：以知识图谱嵌入为例的案例研究

    本篇论文通过对 softmax 交叉熵与负采样损失函数的 Bregman 距离统一解释，得出理论研究结果，证实其在实际环境中的有效性。

    Jun, 2021

  • 深度度量学习的实例交叉熵

    提出了一种称为 Instance Cross Entropy（ICE）的新的深度度量学习方法，通过 mini-batch 迭代学习并扩展到无限训练数据，同时利用样本权重调整来控制训练中样例的差异度，实验证明其具有简单性，直观性，易于解释性和超越传统方法的性能.

    Nov, 2019

  • gSASRec：用负采样训练的序列推荐系统中减少过度自信的方法

    本文研究了推荐模型中的目录规模、负采样、过度自信等问题，并提出了 gBCE 损失函数和 gSASRec 模型，通过实验证明 gSASRec 在大规模数据集中表现优异，与 BERT4Rec 相比能够在更短的训练时间内获得更好的推荐效果。

    Aug, 2023

  • 实时规划的高样本利用率交叉熵方法

    本文提出了改进的 CEM 算法，包括时间相关动作和内存等创新性的增加，可以在高维控制问题中使用，减少了采样次数并提高了 1.2-10 倍的性能表现。

    Aug, 2020

  • 平滑对比学习用于无监督句子嵌入

    该论文提出了一种简单有效的平滑策略 (Gaussian Smoothing InfoNCE)，以解决在使用较大 batch size 时信息噪声过多导致性能下降的问题，在标准语义文本相似度任务 (STS) 上表现超过了目前最先进的无监督学习方法 (unsup-SimCSE)

    Sep, 2021