使用累计交叉熵损失的序列推荐有效高效训练

Jan, 2023

使用累计交叉熵损失的序列推荐有效高效训练

Effective and Efficient Training for Sequential Recommendation Using Cumulative Cross-Entropy Loss

Fangyu Li, Shenbao Yu, Feng Zeng, Fang Yang

TL;DR本文提出了一种基于序列的 Cumulative Cross-Entropy (CCE) 损失函数，在不使用负采样的情况下有效地训练了三种最先进的推荐模型，针对序列推荐系统中存在的缺陷，重点解决了序列信息利用率低的问题，并在五个基准数据集上进行了广泛的实验。

Abstract

Increasing research interests focus on sequential recommender systems, aiming to model dynamic sequence representation precisely. However, the most commonly used loss function in state-of-the-art sequential recom

sequential recommender systems dynamic sequence representation cumulative cross-entropy loss benchmark datasets model training

发现论文，激发创造

SimCE：简化协同过滤中的交叉熵损失

学习目标对协同过滤系统至关重要，贝叶斯个性化排名（BPR）损失广泛用于学习信息丰富的骨干。然而，BPR 往往收敛较慢且局部最优解不理想，部分原因是因为它仅考虑每个正样本一个负样本，忽视了其他未观察到项目的潜在影响。为了解决这个问题，最近提出的采样 Softmax 交叉熵（SSM）将一个正样本与多个负样本进行比较，从而提高了性能。我们的综合实验证实，推荐系统在训练过程中始终受益于多个负样本。此外，我们引入了一种简化的采样 Softmax 交叉熵损失（SimCE），该损失使用其上界简化了 SSM。我们在 12 个基准数据集上进行验证，使用 MF 和 LightGCN 骨干，结果显示 SimCE 在性能上明显优于 BPR 和 SSM。

Jun, 2024

序列识别的聚合交叉熵

本文提出一种新方法聚合交叉熵（ACE）用于序列识别，其性能与 CTC 和注意力机制不相上下，但实现速度更快、存储要求更低、更便于使用，并能直接应用于 2D 预测及计数问题。

Apr, 2019

使用频率感知交叉熵损失改善神经应答多样性

本文针对 Seq2Seq 模型中存在的响应生成多样性不足的问题，探究了预测分布中过度自信的连接，提出了一种基于词频加权的损失函数 —— 面向词频的交叉熵损失（FACE）函数，实验证明，该函数能够显著提高现有 Seq2Seq 响应生成方法的多样性。

Feb, 2019

CLCE：优化学习融合的交叉熵和对比学习的改进方法

我们介绍了一种名为 CLCE 的新方法，将标签感知对比学习与 CE 相结合，通过有效的负样本挖掘增强性能，在少样本学习和迁移学习中使得 CLCE 显著优于 CE。

Feb, 2024

控制交叉熵损失

本论文介绍了 Tamed Cross Entropy（TCE）损失函数，它是深度学习中用于分类任务的标准交叉熵（CE）损失的一个鲁棒派生物。通过使用 ResNet 架构在人工污染的四个图像数据集上进行评估，证明了 TCE 损失在所有测试场景中优于 CE 损失，并且不需要改变训练方案与 CE 损失相同。

Oct, 2018

实时规划的高样本利用率交叉熵方法

本文提出了改进的 CEM 算法，包括时间相关动作和内存等创新性的增加，可以在高维控制问题中使用，减少了采样次数并提高了 1.2-10 倍的性能表现。

Aug, 2020

U-CE: 语义分割的不确定性感知交叉熵

利用动态预测不确定性的像素权重加权 U-CE（Uncertainty-aware Cross-Entropy loss）训练方法在两个基准数据集上优于传统 CE（cross-entropy loss）训练方法，提高了安全关键应用中更稳健可靠的分割模型的性能和可信度。

Jul, 2023

gSASRec：用负采样训练的序列推荐系统中减少过度自信的方法

本文研究了推荐模型中的目录规模、负采样、过度自信等问题，并提出了 gBCE 损失函数和 gSASRec 模型，通过实验证明 gSASRec 在大规模数据集中表现优异，与 BERT4Rec 相比能够在更短的训练时间内获得更好的推荐效果。

Aug, 2023

神经序列模型端到端训练的连续松弛束搜索

本报告提出了一种新的神经序列模型的训练方法来更好地利用束搜索算法，该方法通过引入介绍连续逼近束搜索的新方法来形成一个次微分的替代目标，在 Named Entity Recognition 和 CCG Supertagging 两个序列任务的实验中，优化此新的训练目标能够比交叉熵训练的贪婪解码和交叉熵训练的束搜索解码基线都得到实质性的改善。

Aug, 2017

带有噪声标签的鲁棒学习的对称交叉熵

本文提出了一种名为 Symmetric cross entropy Learning 的深度神经网络学习方法，通过将 Cross Entropy 与 Reverse Cross Entropy 相结合，解决了在标签噪声存在下 CE 的过拟合与欠拟合问题，并在多个基准数据集和真实世界数据集实验中表现出优于其他现有方法的效果。

Aug, 2019