学习目标对协同过滤系统至关重要，贝叶斯个性化排名（BPR）损失广泛用于学习信息丰富的骨干。然而，BPR 往往收敛较慢且局部最优解不理想，部分原因是因为它仅考虑每个正样本一个负样本，忽视了其他未观察到项目的潜在影响。为了解决这个问题，最近提出的采样 Softmax 交叉熵（SSM）将一个正样本与多个负样本进行比较，从而提高了性能。我们的综合实验证实，推荐系统在训练过程中始终受益于多个负样本。此外，我们引入了一种简化的采样 Softmax 交叉熵损失（SimCE），该损失使用其上界简化了 SSM。我们在 12 个基准数据集上进行验证，使用 MF 和 LightGCN 骨干，结果显示 SimCE 在性能上明显优于 BPR 和 SSM。

Jun, 2024

本文提出了 L-Softmax loss 作为一种广义的大边际 softmax（L-Softmax）损失函数，可以显式地鼓励所学特征的类内紧密性和类间可分性，并且能够调整想要的边际并避免过拟合，并在四个基准数据集上进行了广泛实验，结果表明使用 L-Softmax 且深度学习的特征更具有区分度，从而大大提高了各种视觉分类和验证任务的性能。

Dec, 2016

提出了一种新的损失函数，EM-Softmax，用于训练 CNN 模型的分类任务，以解决 softmax loss 在特征区分度和分类器弱点方面的局限性，并使用 Hilbert-Schmidt 独立性准则构建弱分类器的集合，通过实验验证其优于当前状态下的 softmax loss 和其他一些算法的性能。

May, 2018

我们提出了一种称为 Guided Complement Entropy（GCE）的新型训练范式，它能够在不使用额外过程的情况下，提高模型的敌对鲁棒性并取得更好的表现效果，我们通过实验证明，该方法优于常用的交叉熵训练目标，并且能够与不同的对抗训练方法一同使用，获得更好的模型鲁棒性。

Mar, 2019

该论文介绍了一种通过 margin-boosting 来学习最大 margin 的神经网络集成防御方法，并提出了一种 margin-maximizing cross-entropy (MCE) 损失函数，实验证明用 MCE 代替标准的 cross-entropy 损失函数在对抗训练上能显著提高性能。

Jun, 2022

本研究探讨了在最小化损失时，编码器输出空间内所寻求的类别性空间几何是否存在本质差异。同时提供实证证据表明，两种损失函数的优化行为存在显著不同，这将对神经网络的训练产生影响。

Feb, 2021

本文提出了一种新的辅助监督信号 —— 对比中心损失，它能够进一步增强特征的区分能力，通过惩罚训练样本到它们对应类别中心距离的对比值和样本到非对应类别中心距离之和的对比值同时考虑了类内紧凑性和类间可分性。在不同的数据集上的实验证明了对比中心损失的有效性。

Jul, 2017

本论文讨论如何提高基于深度神经网络分类器在训练数据中鲁棒性以解决标签噪声问题，通过代替分类交叉熵损失为适应标签噪声的损失函数，或者改变训练样本的权重来缓解标签噪声的影响，并介绍一种基于对比学习技术来初始化有监督鲁棒方法以解决高标签噪声下的图像分类问题的方法。

Apr, 2021

研究了 embedding geometry 对 softmax losses 在分类和图像检索任务中的影响，并提出了一个基于 von Mises-Fisher 分布的概率分类器，在产生改进的 out-of-the-box 校准的同时，与现有技术方法相比具有竞争力。

Mar, 2021

本论文提出一种新颖的训练方法和阈值测试策略，以实现对恶意制造的对抗样本的鲁棒检测。在训练中，我们提出了最小化反交叉熵（RCE）的方法，以鼓励深度网络学习更好地区分对抗样本和正常样本的潜在表示。在测试中，我们提出了使用阈值策略作为检测器，以过滤出对抗样本，以实现可靠预测，我们的方法使用标准算法简单实现，与常见的交叉熵最小化相比，几乎没有额外的训练成本。我们将该方法应用于广泛使用的 MNIST 和 CIFAR-10 数据集上的各种攻击方法，并在对抗环境下的所有威胁模型中实现显著的鲁棒预测改进。

Jun, 2017