Dec, 2023

BSL：理解和改进用于推荐的 Softmax 损失函数

PDF
TL;DR通过理论分析我们发现 Softmax loss (SL) 的强大性能是由于对负数据分布进行了 Distributionally Robust Optimization (DRO)，因此具有鲁棒性；相较于其他损失函数，SL 隐式地惩罚预测方差，从而得到更公平的结果。基于这些见解，我们进一步提出了一种新的损失函数 Bilateral SoftMax Loss (BSL)，可以使模型对于噪声正例具有鲁棒性。值得一提的是，BSL 相较于 SL 只需添加一行代码即可实现。通过实验证明了我们提出的方法的有效性。
loss functionssoftmax lossfairnessoptimizationrecommendation models
发现论文，激发创造
  • 采样 Softmax 损失对于物品推荐的有效性

    本研究通过理论推导与实验验证，阐明了应用于商品推荐的采样 softmax 损失函数相较传统损失的理论优势包括减轻流行度偏见、挖掘难负样本、最大化排名指标等，并探讨了其在不同推荐算法中的具体应用及特性。

    Jan, 2022

  • 多标签分类的不对称损失

    通过引入新的不对称损失 (ASL) 并对正负样本进行不同的操作，实现了动态减小容易的负样本，并去除可能被错误标记的样本，使得多标签数据集像 MS-COCO、Pascal-VOC、NUS-WIDE 和 Open Images 的 mAP 得分更加平衡，达到了最新的表现水平，同时也展示了 ASL 适用于其他任务，如单标签分类和物体检测。

    Sep, 2020

  • 卷积神经网络大边界 Softmax 损失

    本文提出了 L-Softmax loss 作为一种广义的大边际 softmax（L-Softmax）损失函数，可以显式地鼓励所学特征的类内紧密性和类间可分性，并且能够调整想要的边际并避免过拟合，并在四个基准数据集上进行了广泛实验，结果表明使用 L-Softmax 且深度学习的特征更具有区分度，从而大大提高了各种视觉分类和验证任务的性能。

    Dec, 2016

  • 图像分类的组合软间隔 softmax 损失

    提出了一种新的损失函数，EM-Softmax，用于训练 CNN 模型的分类任务，以解决 softmax loss 在特征区分度和分类器弱点方面的局限性，并使用 Hilbert-Schmidt 独立性准则构建弱分类器的集合，通过实验验证其优于当前状态下的 softmax loss 和其他一些算法的性能。

    May, 2018

  • 属于球面损失家族的 Softmax 替代方案探究

    该论文研究了一些来自球形家族的损失函数，探讨它们是否可以替代传统的 log-softmax 损失函数，并发现这些替代方案在 MNIST 和 CIFAR-10 上的表现优于传统的损失函数。

    Nov, 2015

  • SimCE：简化协同过滤中的交叉熵损失

    学习目标对协同过滤系统至关重要，贝叶斯个性化排名（BPR）损失广泛用于学习信息丰富的骨干。然而，BPR 往往收敛较慢且局部最优解不理想，部分原因是因为它仅考虑每个正样本一个负样本，忽视了其他未观察到项目的潜在影响。为了解决这个问题，最近提出的采样 Softmax 交叉熵（SSM）将一个正样本与多个负样本进行比较，从而提高了性能。我们的综合实验证实，推荐系统在训练过程中始终受益于多个负样本。此外，我们引入了一种简化的采样 Softmax 交叉熵损失（SimCE），该损失使用其上界简化了 SSM。我们在 12 个基准数据集上进行验证，使用 MF 和 LightGCN 骨干，结果显示 SimCE 在性能上明显优于 BPR 和 SSM。

    Jun, 2024

  • 文本 - 图像匹配的强大且稳健的基准线

    本文提出在文本图像匹配中使用新的训练和推导技术，首先通过实验证明了 sum loss 和 max-margin loss 存在的限制，提出了一种新的 kNN-margin loss。其次，在推导时提出一种 Inverted Softmax 和 Cross-modal Local Scaling 的技术，以减轻高维嵌入空间中的 hubness 问题，有效提升了所有指标的表现和得分。

    Jun, 2019

  • 平衡元 Softmax 用于长尾视觉识别

    本文提出了无偏的 Balanced Softmax 方法和 Balanced Meta-Softmax 方法，以解决训练和测试分布不匹配的深度学习分类问题，实验证明其在视觉识别和实例分割任务中胜于现有最佳方法。

    Jul, 2020

  • 深度神经网络中用于逻辑斯谛回归和 Softmax 回归的损失函数学习性质

    本研究分析了通过逻辑回归和 softmax 损失训练的深度卷积神经网络，证明了经 class-wise 重新加权的损失函数可以帮助解决类别不平衡问题，提高了二分类。我们还提出了一种新的重新加权的逻辑回归损失函数用于解决多类别分类问题，特别是一对多方法中的负类别问题，有望成为与 softmax 损失函数相竞争的有效方法。

    Mar, 2020

  • 标签平滑是针对模型错配的鲁棒化方法

    本文研究了标签平滑 (label smoothing) 技术的两个修改：损失函数及概率估计，提出了一种改进版的 modified LSLR，并通过理论和实验分别证明了其具有更高的鲁棒性和更糟糕的概率估计性能。

    May, 2023