本文提出了一种信息论方法：通过用 softmax 交叉熵优化分类神经网络的参数，来最大化假设数据平衡下输入和标签之间的互信息，并通过在基于差异信息的 informativeness class activation map 中突出显示输入图像中与给定标签相关性最高的区域来帮助定位目标对象，并通过使用两个真实世界数据集上半监督目标定位任务的实验来评估我们信息理论方法的有效性。

Nov, 2019

本文提出了一种使用交叉熵和 softmax 作为互信息评估器的神经网络分类器的新视角，并且在数据集不平衡时，开发了一种新的 softmax 形式，该形式可以将分类器转换为互信息评估器。实验结果表明，该形式可以提高分类准确性，特别是对于不平衡的数据集。

Jun, 2021

学习目标对协同过滤系统至关重要，贝叶斯个性化排名（BPR）损失广泛用于学习信息丰富的骨干。然而，BPR 往往收敛较慢且局部最优解不理想，部分原因是因为它仅考虑每个正样本一个负样本，忽视了其他未观察到项目的潜在影响。为了解决这个问题，最近提出的采样 Softmax 交叉熵（SSM）将一个正样本与多个负样本进行比较，从而提高了性能。我们的综合实验证实，推荐系统在训练过程中始终受益于多个负样本。此外，我们引入了一种简化的采样 Softmax 交叉熵损失（SimCE），该损失使用其上界简化了 SSM。我们在 12 个基准数据集上进行验证，使用 MF 和 LightGCN 骨干，结果显示 SimCE 在性能上明显优于 BPR 和 SSM。

Jun, 2024

本文研究了使用余弦相似度损失函数进行小数据集分类的问题，发现与分类交叉熵损失函数相比，余弦损失函数在只有极少标本的数据集上具有更高的准确性，在使用类别树的先前知识时可以进一步提高分类性能。

Jan, 2019

介绍了使用 HSIC 瓶颈训练深度神经网络，它可以缓解爆炸和消失梯度的问题，实现了在没有跳跃连接的情况下学习非常深的网络，而且在不需要对称反馈或更新锁定的情况下，可以获得 MNIST / FashionMNIST / CIFAR10 分类等优异的性能。同时，使用 SGD 训练单独的一层可以进一步提高性能。

Aug, 2019

本文提出了一种名为 Symmetric cross entropy Learning 的深度神经网络学习方法，通过将 Cross Entropy 与 Reverse Cross Entropy 相结合，解决了在标签噪声存在下 CE 的过拟合与欠拟合问题，并在多个基准数据集和真实世界数据集实验中表现出优于其他现有方法的效果。

Aug, 2019

本论文介绍了 Tamed Cross Entropy（TCE）损失函数，它是深度学习中用于分类任务的标准交叉熵（CE）损失的一个鲁棒派生物。通过使用 ResNet 架构在人工污染的四个图像数据集上进行评估，证明了 TCE 损失在所有测试场景中优于 CE 损失，并且不需要改变训练方案与 CE 损失相同。

Oct, 2018

本文提供证据表明，对于 NLP 和 ASR 任务，使用方块损失函数进行神经网络训练，可以获得比交叉熵更好的效果，并且可以提高计算资源的利用率。我们认为，使用方块损失函数需要成为现代深度学习最佳实践的一部分，与交叉熵在平等基础上竞争。

Jun, 2020

提出了一种称为 Instance Cross Entropy（ICE）的新的深度度量学习方法，通过 mini-batch 迭代学习并扩展到无限训练数据，同时利用样本权重调整来控制训练中样例的差异度，实验证明其具有简单性，直观性，易于解释性和超越传统方法的性能.

Nov, 2019

本文研究了广泛应用的交叉熵损失函数，提出了一族损失函数 comp-sum，包括了交叉熵、广义交叉熵、平均绝对误差等。我们首次给出了这些损失函数的 H - 相容性，进一步介绍了一种新的平滑对抗 comp-sum 损失函数，并证明了它们有助于在对抗性环境下提高模型的 H - 相容性。

Apr, 2023