研究了 embedding geometry 对 softmax losses 在分类和图像检索任务中的影响，并提出了一个基于 von Mises-Fisher 分布的概率分类器，在产生改进的 out-of-the-box 校准的同时，与现有技术方法相比具有竞争力。

Mar, 2021

本研究分析了通过逻辑回归和 softmax 损失训练的深度卷积神经网络，证明了经 class-wise 重新加权的损失函数可以帮助解决类别不平衡问题，提高了二分类。我们还提出了一种新的重新加权的逻辑回归损失函数用于解决多类别分类问题，特别是一对多方法中的负类别问题，有望成为与 softmax 损失函数相竞争的有效方法。

Mar, 2020

研究基于概率分布的机器学习任务中，提出了几种概率映射函数，为了控制稀疏度，开发出了一个统一框架并提出了两种新的 sparse formulations，并在多标签分类场景中开发了新的凸损失函数，用于计算注意力权重，从而在类似神经机器翻译和抽象摘要等标准 seq2seq 任务上获得更好的性能。

Oct, 2018

本文提出了一种基于算法的方法，通过使用 loss 函数直接计算误差和梯度更新输出权重，而无需计算大维度向量，以实现高效地训练深度神经网络模型。

Jun, 2016

该论文研究了概率预测中的标准损失函数，发现对于任何计算损失函数，log 损失函数都是最具选择性的，并讨论了其优化算法的特征。

Feb, 2015

提出了一种新的损失函数，EM-Softmax，用于训练 CNN 模型的分类任务，以解决 softmax loss 在特征区分度和分类器弱点方面的局限性，并使用 Hilbert-Schmidt 独立性准则构建弱分类器的集合，通过实验验证其优于当前状态下的 softmax loss 和其他一些算法的性能。

May, 2018

本文提出了 L-Softmax loss 作为一种广义的大边际 softmax（L-Softmax）损失函数，可以显式地鼓励所学特征的类内紧密性和类间可分性，并且能够调整想要的边际并避免过拟合，并在四个基准数据集上进行了广泛实验，结果表明使用 L-Softmax 且深度学习的特征更具有区分度，从而大大提高了各种视觉分类和验证任务的性能。

Dec, 2016

介绍了一种对 softmax 概率的有效逼近方法，该方法基于一种严格的下界概率，可通过随机优化进行可扩展的估计，并演示了其在分类问题中的应用。

Sep, 2016

通过理论分析我们发现 Softmax loss (SL) 的强大性能是由于对负数据分布进行了 Distributionally Robust Optimization (DRO)，因此具有鲁棒性；相较于其他损失函数，SL 隐式地惩罚预测方差，从而得到更公平的结果。基于这些见解，我们进一步提出了一种新的损失函数 Bilateral SoftMax Loss (BSL)，可以使模型对于噪声正例具有鲁棒性。值得一提的是，BSL 相较于 SL 只需添加一行代码即可实现。通过实验证明了我们提出的方法的有效性。

Dec, 2023

本文提出了稀疏最大函数，一种类似传统 softmax 的激活函数，但能够输出稀疏概率，并给出了其特性及其雅可比矩阵的高效计算方法，并提出了一个新的平滑且凸函数作为逻辑损失的稀疏最大函数的对应，同时也发现它与 Huber 分类损失之间的意外联系，本文得到的实验结果表明，在多标签分类和自然语言推断的基于注意力机制的神经网络中，与传统 softmax 相比，采用稀疏最大函数可以获得类似的性能，但具有更精细、更紧凑的注意力焦点。

Feb, 2016