提出一种使用贝叶斯方法中的随机变量作为分类任务中的 softmax 的替代品，以更好地估计不确定性和模型校准，并在多种挑战性任务中提供了一致的泛化性能提高。

Feb, 2020

本文深入分析了 Monte Carlo Dropout 方法和 softmax 方法的应用，发现虽然前者可以提供更好的不确定性估计，但后者可以在更低的计算成本下提供竞争力的不确定性估计，并且适合不具备大量计算资源的模型。

Oct, 2022

本论文介绍了一种新的 Gumbel-Softmax 梯度估计器，用于处理类别离散型变量，能够有效地支持半监督学习以及结构化输出预测和无监督生成建模任务，并且可以通过渐进式的方式向分类型分布过渡。

Nov, 2016

文章提出了一种名为自适应 softmax 的算法，采用字词聚类的方法来降低神经网络语言模型训练中的计算复杂度，并结合现代计算机体系结构和矩阵向量运算技术进一步提高了训练效率。实验结果表明该方法的效果稳定，能够在保证高精度的同时显著提高计算速度。

Sep, 2016

本文提出一种简单的训练方法，通过从模仿数据分布的对抗模型中绘制负样本来大大增强梯度信号，以实现极端分类的高效训练，并在大规模数据集上实现了训练时间相对于几个竞争基线的数量级的减少。

Feb, 2020

本文比较了 Softmax 和 Hierarchical Softmax 对于 LSHTC 数据集的性能表现，结果发现在类别数量较多时，Hierarchical Softmax 的表现会下降。

Dec, 2018

在扰动模型框架下，我们使用随机 softmax 技巧（stochastic softmax tricks）对 Gumbel-Softmax 技巧进行了推广，将其推广到组合空间。与基线相比，我们发现使用随机 softmax 技巧可以训练表现更好、发现更多潜在结构的潜在变量模型。

Jun, 2020

通过学习让机器学习分类器在更准确的专家存在时推迟决策，可以提高安全性和性能。本研究证明了以先前文献中代理损失的对称性为原因，而不是 softmax 本身，导致了未校准和无界估计的问题，并提出了一种新颖的统计一致的基于非对称 softmax 的替代损失函数，该方法可以产生有效的估计结果。我们进一步分析了我们方法的非渐近特性，并在基准数据集上验证了其性能和校准性。

Nov, 2023

本文提出了一种新的单模型方法，通过模擬高斯分布与神经网络的 softmax 输出的集成来解决深度神经网络输出预测中的不确定性问题，同时可以进行闭式近似推断。实验证明，该方法在标准不确定性估计任务中性能竞争力强，并且在超出分布检测方面优于许多基线方法。

Jun, 2020

通过重新设计逻辑 - softmax 似然函数，控制先验置信水平，将数据增强技术应用于深度核心基于高斯过程的元学习框架，实现了良好校准的不确定性估计，并在标准基准数据集上取得了可比较或优秀的结果。

Oct, 2023