在多标签分类任务中，sigmoid 输出层广泛应用；本文展示了类似 sigmoid 的瓶颈会导致指数级别的无法预测的标签组合；我们提出了一种离散傅立叶变换输出层，可以防止这种情况的发生，并且相较于 sigmoid 输出层，训练速度更快、参数利用更高效，能够在使用更少的可调参数的同时与 sigmoid 输出层达到相似的 F1 度量指标。

Oct, 2023

该研究论文扩展了通用近似理论，说明了使用 ReLU 激活函数和非线性 softmax 输出层的神经网络能够以任意精度逼近任何在 L1 空间中的函数，并且可用于解决实际的多类别模式分类问题中。此外，这是 softmax 输出层在神经网络中用于模式分类的第一个理论证明。

Feb, 2020

本文针对 NLP 系统中稀有词和未知词的问题，提出了一种使用注意力机制的神经网络模型。该模型使用两个 softmax 层来预测条件语言模型中的下一个词，同时根据上下文情况来自适应地选择适合的 softmax 层。在 Europarl 英法平行语料和 Gigaword 数据集上，通过使用该模型进行神经机器翻译和文本摘要，我们观察到了实验结果的提高。

Mar, 2016

大型语言模型在多项选择问答任务中的最大 softmax 概率 (MSP) 与正确答案相比与错误答案相关性强，对问答任务表现优异的模型的 MSP 生成的 AUROC 在 59/60 情况中高于随机概率，并在最佳的六个模型中 AUROC 平均为 60% 到 69%。通过基于初始模型响应的 MSP 有选择地弃权，提出了一种能提高性能的多项选择问答任务。同样，我们使用预修正前 logit 进行了相同的实验，并获得了类似 (但不完全相同) 的结果。

Feb, 2024

我们提出了一种新的速度提升技术，通过使用类的形式将模型分解为两个最大熵模型，其一用于预测每个单词的类，其二用于预测单词本身，从而减少非零指示函数和更快的归一化，实现了比以前最佳技术高达 35 倍的速度提升。该技术还可用于加速训练其他机器学习技术，例如神经网络，适用于任何具有大量输出的问题，如语言建模。

Aug, 2001

本文研究了活性学习的策略及其所用到的模型预测的置信度度量。通过对七个数据集中 8 种排除离群值的策略进行实验，发现大多数方法过于依赖寻找最不确定的样本（离群值），导致只标记离群值反而表现更差，文中提出一种方法对样本进行系统性忽略，在多种方法上相对 softmax 函数获得了更好的效果。

Oct, 2022

在语言建模中，研究人员发现较小的模型在训练后期可能会出现饱和现象，其原因是较小模型的隐藏维度与目标上下文概率分布的高秩之间存在不匹配，由此导致线性预测头的性能下降。实验结果表明，隐藏维度小于 1000 的模型在预训练后期会采用退化的潜在表示，从而导致评估性能降低。

Apr, 2024

本文将语言模型制定为矩阵分解问题，证明了基于 Softmax 的模型（包括大多数神经语言模型）的表达能力受到 Softmax 瓶颈的限制，指出在实践中，带有分布式单词嵌入的 Softmax 模型并没有足够的能力来对自然语言进行建模。作者提出了一种简单而有效的方法来解决这个问题，并在 Penn Treebank 和 WikiText-2 上改善了现有的最佳结果，分别达到了 47.69 和 40.68 的困惑度。而且，该方法也在大规模的 1B Word 数据集上表现出色，在困惑度上优于基线 5.6 个点以上。

Nov, 2017

通过提出 MultiMax 这种分段可微凸函数，根据输入条目范围自适应调节输出分布，我们解决了 SoftMax 及其变体在多模态和稀疏性之间的权衡问题，成功产生了抑制无关条目而保留多模态的分布，对图像分类、语言建模和机器翻译产生了有益的影响。

Jun, 2024

本文探讨了大型语言模型（LLMs）的 softmax 单元，在 LLMs 中的重要性与在具有凸优化问题的中心路径法等其他应用中的使用，同时提出并证明了一种基于贪心算法的 softmax 回归方法，为了在实践中使用此方法提供了理论支持。

Apr, 2023