Oct, 2023

驯服 Sigmoid 瓶颈：可证明的稀疏多标签分类算法

PDF
TL;DR在多标签分类任务中，sigmoid 输出层广泛应用；本文展示了类似 sigmoid 的瓶颈会导致指数级别的无法预测的标签组合；我们提出了一种离散傅立叶变换输出层，可以防止这种情况的发生，并且相较于 sigmoid 输出层，训练速度更快、参数利用更高效，能够在使用更少的可调参数的同时与 sigmoid 输出层达到相似的 F1 度量指标。
sigmoid output layersmulti-label classificationlow-rank output layerunargmaxable classesdiscrete fourier transform
发现论文，激发创造
  • 低秩 Softmax 理论上可能存在无法取最大值的类别，但在实践中很少出现

    本篇论文研究自然语言处理（NLP）中分类器的输出类别众多，通过开发算法检测大规模语言模型和翻译模型的无法使用 argmax 方法预测的 Tokens，其中 13 个模型存在此类 Tokens，但发现其极少且不太可能影响模型质量。

    Mar, 2022

  • Sigsoftmax：Softmax Engpass 的重新分析

    该论文提出了一种输出激活函数 sigsoftmax 用于解决神经网络语言建模中的 softmax 瓶颈问题，它由指数函数和 sigmoid 函数的乘积构成，相对于 softmax 和混合 softmax，在语言建模实验中表现更好。

    May, 2018

  • 从 Softmax 到 Sparsemax：一种注意力和多标签分类的稀疏模型

    本文提出了稀疏最大函数，一种类似传统 softmax 的激活函数，但能够输出稀疏概率，并给出了其特性及其雅可比矩阵的高效计算方法，并提出了一个新的平滑且凸函数作为逻辑损失的稀疏最大函数的对应，同时也发现它与 Huber 分类损失之间的意外联系，本文得到的实验结果表明，在多标签分类和自然语言推断的基于注意力机制的神经网络中，与传统 softmax 相比，采用稀疏最大函数可以获得类似的性能，但具有更精细、更紧凑的注意力焦点。

    Feb, 2016

  • 通过可学习的单调逐点非线性性消除 Softmax 瓶颈

    提出一种在 softmax 函数之上学习参数单调函数的方法，理论上和实验上都优于传统的 line-softmax 方法，在自然语言模型的应用方面具有潜在的可拓展性。

    Feb, 2019

  • 自动驾驶感知减少过度自信的预测

    本文探讨了基于概率的方式，采用已预训练网络的 Logit 层得分计算分布来进行物体识别，表明与 SoftMax 和 Sigmoid 相比，最大似然和最大后验函数更适合进行这种概率化解释，实现了良好的性能和可解释性。同时，由于这种方法可以在现有训练好的网络上实施，无需再进行训练。

    Feb, 2022

  • 神经网络中 ReLU 激活函数和 Softmax 输出层的逼近性能研究

    该研究论文扩展了通用近似理论，说明了使用 ReLU 激活函数和非线性 softmax 输出层的神经网络能够以任意精度逼近任何在 L1 空间中的函数，并且可用于解决实际的多类别模式分类问题中。此外，这是 softmax 输出层在神经网络中用于模式分类的第一个理论证明。

    Feb, 2020

  • MultiMax：稀疏和多模态的注意力学习

    通过提出 MultiMax 这种分段可微凸函数，根据输入条目范围自适应调节输出分布，我们解决了 SoftMax 及其变体在多模态和稀疏性之间的权衡问题，成功产生了抑制无关条目而保留多模态的分布，对图像分类、语言建模和机器翻译产生了有益的影响。

    Jun, 2024

  • 弱监督语义分割中信息瓶颈的降低

    本文通过对深度神经网络中信息瓶颈原理的分析，提出了一种处理像素级别的弱监督语义分割任务的新方法，该方法去除最后一层的激活函数并引入新的池化策略以弥补信息缺失，实验表明此方法在准确性和性能方面具有明显优势。

    Oct, 2021

  • 利用扩展的 argmax 构建稳定分类器

    我们提出了一个新的算法稳定性框架，用于多类分类。该框架使用连续分数，并引入了稳定得分生成和标签选择机制，以解决分类算法中的不稳定性问题。实验证明，该方法在保持准确性的同时，提供了对不稳定分类器的必要保护。

    May, 2024

  • 可控稀疏 Softmax 替代方案

    研究基于概率分布的机器学习任务中，提出了几种概率映射函数，为了控制稀疏度，开发出了一个统一框架并提出了两种新的 sparse formulations，并在多标签分类场景中开发了新的凸损失函数，用于计算注意力权重，从而在类似神经机器翻译和抽象摘要等标准 seq2seq 任务上获得更好的性能。

    Oct, 2018