本文提出了稀疏最大函数，一种类似传统 softmax 的激活函数，但能够输出稀疏概率，并给出了其特性及其雅可比矩阵的高效计算方法，并提出了一个新的平滑且凸函数作为逻辑损失的稀疏最大函数的对应，同时也发现它与 Huber 分类损失之间的意外联系，本文得到的实验结果表明，在多标签分类和自然语言推断的基于注意力机制的神经网络中，与传统 softmax 相比，采用稀疏最大函数可以获得类似的性能，但具有更精细、更紧凑的注意力焦点。

Feb, 2016

研究基于概率分布的机器学习任务中，提出了几种概率映射函数，为了控制稀疏度，开发出了一个统一框架并提出了两种新的 sparse formulations，并在多标签分类场景中开发了新的凸损失函数，用于计算注意力权重，从而在类似神经机器翻译和抽象摘要等标准 seq2seq 任务上获得更好的性能。

Oct, 2018

本文提出了两种新的 soft-max 函数，其分别在近似和平滑度方面优于传统的 exponential mechanism 函数，并进一步探讨了 power mechanism 函数在差分隐私亚模性最优情况下的性能。

Oct, 2020

提出了一种基于平滑的最大值算子的新的稀疏和结构化的注意力机制，它不仅包括 softmax 和稀疏 max 作为特例，还可以融合现代结构惩罚，可以应用于神经网络中，在文本蕴含、机器翻译和句子摘要等任务中表现良好，提高了可解释性并保持性能优越。

May, 2017

提出了基于 alpha-entmax 变换的稀疏序列到序列模型，能产生稀疏的对齐和分配概率到一组合理的输出，这在形态学变化和机器翻译的实验中展现了比密集模型更好的表现。

May, 2019

本篇论文提出了 r-softmax，一种可以控制稀疏度率的 softmax 修改方案，不同于其他现有的稀疏概率映射函数，我们提供了一种直观的机制来控制输出的稀疏程度。我们在多个多标签数据集上展示了 r-softmax 的优异表现，并证明了在预训练变压器语言模型的自我注意模块中使用 r-softmax 可以提高在不同自然语言处理任务上的性能。

Apr, 2023

介绍了自适应稀疏转换器，使用 α-entmax 代替 softmax，可以适应性地学习头部偏爱的结构，并改善了 softmax 转换器在机器翻译数据集上的可解释性和头部多样性。

Aug, 2019

提出了一种有效的自注意机制替代方案 ConSmax，通过可扩展硬件和可微分参数实现大规模并行计算，以实现基于 Transformer 的大型语言模型的实时推理，并取得比现有方案更好的能源和面积性能。

Jan, 2024

本文提出了一种高效有效的多轴查询方法 MaxQ，通过动态生成软性 N:M 掩码来考虑多个轴上的权重重要性，从而解决现有 N:M 稀疏性方法中对权重相对重要性的不区分以及对整个网络直接应用 N:M 稀疏性造成的信息丢失问题。实验结果表明，在各种计算机视觉任务中，包括图像分类、目标检测和实例分割中，MaxQ 在不同 CNN 架构上都取得了一致的改进效果。

Dec, 2023

本文提出一种针对子模函数的数据学习算法，可用于数据概括、特征选择和主动学习等机器学习领域。通过将贪婪最大化算法的输出解释为项目序列的分布，本文提出一种可微的方式对模型进行优化。实证研究表明，该方法对解决实际场景中的推荐和图像概括等问题有较好的效果。

Mar, 2018