本研究提出两种分布，实现了真正自适应的采样方案，能够在近乎常数的时间内产生负样本，相较于流行的负采样算法，基于 CPU 实现的本研究方法在 Wall-Clock 时间和准确性方面都显著优于最优化的 Tensorflow 实现在 NVIDIA V100 GPU 上的热门负采样方法。

Dec, 2020

本文探讨了在存在对抗扰动的情况下的极端分类中的学习任务，并提出了一种鲁棒优化框架和相应的正则化目标，发现 Hamming 损失可作为尾标签检测的有效方法。通过结合正则化目标和基于 Proximal 梯度的优化方法，相对于 PFastreXML 和 SLEEC 等现有方法在 precision@k 和 nDCG@k 上提供了优异的性能。同时，我们还研究了标签图的谱特性，提供了新的洞察力以了解 Hamming 损失的一对多方法和标签嵌入方法之间性能的条件限制。

Mar, 2018

本文提出了一种简单而有效的方法，可用于检测任何异常样本，适用于任何预训练的 softmax 神经分类器，在高鲁棒性方面表现优越，同时在检测离群样本和对抗样本方面都取得了最先进的性能，在分类增量学习中有着更广泛的应用。

Jul, 2018

本文针对多分类中神经网络训练成本高的问题，提出了一种基于 Random Fourier Features 的随机傅里叶 softmax（RF-softmax）方法，以更高效和准确地在近似的 softmax 分布中采样来降低偏差，并表明其成本仅以对数方式缩放。

Jul, 2019

介绍了一种对 softmax 概率的有效逼近方法，该方法基于一种严格的下界概率，可通过随机优化进行可扩展的估计，并演示了其在分类问题中的应用。

Sep, 2016

本文介绍了两种简单的技术对抗现实场景中数据标签分布的不平衡性，包括采用标签频率进行 logistic 校准 以及在训练过程中强制实施其中之一或两种技术能够鼓励罕见标签与支配标签之间拥有一个相对较大的罕见标签较大的标签在一些学习情况中具有更好的表现。

Jul, 2020

使用标准神经网络结构和 softmax 作为最终层从部分标记的监督中学习概率分类器，根据实验发现原模型可能存在偏差现象，导致梯度下降动力过于敏感而不能进行正确的探索，因此提出一种新型的损失函数来解决这个问题，并在合成数据、部分标注基准和现存规则学习挑战的贡献新基准上进行广泛的评估。

Jul, 2023

本研究探讨如何解决深度学习中因分类数目巨大而导致的内存、计算资源消耗问题，提出一种大规模训练系统，通过使用混合并行训练框架、KNN softmax、梯度稀疏化等新方法，大幅提高了训练速度与效率，并在实验中取得了高准确率。

Feb, 2021

文章提出了一种名为自适应 softmax 的算法，采用字词聚类的方法来降低神经网络语言模型训练中的计算复杂度，并结合现代计算机体系结构和矩阵向量运算技术进一步提高了训练效率。实验结果表明该方法的效果稳定，能够在保证高精度的同时显著提高计算速度。

Sep, 2016

本文提出了基于核函数的采样方法并发展了高效的采样算法以减少对于大量样本情况下传统采样方法的偏倚问题。实验结果表明此方法相较于传统采样方法偏差较小并且需要的样本数更少。

Dec, 2017