Oct, 2018

大词汇神经网络快速 Softmax 推理的筛选学习

PDF
TL;DR在本文中，我们介绍了一种利用上下文向量的聚类结构的软最大似然层逼近算法，在移动设备上比传统方法具有更快的推理速度。我们使用 Gumbel softmax 对筛选模型进行端到端训练，通过在各种 NLP 任务中对前 k 个单词进行预测，实现了一个数量级更快的推理速度，例如在德语到英语的机器翻译任务中，与现有先进技术相比，我们实现了 20.4 倍的加速。
发现论文，激发创造
  • GPU 上高效的 softmax 近似算法

    文章提出了一种名为自适应 softmax 的算法，采用字词聚类的方法来降低神经网络语言模型训练中的计算复杂度，并结合现代计算机体系结构和矩阵向量运算技术进一步提高了训练效率。实验结果表明该方法的效果稳定，能够在保证高精度的同时显著提高计算速度。

    Sep, 2016

  • 采用图表示法导航，快速可扩展解码神经语言模型

    提出一种名为 Fast Graph Decoder (FGD) 的 softmax layer 近似算法，可快速识别给定上下文中最可能出现的 K 个单词，从而减少解码时间并保持接近全 softmax 基线准确率，在神经机器翻译和语言建模任务上证明了其有效性，同时也证明了其理论保证。

    Jun, 2018

  • 基于 GPU 的聚类快速词汇投影法用于多语机器翻译

    本文提出了一种通过聚类实现快速词汇投影的方法，以用于 GPU 上的多语言 transformers，结果显示在保持 BLEU 得分的同时，在浮点 GPU 推理速度上最高可提高 25％，并最高可提高 2.6 倍的词汇投影速度。

    Aug, 2022

  • 大词汇神经语言模型的训练策略

    本研究系统比较了代表性的方法来表示和训练大词汇下的神经网络语言模型，包括 softmax、层级 softmax、自归一化等方法，并在三个流行的基准数据集上评估了每种方法在罕见词汇、速度 / 精度平衡以及与 Kneser-Ney 模型之间的互补性方面的表现。

    Dec, 2015

  • 使用 Gumbel Softmax 进行通道选择

    论文提出了一种端到端的神经网络优化框架，通过同时考虑分类误差和批量激活损失，使用 Gumbel 重参数化来学习网络结构，在训练和推理中均能支持网络修剪与条件计算，实验结果在 ImageNet 分类任务中获得了 45-52% 的计算量降低。

    Dec, 2018

  • 探究 softmax 层中的核函数用于上下文单词分类

    研究了在上下文词分类中使用内核函数代替内积函数的效果，通过在标准的语言建模和机器翻译任务上进行实验，探讨了不同内核设置对性能的影响，并研究了梯度属性、混合策略和消歧能力。

    Oct, 2019

  • 连续输出序列到序列模型的 von Mises-Fisher 损失训练

    本研究提出了一种用连续嵌入层替代 Softmax 层的技术，使得生成的语言模型具有较大的词汇表并且具有比传统模型更高效的训练速度，在神经机器翻译任务上的表现也保持在业界领先水平。

    Dec, 2018

  • 打破 Softmax 瓶颈：高级 RNN 语言模型

    本文将语言模型制定为矩阵分解问题，证明了基于 Softmax 的模型（包括大多数神经语言模型）的表达能力受到 Softmax 瓶颈的限制，指出在实践中，带有分布式单词嵌入的 Softmax 模型并没有足够的能力来对自然语言进行建模。作者提出了一种简单而有效的方法来解决这个问题，并在 Penn Treebank 和 WikiText-2 上改善了现有的最佳结果，分别达到了 47.69 和 40.68 的困惑度。而且，该方法也在大规模的 1B Word 数据集上表现出色，在困惑度上优于基线 5.6 个点以上。

    Nov, 2017

  • 加速 Entmax

    本文研究了针对语言处理中神经网络常用的 softmax 在文本生成中出现的问题，提出了一种替代 alpha-entmax 的方法，并在机器翻译任务中取得了与 alpha-entmax 相当或更好的性能。

    Nov, 2021

  • 用 Softmax 温化技术训练神经机器翻译模型

    本研究探讨了采用 softmax tempering 技术来训练神经机器翻译模型，在亚洲语言 Treebank 数据集和 WMT 2019 英德翻译任务中实验证明该技术显著提高翻译质量，同时使贪心搜索与 Beam Search 解码同为一体，从而实现高速翻译。此外，我们还分析了 softmax entropy 和梯度对 NMT 模型内部行为的影响。

    Sep, 2020