Dec, 2015

大词汇神经语言模型的训练策略

PDF
TL;DR本研究系统比较了代表性的方法来表示和训练大词汇下的神经网络语言模型，包括 softmax、层级 softmax、自归一化等方法，并在三个流行的基准数据集上评估了每种方法在罕见词汇、速度 / 精度平衡以及与 Kneser-Ney 模型之间的互补性方面的表现。
neural network language modelslarge vocabulariessoftmaxhierarchical softmaxself normalization
发现论文，激发创造
  • 神经机器翻译中使用非常大的目标词汇量

    本文提出了一种基于重要性采样的方法，使我们可以使用非常大的目标词汇，有效地进行解码，可以优于基准模型和 LSTM-based 神经机器翻译模型，并使用多个模型集成实现了英 -> 德翻译的最先进性能（由 BLEU 度量）。

    Dec, 2014

  • 一个用于训练神经概率语言模型的快速简单算法

    本文提出了一种快速而简单的基于噪声对比估计算法的 NPLM 训练方法，用此方法训练了几个神经语言模型并在 Microsoft Research 句子完成挑战数据集上取得了最先进的结果，有效地降低了训练时间。

    Jun, 2012

  • 为跨语言语言模型预训练分配大型词汇容量

    通过 VoCap 算法确定语言所需的词汇容量并使用 k-NN 目标采样来加速昂贵的 softmax，从而缓解词汇量增加的副作用，提高交叉语言模型的预训练速度和性能。

    Sep, 2021

  • GPU 上高效的 softmax 近似算法

    文章提出了一种名为自适应 softmax 的算法，采用字词聚类的方法来降低神经网络语言模型训练中的计算复杂度，并结合现代计算机体系结构和矩阵向量运算技术进一步提高了训练效率。实验结果表明该方法的效果稳定，能够在保证高精度的同时显著提高计算速度。

    Sep, 2016

  • 通过稀疏词表示压缩神经语言模型

    本文提出使用稀疏单词表示来压缩神经语言模型的参数量，以减少计算资源需求并提高性能表现。

    Oct, 2016

  • 利用语言聚类词汇改进多语言模型

    本文比较现有多语言模型词汇表生成方法，提出了一种新的多语言词汇表生成方法。实验证明，该方法能够提高多个语言上的推理性能，同时在不增加模型大小或数据的情况下，将语言识别率降低了 8 倍。

    Oct, 2020

  • 基于计数和神经模型的泛化和混合语言模型

    本研究通过定义词汇表上的一组概率分布，动态地计算这些分布上的混合权重，演示如何将基于计数的 n-gram 模型与神经 LM 结合在单个模型框架中，从而创建新颖的混合模型，并证明这些方法的优势。

    Jun, 2016

  • 大词汇神经网络快速 Softmax 推理的筛选学习

    在本文中，我们介绍了一种利用上下文向量的聚类结构的软最大似然层逼近算法，在移动设备上比传统方法具有更快的推理速度。我们使用 Gumbel softmax 对筛选模型进行端到端训练，通过在各种 NLP 任务中对前 k 个单词进行预测，实现了一个数量级更快的推理速度，例如在德语到英语的机器翻译任务中，与现有先进技术相比，我们实现了 20.4 倍的加速。

    Oct, 2018

  • 神经机器翻译的词汇操作

    本文提出了一种句子级或批量级词汇表来缓解神经机器翻译模型中需使用大词汇表的问题。此方法根据源句子中每个单词或短语的翻译选项，选择非常小的目标词汇表，并基于单词翻译模型或双语短语库来实现。实验结果表明，该方法在英法翻译任务中的 BLEU 分数比 Jean 等人使用大词汇表的神经机器翻译系统高 1 个点。

    May, 2016

  • 神经机器翻译的词汇选择策略

    本文介绍了关于翻译模型的研究，尝试通过使用上下文和嵌入式选择方法对其进行改进，可以大幅度地提高神经翻译模型的效率和速度。

    Oct, 2016