ACLFeb, 2019

文本分类需要多大的词汇量？一种基于变分的词汇选择方法

PDF
TL;DR本论文提出了一种基于变分 dropout 的变分词汇 dropout（VVD）方法，用于智能地选择词汇子集以达到所需性能，通过在多个 NLP 分类任务上进行广泛实验证明了该方法在语料库选择问题上显著优于基于词频的和其他选择基准。
deep learningdeep neural networksvocabulary selectionvariational vocabulary dropoutnlp classification
发现论文，激发创造
  • 文本分类中算法性能、词汇量和运行时间之间的关系探究

    我们提供了一项综合研究，研究了 10 种预处理技术如何影响词汇量大小、模型性能和模型运行时间等因素，发现一些组合技术可以在不降低正确率的情况下缩短运行时间，并且还有一些组合方法可以缩短运行时间同时提高模型准确性。

    Apr, 2021

  • 大词汇量提升大型语言模型

    本文通过实证研究了子词词汇大小与大型语言模型（LLM）性能之间的关系，以提供关于如何定义词汇大小的洞见。实验结果表明，更大的词汇大小可提高 LLM 的性能。此外，我们考虑了一个持续训练的情景，其中一个预训练的语言模型在不同的目标语言上进行训练。我们引入了一种简单的方法，使用新的词汇代替预定义的词汇。我们证明使用新词汇优于使用预训练词汇的模型。

    Jun, 2024

  • 神经机器翻译的词汇操作

    本文提出了一种句子级或批量级词汇表来缓解神经机器翻译模型中需使用大词汇表的问题。此方法根据源句子中每个单词或短语的翻译选项，选择非常小的目标词汇表，并基于单词翻译模型或双语短语库来实现。实验结果表明，该方法在英法翻译任务中的 BLEU 分数比 Jean 等人使用大词汇表的神经机器翻译系统高 1 个点。

    May, 2016

  • 大词汇神经语言模型的训练策略

    本研究系统比较了代表性的方法来表示和训练大词汇下的神经网络语言模型，包括 softmax、层级 softmax、自归一化等方法，并在三个流行的基准数据集上评估了每种方法在罕见词汇、速度 / 精度平衡以及与 Kneser-Ney 模型之间的互补性方面的表现。

    Dec, 2015

  • 为跨语言语言模型预训练分配大型词汇容量

    通过 VoCap 算法确定语言所需的词汇容量并使用 k-NN 目标采样来加速昂贵的 softmax，从而缓解词汇量增加的副作用，提高交叉语言模型的预训练速度和性能。

    Sep, 2021

  • 祸在细节：神经机器翻译中词汇选择的陷阱

    本文提出了一种基于神经网络的词汇选择模型，通过对编码器状态的上下文化表示进行预测，来代替传统基于独立对齐模型参数的词汇选择方法，从而更好地处理语言中的词组、成语等非复合的语义现象，从而获得与传统独立对齐选择方法相同甚至更好的翻译质量，并减少了翻译时刻的依赖。

    May, 2022

  • 神经机器翻译中使用非常大的目标词汇量

    本文提出了一种基于重要性采样的方法，使我们可以使用非常大的目标词汇，有效地进行解码，可以优于基准模型和 LSTM-based 神经机器翻译模型，并使用多个模型集成实现了英 -> 德翻译的最先进性能（由 BLEU 度量）。

    Dec, 2014

  • 基于注意力机制的 NMT 词汇选择

    提出一种使用 NMT 训练过程中直接从 attention layer 中学习候选列表的新方法，该方法高度优化当前 NMT 模型的候选列表，无须对候选池进行外部计算并实现了在不降低翻译质量的情况下显著提高解码速度。

    Jun, 2017

  • 大型代码机器学习的词汇建模

    本研究探讨了对源代码词汇进行建模时需要做出的关键决策，研究了这些决策对 14,436 个项目的大规模语料库所产生的词汇的影响，并表明其中的一些决策具有决定性特征，允许在大规模的 10,106 个项目的语料库上快速训练准确的神经语言模型。

    Apr, 2019

  • 利用语言聚类词汇改进多语言模型

    本文比较现有多语言模型词汇表生成方法，提出了一种新的多语言词汇表生成方法。实验证明，该方法能够提高多个语言上的推理性能，同时在不增加模型大小或数据的情况下，将语言识别率降低了 8 倍。

    Oct, 2020