Apr, 2018

轻量级自适应神经网络与 N-gram 语言模型混合

PDF
TL;DR本文介绍了一种通过小型神经网络来预测混合模型权重的方法，以提高神经语言模型和 n 元语法模型的性能。实验结果表明，该方法能显著提高 One Billion Word benchmark 上的性能。
neural language modeln-gramsensemblemixture weightgating network
发现论文，激发创造
  • 自适应半参数语言模型

    该研究提出了一种结合大型参数神经网络和非参数周期性记忆组件的语言模型，通过缓存本地隐藏状态和检索一组最近的邻居标记来使用扩展的短期上下文和全局长期记忆，并设计门控函数来自适应地组合多个信息源来做出预测。

    Feb, 2021

  • 基于计数和神经模型的泛化和混合语言模型

    本研究通过定义词汇表上的一组概率分布，动态地计算这些分布上的混合权重，演示如何将基于计数的 n-gram 模型与神经 LM 结合在单个模型框架中，从而创建新颖的混合模型，并证明这些方法的优势。

    Jun, 2016

  • 重新审视简单的神经概率语言模型

    本文主要通过对比分析神经概率语言模型和 Transformer 模型的特点，提出使用 NPLM 的本地连接层替换 Transformer 的第一自注意层，从而在三个单词级语言建模数据集上获得小而一致的困惑度降低。

    Apr, 2021

  • 基于专家混合的语言模型中的自适应门控

    在该研究中，作者提出了自适应门控混合专家模型，通过采用可变数量的专家处理令牌，实现了稀疏度的保持和训练效率的提高，通过大量实验验证了这种方法在减少训练时间的同时，保持推理质量。

    Oct, 2023

  • 基于依赖关系混合语言模型

    本研究介绍了基于依赖关系的混合语言模型，利用神经网络训练学习未来依赖令牌的概率分布，并将其与自注意力机制混合，从而提高了神经文本生成的效果。

    Mar, 2022

  • $N$-gram 回归：用 $n$-gram 语言模型进行神经文本生成的残差学习

    本文提出采用 $n$-gram 语言模型与神经网络语言模型的结合来提升自然语言处理任务性能，并在三项典型任务的实验中表明，我们的方法始终优于单独使用神经网络语言模型。同时，我们还展示了该方法通过简单地切换到特定领域的 $n$-gram 模型即可进行有效的领域自适应。

    Oct, 2022

  • 神经机器翻译领域自适应推理

    研究神经机器翻译中的自适应集成加权，解决在不牺牲原始域性能的情况下提高新领域性能，通过两个西班牙语 - 英语和三个英语 - 德语任务的逐步适应比较，提出自适应 NMT 集成解码的新方案，采用源信息扩展贝叶斯插值，并在没有域标签的情况下在测试领域中展现了较强的改进。

    Jun, 2019

  • N-Grammer: 使用潜在 n-gram 扩充 Transformer

    本研究提出了一种新的改进 Transformer 模型的方法，使用了文本序列中的离散潜在表示构造 n-gram，并应用于语言建模和文本分类中，经实验证明性能优于传统的 Transformer 模型和 Primer，该模型已在 Jax 中开源以便复现。

    Jul, 2022

  • 门控卷积网络的语言建模

    本研究提出一种基于卷积神经网络的有限环境文本处理方法，采用新型简化门控机制，具有并行优势和长期学习效应，相比循环神经网络可获得更高的性能和更短的处理时间。在大规模文本任务中取得了领先水平，是非循环方法首次能够与强循环模型竞争。

    Dec, 2016

  • 改进和解释预训练语言模型的语言专家混合适配器

    本研究提出了一种方法，在参数高效微调（PEFT）环境中将语言结构注入到预训练语言模型中。我们使用一种新颖的语言专家混合体架构，将编码不同语言结构的并行适配器模块进行组合，并使用 Gumbel-Softmax 门来确定模型每一层中这些模块的重要性。为了减少参数数量，在修剪专家之前，我们首先对模型进行了固定步骤的训练。我们用三种不同的预训练模型进行实验，结果表明我们的方法在具有相当数量的参数的情况下，能够胜过最先进的 PEFT 方法。此外，我们还提供了额外分析，以检查和提供未来研究的见解。

    Oct, 2023