EMNLPOct, 2022

$N$-gram 回归：用 $n$-gram 语言模型进行神经文本生成的残差学习

PDF
TL;DR本文提出采用 $n$-gram 语言模型与神经网络语言模型的结合来提升自然语言处理任务性能，并在三项典型任务的实验中表明，我们的方法始终优于单独使用神经网络语言模型。同时，我们还展示了该方法通过简单地切换到特定领域的 $n$-gram 模型即可进行有效的领域自适应。
$n$-gramneural lmlanguage modelingmachine translationdomain adaptation
发现论文，激发创造
  • 使用循环神经网络估计 N 元语言模型

    通过使用 RNN 模型进行 $n$-gram 语言模型平滑来研究其有效的记忆深度，实验结果表明，在保持句子独立性假设的前提下，使用 dropout 技术的 LSTM cell 在编码 $n$-gram 状态方面的表现最佳，且在 $n=9$ 时，LSTM $n$-gram 与 LSTM LM 表现相当，同时在 $n=13$ 时略优于其，该方法可以提高模型的性能，特别适用于模拟短格式文本如语音搜索 / 查询语言模型。

    Mar, 2017

  • N-Grammer: 使用潜在 n-gram 扩充 Transformer

    本研究提出了一种新的改进 Transformer 模型的方法，使用了文本序列中的离散潜在表示构造 n-gram，并应用于语言建模和文本分类中，经实验证明性能优于传统的 Transformer 模型和 Primer，该模型已在 Jax 中开源以便复现。

    Jul, 2022

  • 神经网络时代中的 $n$-gram 平滑作用

    该论文重新探讨了在神经语言模型时代中经典的 $n$-gram 平滑技术可能发挥的作用，通过正则化技术将任何 $n$-gram 平滑技术转化为与神经语言模型兼容的约束，实证结果表明我们的新颖正则化技术在语言建模和机器翻译中与标签平滑技术相比具有可比性甚至有时表现更好。

    Mar, 2024

  • 基于计数和神经模型的泛化和混合语言模型

    本研究通过定义词汇表上的一组概率分布，动态地计算这些分布上的混合权重，演示如何将基于计数的 n-gram 模型与神经 LM 结合在单个模型框架中，从而创建新颖的混合模型，并证明这些方法的优势。

    Jun, 2016

  • 轻量级自适应神经网络与 N-gram 语言模型混合

    本文介绍了一种通过小型神经网络来预测混合模型权重的方法，以提高神经语言模型和 n 元语法模型的性能。实验结果表明，该方法能显著提高 One Billion Word benchmark 上的性能。

    Apr, 2018

  • Infini-gram：扩展至万亿标记的无界 n-gram 语言模型

    n-gram 语言模型在神经网络大型语言模型时代仍然具有重要意义，本研究展示了其在文本分析和改进神经网络大型语言模型中的价值，并从两个方面对 n-gram 模型进行现代化改进：在与神经网络大型语言模型相同的数据规模下进行训练，建立最大的 n-gram 模型，以及允许 n 的大小任意增加，并引入具备毫秒级延迟的 suffix 数组驱动引擎 infini-gram 来计算无限阶的 n-gram 概率。

    Jan, 2024

  • Transformer 可以表示 $n$-gram 语言模型

    该研究论文探讨了 Transformer 语言模型与 n-gram 语言模型之间的关系，通过分析机器学习模型的概率表示能力，提供了对 Transformer 语言模型代表概率分布的机制的初步认识。

    Apr, 2024

  • 使用神经网络语言模型进行作者归属判定

    研究了神经网络语言模型在作者归属问题上的性能，发现与传统非参数化模型相比，其性能更优越。

    Feb, 2016

  • 重新审视简单的神经概率语言模型

    本文主要通过对比分析神经概率语言模型和 Transformer 模型的特点，提出使用 NPLM 的本地连接层替换 Transformer 的第一自注意层，从而在三个单词级语言建模数据集上获得小而一致的困惑度降低。

    Apr, 2021

  • 将省略的 n-gram 和修改的 Kneser-Ney 平滑组合的广义语言模型

    介绍了一种基于跳跃 n-gram 模型的语言模型建立方法，采用修正 Kneser-Ney 平滑，可以广义化语言模型，效果显著，尤其能处理计算数据稀疏情况。

    Apr, 2014