Mar, 2017

使用循环神经网络估计 N 元语言模型

PDF
TL;DR通过使用 RNN 模型进行 $n$-gram 语言模型平滑来研究其有效的记忆深度，实验结果表明，在保持句子独立性假设的前提下，使用 dropout 技术的 LSTM cell 在编码 $n$-gram 状态方面的表现最佳，且在 $n=9$ 时，LSTM $n$-gram 与 LSTM LM 表现相当，同时在 $n=13$ 时略优于其，该方法可以提高模型的性能，特别适用于模拟短格式文本如语音搜索 / 查询语言模型。
发现论文，激发创造
  • $N$-gram 回归：用 $n$-gram 语言模型进行神经文本生成的残差学习

    本文提出采用 $n$-gram 语言模型与神经网络语言模型的结合来提升自然语言处理任务性能，并在三项典型任务的实验中表明，我们的方法始终优于单独使用神经网络语言模型。同时，我们还展示了该方法通过简单地切换到特定领域的 $n$-gram 模型即可进行有效的领域自适应。

    Oct, 2022

  • 神经网络时代中的 $n$-gram 平滑作用

    该论文重新探讨了在神经语言模型时代中经典的 $n$-gram 平滑技术可能发挥的作用，通过正则化技术将任何 $n$-gram 平滑技术转化为与神经语言模型兼容的约束，实证结果表明我们的新颖正则化技术在语言建模和机器翻译中与标签平滑技术相比具有可比性甚至有时表现更好。

    Mar, 2024

  • 循环神经网络语言模型的扩展

    本论文调查了循环神经网络语言模型（RNNLMs）的规模特性，对在 GPU 上训练非常大的 RNN 的方法进行了讨论，并探讨了有关模型大小、训练集大小、计算成本和内存方面的扩展性问题。研究结果展现出虽然训练成本更高，但相比于 N 元模型，RNNLMs 在标准测试中得到了更低的困惑度。此外，我们训练了目前已知的最大 RNN，并在 ASR 任务上表现出 18% 的相对词误差率提升，在最近发布的十亿字语言建模基准测试中呈现出新的最低困惑度、机器翻译的 1 BLEU 点表现提升以及词预测方面的 17% 相对命中率提高。

    Feb, 2015

  • Mogrifier LSTM

    本文介绍了长短时记忆网络的互相门机制，以实现更好地建模自然语言处理中上下文之间的交互， 并通过实验在多个数据集上证明了其在语言建模上较传统模型具有更好的泛化能力和性能表现。

    Sep, 2019

  • 基于贝叶斯神经网络的语言模型用于语音识别

    提出一种普遍的贝叶斯学习框架，利用三种方法模拟 LSTM-RNN 和 Transformer LMs 的模型参数、神经激活选择和隐藏输出表示的不确定性，使用神经结构搜索自动选择优化网络内部组件，并使用有效的推断方法来降低计算成本，并在 AMI 会议转录和 LRS2 超叠话音频道的语音识别任务中实验验证，相对于基线 LSTM-RNN 和 Transformer LMs，在困惑度和字错误率方面均取得了一致的性能提升。

    Aug, 2022

  • 探索语言建模的极限

    本文研究了递归神经网络在大规模语言建模中的最新进展和应用，对语料库和词汇量的大小和语言的复杂性和长期结构等问题进行了探讨，并在 One Billion Word Benchmark 上进行了详尽的研究，最佳单一模型将习惯度从 51.3 降低到 30.0，而模型集成则创下了 41.0 到 23.7 的新纪录，在总结中，研究结果可供自然语言处理和机器学习界进一步研究和提高。

    Feb, 2016

  • LSTM 语言模型的正则化和优化

    介绍了一种使用 DropConnect 和 NT-ASGD 等方法进行 LSTM 正则化优化的模型，在 Penn Treebank 和 WikiText-2 数据集上取得了最佳的困惑度表现，并探索了神经缓存对模型性能的影响。

    Aug, 2017

  • 语音识别的长跨度语言建模

    本文探索多句子语境下神经语言模型的应用，并介绍结合了注意力机制和 LSTM 的新型模型在语音识别和长跨度语言模型方面的实验结果。

    Nov, 2019

  • 可视化和理解循环网络

    使用字符级语言模型作为可解释的测试平台，本研究分析了 LSTM 的表示、预测和错误类型，并揭示了其提高性能的长程结构依赖性的来源。

    Jun, 2015

  • 神经语言模型的正则化和非线性：何时需要？

    通过对比具有不同模型结构的 LMs 在少量和大量数据上的表现，分析 RNNs 和 IRLMs 的性能优劣，展示 IRLMs 的一些优点与缺陷，并提出了一种基于 long-context units 的 LM 模型，通过该模型在 Microsoft Research Sentence Completion 数据上最高可以达到 60.8% 的性能。

    Jan, 2013