Oct, 2017

使用噪声对比估计学习神经跨维度随机场语言模型

PDF
TL;DR本文提出了几种技术来提高神经随机场语言模型 (TRF LMs) 的训练效率和性能。这些技术包括参数估计和模型构建等，采用这些技术可以成功地、高效地训练神经 TRF LMs，并且在强 LSTM LM 基线的基础上将 WER 相对降低了 4.7% 左右。
发现论文，激发创造
  • 使用动态噪声对比估计改进神经跨维随机场语言模型的训练

    通过引入动态噪声对比估计 (DNCE) 解决噪声对比估计（NCE）训练中出现的问题，提出了一种新的整句语言模型 - 神经转移维度随机场语言模型（neural TRF LM），成功地在大语料库中进行了高效的训练，并取得了与 LSTM LM 相当的性能。

    Jul, 2018

  • 基于贝叶斯神经网络的语言模型用于语音识别

    提出一种普遍的贝叶斯学习框架，利用三种方法模拟 LSTM-RNN 和 Transformer LMs 的模型参数、神经激活选择和隐藏输出表示的不确定性，使用神经结构搜索自动选择优化网络内部组件，并使用有效的推断方法来降低计算成本，并在 AMI 会议转录和 LRS2 超叠话音频道的语音识别任务中实验验证，相对于基线 LSTM-RNN 和 Transformer LMs，在困惑度和字错误率方面均取得了一致的性能提升。

    Aug, 2022

  • 基于流式递归神经网络转录器的神经语言模型融合改进

    本文提出了一种扩展技术，使 RNN-T 能够利用外部神经网络语言模型（NNLM），从而增强了 Librispeech 上 13-18％的相对词错误率，同时保持了系统的流畅性，灵活性和轻量性。

    Oct, 2020

  • 使用张量列进行语言建模

    我们提出了一种基于最简单的张量网络（即张量列）的新型张量网络语言模型，称为 'Tensor Train Language Model'（TTLM）。通过将单词的张量积构建成指数空间，TTLM 表示句子，但以低维度方式计算句子的概率。我们证明了第二阶 RNN、递归算术电路（RACs）和乘积积分 RNN 的架构本质上是 TTLM 的特殊情况。对真实语言建模任务的实验评估表明，TTLM 的各种变体（即 TTLM-Large 和 TTLM-Tiny）优于具有低规模隐层单元的传统递归神经网络（RNNs）。

    May, 2024

  • 贝叶斯 Transformer 语言模型在语音识别中的应用

    使用贝叶斯学习框架和变分推断优化，提高了 Transformer 神经语言模型的泛化性能和模型鲁棒性。在 Switchboard 语料库和 DementiaBank 中的实验都获得了明显的性能提升。

    Feb, 2021

  • 基于分解神经传输器的外部语言模型集成

    本文提出一种基于外部语言模型的分解神经传输器（FNT）适应方法，通过浅层融合和基于类别的 n-gram 语言模型的集成，取得了最高 60% WERR 的新增收益。

    May, 2023

  • 面向鲁棒语音识别的语音增强和噪音感知网络

    提出了一个基于噪声感知的训练框架，将增强语音引入到声学模型的多条件训练中，通过两个级联的神经结构来优化增强语音和语音识别，并取得了较好的实验结果。

    Mar, 2022

  • 主题组成神经语言模型

    我们提出了一个名为 TCNLM 的话题组成神经语言模型，它通过神经话题模型来学习文档的全局语义连贯性，并通过混合专家语言模型来学习本地单词顺序结构，同时使用矩阵分解方法使模型更高效地训练，可生成有意义的话题和句子。

    Dec, 2017

  • 基于语言模型整合的传声器语音识别的实证研究

    在端到端的 RNN-Transducer（RNN-T）中使用仅文本数据是具有挑战性的，本文研究了使用密度比和内部语言模型（ILM）估计的方法来将外部语言模型（ELM）集成到 RNN-T 中以实现语音识别，并提出了一种低阶密度比方法（LODR），在 LibriSpeech，Tedlium-2，WenetSpeech 和 AISHELL-1 数据集上的大量实验表明，LODR 始终优于 SF，在大多数测试中表现优于 DR 且一般性能接近 ILME。

    Mar, 2022

  • 一个用于训练神经概率语言模型的快速简单算法

    本文提出了一种快速而简单的基于噪声对比估计算法的 NPLM 训练方法，用此方法训练了几个神经语言模型并在 Microsoft Research 句子完成挑战数据集上取得了最先进的结果，有效地降低了训练时间。

    Jun, 2012