Feb, 2021

贝叶斯 Transformer 语言模型在语音识别中的应用

PDF
TL;DR使用贝叶斯学习框架和变分推断优化，提高了 Transformer 神经语言模型的泛化性能和模型鲁棒性。在 Switchboard 语料库和 DementiaBank 中的实验都获得了明显的性能提升。
neural language modelstransformerbayesian learning frameworkvariational inferencemodel uncertainty
发现论文，激发创造
  • 基于贝叶斯神经网络的语言模型用于语音识别

    提出一种普遍的贝叶斯学习框架，利用三种方法模拟 LSTM-RNN 和 Transformer LMs 的模型参数、神经激活选择和隐藏输出表示的不确定性，使用神经结构搜索自动选择优化网络内部组件，并使用有效的推断方法来降低计算成本，并在 AMI 会议转录和 LRS2 超叠话音频道的语音识别任务中实验验证，相对于基线 LSTM-RNN 和 Transformer LMs，在困惑度和字错误率方面均取得了一致的性能提升。

    Aug, 2022

  • BayesSpeech: 一种用于自动语音识别的 Bayesian Transformer 网络

    使用 Bayesian Transformer Network 进行变分推理的经验深度学习模型在自动语音识别方面的性能近乎达到最新的循环神经网络技术，同时权重方差的引入可以使训练时间更快。

    Jan, 2023

  • 基于创新的 Bert 重新排序语言模型在语音识别中的应用

    本文利用 BERT 模型重新排序自动语音识别中的 N 个最优假设，同时融合了任务特定的全局主题信息。实验表明，相较于循环神经网络和利用 BERT 计算伪对数似然分数的方法，本方法在 AMI 基准语料库上的有效性和可行性得到了证实。

    Apr, 2021

  • 深度变换器与潜在深度

    本研究提出一种概率框架来自动学习选择哪些层来使用以优化 Transformer 模型的性能，用于训练一种适用于多语言机器翻译的共享 Transformer 网络，缓解梯度消失问题，从而使得深度 Transformer 网络（例如 100 层）稳定训练，并在机器翻译和语言建模任务中实现了更好的性能。

    Sep, 2020

  • BayesFormer：具有不确定性估计的 Transformer 模型

    介绍了一种名为 BayesFormer 的基于 Bayesian theory 设计的 Transformer 模型，该模型利用变分推断中的 dropout 扩展到 Transformer-based architectures，通过多种实验在自然语言处理、机器翻译、长序列理解和主动学习等领域展现出了卓越的性能。

    Jun, 2022

  • 基于 LSTM 的跨语句信息表示的 Transformer 语言模型

    本文提出了一种基于 LSTM 模型的 R-TLM 模型，该模型可以更好地将跨 utterance 信息编码到 Transformer 语言模型中，经过实验发现，R-TLM 模型在语音识别中可以取得更好的效果。

    Feb, 2021

  • XNOR-FORMER: 长语音 Transformer 准确近似学习

    本研究开发出一种新型的线性变压器，通过检验自我关注中关键查询产品的特性，发现其在语音识别和语音摘要方面优于现有的方法。

    Oct, 2022

  • Transformer 语言模型的动态评估

    这篇研究使用 Transformers 和动态评估两种方法来提高语言建模，在多个数据集上的实验表明，使用动态评估提高了模型预测准确率。

    Apr, 2019

  • 基于 Transformer 的端到端多说话人语音识别

    本文研究使用 Transformer 模型替代基于循环神经网络的编码器 - 解码器模型，应用于多说话者语音识别和神经束形成器中的遮盖网络，得以有效处理混响信号，并加入外部去混响预处理方法进行对比试验。实验证明，在单通道和多通道任务下，基于 Transformer 的模型相对错误率降低达 40.9% 和 25.6%，在混响环境中的相对错误率降低达 41.5% 和 13.8%。

    Feb, 2020

  • 基于 Transformer 的混合语音识别声学建模

    本文提出并评估了基于 transformer 的声学模型在混合语音识别中的应用。通过讨论不同的建模选择，包括各种位置嵌入方法及迭代损失等，我们证明了在 Librispeech 基准测试中使用 transformer 模型相比其他模型性能更优越，且结合神经网络进行二次评分，我们的方法可以达到最先进的结果。

    Oct, 2019