May, 2017

生产语音模型中减少偏差

PDF
TL;DR本研究通过使用改进的神经网络结构、解决优化问题和应用增强的语音和标签建模策略来识别和解决深度学习中的偏差问题，成功应对了现有语音识别系统中固有的不足之处并实现了误差率的降低，为设备实际部署提供了可行性。
end-to-end deep learningspeech recognitionbiasneural architecturesoptimization
发现论文，激发创造
  • 深度言语：扩大端到端语音识别

    使用端到端深度学习开发的演讲识别系统：不需要手工设计组件来模拟背景噪声、混响或者发言人差异，取而代之的是直接学习一个对这些影响具有鲁棒性的函数的方法，其关键是优化的 RNN 训练系统以及一组新的数据综合技术，该系统在 Switchboard Hub5'00 测试集上取得了 16.0% 的错误率，优于以前的成果，并且与广泛使用的最先进的商业演讲系统相比，Deep Speech 处理具有挑战性的嘈杂环境的能力更加出色。

    Dec, 2014

  • 探索并缓解语言模型中的社会偏见

    为了提高语言模型的公正性，本文提出了多项定义并给出了新的测试和度量方式，旨在减少机器学习在文本生成过程中对性别、种族、语言宗教等社会构建的刻板印象所带来的负面影响。实证结果和人工评估表明，该方法能够在文本生成中减少偏见同时保留重要的上下文信息。

    Jun, 2021

  • 基于 Trie 深度偏置和浅层融合的上下文流式端到端语音识别

    提出了一种结合浅层融合、字典树和神经网络语言模型的方法，来利用动态的上下文信息，相比于已有的上下文偏置方法，这种方法最终的系统轻量且模块化，可以实现快速修改而无需重新训练，同时在开放域和约束化环境下都取得了显著的词错误率优化，特别是对于那些包含大部分稀有长尾词汇的语音转文字任务有着更高的表现。

    Apr, 2021

  • 使用流式端到端模型进行长篇语音识别

    通过多样化训练数据以及 LSTM 状态操作模拟长形音频，可以增强端到端语音识别模型对未知领域数据的泛化能力。

    Oct, 2019

  • 通过建模语料库中的偏见进行端到端偏见缓解

    本文提出了两种学习策略来训练神经模型，更加稳健，并且更能够迁移到域外的数据集。这些策略利用了数据集的偏差，通过 down-weighting 有偏差的例子，使基础模型减少对偏差的依赖。实验表明，我们的去偏差方法在所有设置中都显著提高了模型的稳健性，并且更好地迁移到其他文本蕴涵数据集上。

    Sep, 2019

  • 利用语音合成训练端到端口语理解模型

    文章提出了一种使用语音合成生成大规模合成数据集的方法，以克服要求领域内语音数据记录的问题，并在两个开源数据集上进行实验证明该方法在作为训练数据的唯一来源和数据扩充形式时的有效性。

    Oct, 2019

  • 基于预训练模型的高效语音翻译

    论文探究使用预训练模型构建高效的语音翻译模型，提出基于相似损失的方法以增强数据效率及提高翻译质量。

    Nov, 2022

  • 具上下文的端到端自动语音识别及中间偏置损失

    提出了一种在编码器中使用显式偏置损失作为辅助任务的方法，以更好地将文本令牌或音频帧与预期目标对齐，并通过使用 RNN-transducer 驱动的联合解码来进一步降低无偏差的单词错误率（U-WER），从而实现更强大的网络。

    Jun, 2024

  • SpeechNet：工业级弱监督端到端语音识别

    本文提出了一种在标注稀缺，计算有限的情境下训练和部署自动语音识别系统的方法，使用第三方 ASR 系统和用户反馈标记函数作为弱监督来源，采用不同输入长度的 CUDA 图形池来加速推理，称为 SpeechNet 系统，在智能电视上实现了 Wav2vec 技术的大规模部署，获得了 8% 的词错误率相对改进和 600% 的加速。

    Nov, 2022

  • 大规模弱监督进行稳健语音识别

    研究了训练简单的语音处理系统预测互联网音频大量转录的能力，在 680,000 小时的多语言和多任务监督的基础上，生成的模型具有很好的泛化能力，并且通常与之前的完全监督结果竞争，但在零次传输设置下不需要进行任何微调，与人类相比，模型的准确性和稳健性接近，并且同时发布了模型和推理代码，作为进一步稳健语音处理工作的基础。

    Dec, 2022