May, 2023

基于模块化领域自适应的 Conformer 流式自动语音识别

PDF
TL;DR本文提出了一种名为模块化域自适应的框架，通过向 Conformer 编码器中添加适合各个域的适配器和前馈网络，使单个 Conformer transducer 模型能够处理各个领域的语音数据，从而大幅提升了语音识别的性能。
speech recognitiondomain adaptationmodular frameworkconformer transducerper-domain adapters
发现论文，激发创造
  • 基于转录器的自动语音识别域自适应过程中的损伤控制

    本文探讨了如何同时适应新领域和限制模型在原领域的准确性降低的问题，提出了几种技术，如限制培训策略和规范化适配器模块，应用于 Google Speech Commands 和英国爱尔兰英语口音数据集，并在新的目标域上取得了良好的结果并限制了原始领域上的恶化。

    Oct, 2022

  • 文本独立取证发言人识别的多源领域自适应

    本研究提出了基于领域对抗训练、差异最小化和矩匹配方法的三种新的自适应方法，以在多个声学领域中进一步提高自适应性能。实验表明，多种声学环境确实会影响讲话者识别性能，并且领域对抗训练、差异最小化和矩匹配自适应都能在多个声学领域中同时实现有效性能。

    Nov, 2022

  • 多域多设备 ASR 系统的统一建模

    本文提出一种创新的方法，将不同领域和不同设备的模型整合成一个统一的模型，使用领域嵌入、领域专家、专家混合和对抗性训练来提高整体统一模型的准确性，并通过仔细的消融研究表明每个创新的好处，实验证明我们提出的统一建模方法实际上优于精心调整的专业领域模型。

    May, 2022

  • 适用于转换器 ASR 的可适应多域语言模型

    提出了基于适配器的多域 Transformer 语言模型，在只有小型适配器及其相关层的情况下，该模型可以进行多域自适应，并可以重复使用全细调的语言模型，从而可有效减少模型维护成本。使用这种方法，观察到具有适配器的通用 LM 在词错误率方面优于专用音乐领域 LM。

    Aug, 2020

  • 多模态数据增强用于端到端语音识别

    本文提出了一种新的端到端自动语音识别（ASR）架构，可以利用符号输入和传统的声学输入进行训练，该架构使用两个单独的编码器：一个用于声学输入，另一个用于符号输入，并共享注意力和解码器参数；通过研究不同的方法将大型文本语料库转换成符号形式进行训练，我们的最佳 MMDA 设置不仅可以在字符错误率（CER）上获得小的改善，而且在基线上，无论是否有外部语言模型，均可以获得 7-10％相对词错误率（WER）的改进。

    Mar, 2018

  • 深度学习时代的多源域适应：系统综述

    本文介绍了多源域适应的概念和相关技术方法，探讨了其在深度学习时代的发展趋势和研究方向，为该领域的研究提供借鉴和参考。

    Feb, 2020

  • 模块化域适应

    本文介绍了一种模块化的领域适应过程，强调模型生成者和模型使用者可以独立合作，以便更准确地测量文本特性。通过使用两种轻量级技术，本文在使用线性和上下文嵌入模型的四个多域文本分类数据集上证明了这些技术的可靠性，以提高领域外精度，并提出了对模型生成者和使用者的建议。

    Apr, 2022

  • 更多就是更好：多源深度域适应

    在深度学习时代，由于很难获得大规模标记数据来训练先进的深度神经网络，因此将已学习的知识从有标签的源领域转移到无标签或稀疏标签的目标领域成为一种吸引人的替代方法，而多源领域适应则是在收集有不同分布的多个源的标记数据中的一个强大而实用的扩展。在本次调查中，我们首先定义了各种多源领域适应策略。接着，我们从不同的角度系统地总结和比较了现代多源领域适应方法，以及常用的数据集和一个简单的基准测试结果。最后，我们讨论了值得探索的多源领域适应的未来研究方向。

    May, 2024

  • 调制适配器多领域学习

    本文提出使用 Modulation Adapters 进行卷积滤波器权重更新的方法，从而在多领域的图像分类任务中取得了比现有最先进方法更好或相当的效果。

    Jul, 2023

  • 无监督领域分离网络的自适应算法用于强化语音识别

    本文提出了一种基于深度神经网络的非监督领域自适应技术，该技术通过训练既能执行音素分类，又能执行领域分类的 DNN 模型，并明确建模两个域之间的不同之处，可以在 CHiME-3 数据集上实现接近 11.08％的相对词错误率（WER）降低。

    Nov, 2017