EMNLPSep, 2021

利用多组噪声扩充数据进行跨语言口语理解的学习

PDF
TL;DR本文提出了一种通过机器学习方法处理低资源语言中语音理解数据的方法，通过多个模型同时对不同扩充的训练数据对彼此提供监督信号，实现了对数据的去噪处理，在两个基准数据集上的实验结果表明，我们的方法优于现有技术达 3.05% 和 4.24% 的性能表现。
spoken language understandinglow-resource languagesdata augmentationdenoisingmachine learning
发现论文，激发创造
  • 使用预训练语言模型进行口语理解的数据增强

    本研究提出了一种数据增量方法，利用预训练语言模型提高生成话语的变异性和准确性，同时探讨和提出了两种在 SLU 中被忽视的半监督学习情况的解决方案。实证结果表明，我们的方法可以生成合成训练数据，在各种情况下提高了语言理解模型的性能。

    Apr, 2020

  • 跨语言口语理解的迁移学习

    本文介绍如何通过在多语言之间传递数据以减少成本，从而提高对新语言的口语理解系统。我们的多任务 SLU 框架在不同语言上经过评估，结果表明我们的单语言模型优于最先进的技术，我们可以大大减少引导新语言口语理解系统所需的数据量，同时，虽然多任务训练比单独训练要好，但不同的权重转移设置可能对不同的 SLU 模块最有效。

    Apr, 2019

  • 联合变分生成增强口语理解数据

    本文提出了一种新的生成架构，旨在借助潜在变量模型的生成能力来共同合成完全注释的话语，并经过实验验证，通过人工合成数据集来训练 SLU 模型，在不同数据集和模型中获得了性能提升。

    Sep, 2018

  • 减少、重用、循环利用：扰动数据是否比其他语言增强对于低资源自我监督语音模型更好

    利用音频增强方法预训练自监督表示学习（SSRL）模型，相比监督模型，在低资源语言中改善了下游音素识别性能。研究比较了不同的增强技术，包括音高变化、噪音添加、目标语言口音和其他语言语音，并发现了综合增强（噪音 / 音高）是最佳的增强策略，超过了口音和语言知识迁移。研究结果表明，在资源有限的语言中，领域内的合成增强可以优于口音或其他语言的知识迁移。

    Sep, 2023

  • 通过数据增强提高神经机器翻译的鲁棒性：超越回译

    本文探讨了神经机器翻译以及如何提高其对于噪声输入的鲁棒性，提出了新的数据扩充方法以及通过利用外部数据中的噪声来加强模型鲁棒性。

    Oct, 2019

  • 无监督数据增强的一致性训练

    通过使用先进的数据增强方法 RandAugment 和后向翻译来取代简单噪声操作，在大量无标签数据上进行一致性训练，从而在六种语言和三个视觉任务中带来了显著的改进，并在 CIFAR-10 数据集上超过了所有先前的方法，实现了错误率为 5.43，只使用了 250 个示例。

    Apr, 2019

  • 低资源神经机器翻译的数据增强

    本研究提出了一种以数据增强为基础的方法，针对低频词汇在合成的新语境中生成新的句子对，以提高神经机器翻译系统的翻译质量。在模拟低资源环境中的实验结果显示，相对于基准和回译方法，我们的方法能够提高翻译质量，最高可提高 2.9 BLEU 分数。

    May, 2017

  • 通过合成音频数据进行端到端低资源语音翻译

    我们在国际口语翻译会议 (IWSLT 2024) 上描述了我们的系统提交，用于爱尔兰 - 英语语音翻译。我们基于 Whisper 构建了端到端系统，并采用了一些数据增强技术，如语音回译和噪声增强。我们研究了使用合成音频数据的影响，并讨论了几种丰富信号多样性的方法。

    Jun, 2024

  • 提高噪声学生训练用于自动语音识别

    本文研究了在自动语音识别中使用自适应 SpecAugment 的噪声自适应训练方法，通过过滤、平衡和增强数据集，成功地提高了网络性能，使 WER 在 LibriSpeech 测试集上分别为 4.2％/8.6％（无噪声 / 有噪声），并在 LibriLight 上达到了 1.7％/3.4％（无噪声 / 有噪声）

    May, 2020

  • 自然语言理解中的即时数据增强去噪

    本文介绍了一种基于原始数据集更清洁的假设，利用有机教师模型提供的软增强标签进行学习的数据增强即时去噪方法，并应用简单的自正则化模块来防止在噪声标签上过拟合，该方法可应用于各种数据扩充技术，可以在文本分类和问答任务中提高性能。

    Dec, 2022