Dec, 2022

自然语言理解中的即时数据增强去噪

PDF
TL;DR本文介绍了一种基于原始数据集更清洁的假设，利用有机教师模型提供的软增强标签进行学习的数据增强即时去噪方法，并应用简单的自正则化模块来防止在噪声标签上过拟合，该方法可应用于各种数据扩充技术，可以在文本分类和问答任务中提高性能。
data augmentationtraining datanoise reductionsupervision signalsself-regularization
发现论文，激发创造
  • 图像分类的鲁棒即时数据集去噪

    本文研究探讨神经网络中过拟合和标签错误对泛化能力的影响，提出了一种基于因果推理的数据去噪方法，通过模拟有误标签数据在真实数据集上的损失分布，并剔除高于该分布分位数的样本，实现在无需额外计算代价的情况下提高数据处理质量。

    Mar, 2020

  • 无监督数据增强的一致性训练

    通过使用先进的数据增强方法 RandAugment 和后向翻译来取代简单噪声操作，在大量无标签数据上进行一致性训练，从而在六种语言和三个视觉任务中带来了显著的改进，并在 CIFAR-10 数据集上超过了所有先前的方法，实现了错误率为 5.43，只使用了 250 个示例。

    Apr, 2019

  • 利用多组噪声扩充数据进行跨语言口语理解的学习

    本文提出了一种通过机器学习方法处理低资源语言中语音理解数据的方法，通过多个模型同时对不同扩充的训练数据对彼此提供监督信号，实现了对数据的去噪处理，在两个基准数据集上的实验结果表明，我们的方法优于现有技术达 3.05% 和 4.24% 的性能表现。

    Sep, 2021

  • 自然语言处理中的数据增强方法综述

    本文综述了数据增强的三个类别：释义、加噪和采样，以及在 NLP 中的应用和挑战。

    Oct, 2021

  • 噪声自训练与数据扩增在冒犯与仇恨言论检测任务中的应用

    在线社交媒体存在大量冒犯和仇恨言论，为了解决这个问题，需要自动检测这些言论，而手动标注高质量的数据集困难且花费高。本研究探讨了使用自我训练方法和文本数据增强技术来提高训练数据量和模型鲁棒性的效果，在两个冒犯和仇恨言论数据集上进行实验证明了自我训练方法能一致提升性能，但噪声引入的文本数据增强技术会降低性能。

    Jul, 2023

  • 无监督数据增强：天真增强法与无标签数据

    本文重新审视了无监督数据增强 (UDA) 技术，并在多个序列任务上展示了其效果。该算法的一些组件对于 NLP 任务的表现是必要的，而且 UDA 并不需要复杂的数据扩充，只需要对原有数据进行随机取代并在两次预测中执行一致性损失可以得到相当好的效果。

    Oct, 2020

  • 低资源神经机器翻译中数据增强的再思考：多任务学习方法

    本文提出了一种基于多任务学习的数据增强方法，通过将目标句子的顺序进行颠倒等操作，产生不流畅的目标句子，作为辅助任务使用以加强编码器和强制解码器更多地关注源表示。在六个低资源翻译任务上的实验证明，该方法相对于以扩展经验数据分布为目标的传统数据增强方法，可以在提高翻译质量的同时提高翻译系统的鲁棒性和抗干扰性。

    Sep, 2021

  • 用去噪自编码器进行无监督自然语言生成

    使用去噪自编码器对有噪声的结构化数据进行训练，能够在自然语言生成的任务上取得比监督学习更高的性能表现。

    Apr, 2018

  • 重新思考数据增强对于强健的视觉问答的影响

    提出了一种基于知识蒸馏的数据增强方法 KDDAug，通过放宽合理图像 - 问题匹配的要求，并设计了一个知识蒸馏（KD）策略生成所有生成的图像 - 问题对的伪答案，从而增强图像的数据集，以提高视觉问答（VQA）模型的泛化性能。

    Jul, 2022

  • 深度降噪的数据增强和损失归一化

    本文研究使用数据增强和信号规范化的深度学习方法用于语音增强，结果表明通过对信噪比、频谱和动态级别的增强可以提高训练效果，使用序列级别的规范化可以克服数据不平衡造成的降级问题。

    Aug, 2020