KDDMay, 2023

DyGen: 通过动力增强生成建模从噪声标签学习

PDF
TL;DR本文提出了一种利用动态模式和生成模型的方法 (DyGen)，用于在 fine-tuning 语言模型时应对带有噪声标签的问题，并显示出与现有方法比平均准确性提高了 3.10%（在两个合成噪声数据集上）和 1.48%（在三个实际噪声数据集上）的改进。
发现论文，激发创造
  • 使用标签噪声学习具有鉴别性动态的噪声标签检测

    该论文提出了 DynaCor 框架，通过训练信号的动态来区分正确标记的实例和错误标记的实例，该框架在各种噪声类型和噪声率下显示出超越其他最先进方法的性能和强大的鲁棒性。

    May, 2024

  • 从培训动态中学习：识别手动设计特征之外的错误标记数据

    本研究提出了一种使用噪音检测器（由 LSTM 网络实现）基于原始训练动态来判断样本是否存在错误标签，并通过标注纠错提高深度模型的性能的新型学习解决方案，实验证明此方法在各种数据集上均能精确检测出错标样本，优于现有的技术。

    Dec, 2022

  • 使用深度动态生成语音和噪音模型的无监督语音增强

    使用深度动态生成模型和动态变分自动编码器代替非负矩阵分解模型，进行语音增强的无监督学习方法获得了与最先进的方法相竞争的性能，而噪声依赖性训练配置使推理过程效率更高。

    Jun, 2023

  • 深度网络中共识的动态及噪声标签的识别

    利用深度神经网络记忆清晰样本更早的现象，发展一种统计学方法，根据集成学习动态数据中干净和嘈杂数据的差异，改善了噪声标记估计，噪声过滤和指导分类的方法。

    Oct, 2022

  • 使用有噪标签的 FINE 样本学习

    提出了一种基于数据奇异值分解的噪声标签检测方法，即使用噪声数据与潜在表征之间的对齐度测量来过滤噪声实例，应用于半监督学习、噪声鲁棒性损失函数等方面，并在基准数据集上验证了其较基准算法更为优越的性能。

    Feb, 2021

  • 自然语言理解中的即时数据增强去噪

    本文介绍了一种基于原始数据集更清洁的假设，利用有机教师模型提供的软增强标签进行学习的数据增强即时去噪方法，并应用简单的自正则化模块来防止在噪声标签上过拟合，该方法可应用于各种数据扩充技术，可以在文本分类和问答任务中提高性能。

    Dec, 2022

  • 利用质量嵌入的有噪声图像标签深度学习

    本文提出了一种质量嵌入模型，通过将质量变量嵌入到不同的子空间中，有效减小了噪声对标签的影响，并提出了一个对抗加性噪声网络模型（CAN）用于训练分类器，现有实验数据显示 CAN 在多种噪声图像数据集上优于深度学习等现有方法。

    Nov, 2017

  • 增强结构化分布学习的非线性降噪得分匹配

    提出了一种新颖的训练基于分数的生成模型的方法，通过非线性加噪动力学改进结构化分布的学习，从而使其更好地适应数据，在数据预处理步骤中获取结构并引入了两种方法解决非线性动力学训练带来的挑战，展示了该方法在几个示例上的有效性。

    May, 2024

  • 利用特征嵌入实现对带有噪声标签的坚韧学习

    本文提出了一种基于特征嵌入的深度学习带标签噪声的方法（LEND），该方法能利用嵌入特征的内在韧性来有效减少误标签，采用深度学习进行训练并获得鲁棒性分类器。

    Jun, 2022

  • 训练深度判别神经网络对抗标签噪声的鲁棒性

    该论文提出了一种基于无标签干扰数据集训练深度卷积神经网络的新型框架，并使用一个无向图模型来描述干净和嘈杂标签之间的关系，在监督学习过程中学习这个模型。该模型在图像标注问题上应用，并在 CIFAR-10 和 MS COCO 数据集上展示出有效的标注效果和在训练中实现了减少标签噪声的效果。

    May, 2017