ICLRJun, 2022

面向任务的预训练，提升对含噪标签的学习：非洲语言文本分类探究

PDF
TL;DR本文主要研究了如何应对在低资源语言中的文本分类中存在的标注噪声问题，并提出了一些噪声处理技术和使用任务自适应的预训练技术来解决这个问题。
发现论文，激发创造
  • 通过噪声建模实现文本分类标签噪声的鲁棒性

    该论文研究了 NLP 中文本分类的标签噪声问题，提出了一种基于 beta 混合模型的辅助噪声模型，通过此模型可以减轻标签噪声对分类器的影响，提高分类准确率并防止过度拟合。

    Jan, 2021

  • BERT 在标签噪音下的鲁棒性研究：关于文本分类中学习噪音标签的研究

    对于使用现代 NLP 模型（如 BERT）进行文本分类任务时，在各种噪声类型下，现有的噪声处理方法并不总能提高性能，并且有可能会降低性能，这表明需要进一步研究标签噪声。

    Apr, 2022

  • 在低资源环境下训练神经网络自动注释的嘈杂数据

    通过添加噪声层到神经网络结构中，我们可以处理噪声并联合清洁和嘈杂数据进行训练，从而提高低资源 NER 任务的性能，最多可提高 35%。

    Jul, 2018

  • 分析标签噪声下分类器的鲁棒性

    该研究探讨了标签噪声分类器的稳健性，旨在提高模型对复杂实际场景中的噪声数据的抵抗能力，并通过整合对抗机器学习和重要性重新加权技术来解决标签噪声对实际应用的影响。

    Dec, 2023

  • 从含有噪声标签的数据中学习如何学习

    本文提出一种噪声容忍的训练算法，其中在传统梯度更新之前进行元学习更新来模拟实际训练。通过生成合成噪声标签进行训练，该元学习方法训练模型，以便在使用每个设置的合成噪声标签进行一次梯度更新后，模型不会过度拟合特定的噪声，从而提高深度神经网络的性能。

    Dec, 2018

  • 深度学习下存在噪声标签的图像分类：综述

    本文介紹關於使用深度學習算法處理帶有噪聲標籤的問題，針對噪聲建立噪聲模型和使用魯棒損失、正則化等方法建立魯棒算法兩種子群進行了綜述。

    Dec, 2019

  • 学习带有噪音基础模型

    该论文通过广泛的实验证明，虽然在预训练中存在一定的噪声可以提高域内性能，但它总是破坏域外性能，然后提出了一种调整方法来减轻噪声的不良影响并提高泛化能力。

    Mar, 2024

  • 多源噪声模拟与难例挖掘用于文本分类的鲁棒性学习

    本研究提出了一种新的训练框架，通过直接模拟自然 OCR 噪声并从大量的模拟样本中迭代挖掘难样本来提高模型性能，实验表明该框架大大提高了预训练模型的鲁棒性，可以在实际场景下极大地促进 NLP 模型的应用。

    Jul, 2021

  • 分类中的噪音标签处理：一项调查

    对于计算机视觉任务尤其是图像分类任务，本综述全面回顾了应对噪声标签的不同深度学习方法的演变，研究了不同的噪声模式，并提出了一种由现实世界数据引导的算法来生成合成标签噪声模式，以形成一个新的以真实世界数据为指导的合成基准，并在该基准上评估了一些典型的噪声鲁棒方法。

    Apr, 2024

  • 仅使用自监督预训练提高医学图像分类中的噪声标签问题

    噪声标签对基于深度学习的监督图像分类性能有负面影响，而自监督预训练权重的模型初始化可以减少特征损坏并提高分类性能，但尚未探索其他自监督方法对噪声标签的影响以及医学图像中仅使用自监督预训练方法对噪声标签的影响。本研究探索了对两个医学数据集进行对比和预备任务的自监督预训练，用于初始化深度学习分类模型的权重，结果显示使用自监督学习获得的预训练权重可以有效学习更好的特征，并提高对噪声标签的鲁棒性。

    Aug, 2023