ACLJun, 2023

半监督文本分类的排名感知负训练

PDF
TL;DR本文提出了一种 RNT 框架，采用未标注样本自动筛选和基于负样本训练的方法，解决了半监督文本分类中标注噪声和模型泛化问题。实验证明，该方法在多个数据集上具有显著的优势。
semi-supervised text classificationrank-aware negative trainingnoisy labelinguncertainty-based approachnegative training
发现论文，激发创造
  • 通过负样本训练进行句子级远程关系抽取

    本文提出了一种远程关系抽取的句子级框架，其中包括使用负面训练（NT）对数据集进行清洗和重新标记。 实验结果表明，该方法在句子级别评价和去噪效果上显著优于先前方法。

    Jun, 2021

  • 训练数据中的隐藏偏差对文本蕴涵识别性能的影响

    本文提出了一种新的方法来研究用于识别文本蕴含任务的大型语料库的质量，通过基于统计假设检验的方法，测试了斯坦福自然语言推理（SNLI）语料库的可预测性，结果表明该库存在隐藏的偏差，并呈现了此偏差对于 RTE 的 NN 模型性能的影响。

    Apr, 2018

  • 密集文本检索的近似最近邻负对比学习

    本文提出了一种新型的训练机制 --- ANCE (Approximate nearest neighbor Negative Contrastive Estimation), 它使用了一个近似最近邻索引来构建负面示例，以更好地解决稠密检索中负面实例训练不足的问题，并且通过实验证明了其在 BERT 模型上的有效性能达到了最佳效果。

    Jul, 2020

  • 学习无标注数据推理：一种半监督学习方法用于强健的自然语言推理

    本文提出了一种结合无标注数据的 NLI 半监督学习方法，其中使用了条件语言模型 BART 生成假设句子，以减少对人类注释的依赖，实验结果显示该方法能够成功地利用无标注数据并在低资源环境下显著提高四个 NLI 评测集的性能。

    Nov, 2022

  • 弱监督神经文本分类

    本文提出了一种弱监督文本分类方法，其包括一个利用种子信息生成伪标签文档进行模型预训练的伪文档生成器和一个在真实未标记数据上引导模型改进的自训练模块，具有处理不同类型弱监督任务和易于与深度神经网络模型集成等优点，并在三个真实数据集上进行了广泛的实验，结果表明其大幅优于基准方法而不需要过多的训练数据。

    Sep, 2018

  • 通过选择困难负面无配对样本进行精细分类图像 - 文本检索的主动学习

    我们提出了一种主动学习算法，用于图像 - 文本检索 (ITR)，以更具成本效益地收集配对数据。通过引入一种新的评分函数来选择难以配对的图像（或文本）作为负样本，我们验证了该方法在 Flickr30K 和 MS-COCO 数据集上的有效性。

    May, 2024

  • NegatER：基于常识知识库的负例自动发现方法

    该研究提出了 NegatER 框架，使用上下文语言模型对常识知识库中的负面语句进行排序，不需要真实的负面数据，有助于完成知识库中的缺失信息。实验结果证明，与多种数据扩增方法相比，NegatER 产生的负面语句更合理、更连贯、更具有信息量，以显著地提高知识库补充任务的准确性，证实了语言模型中的正面知识可以 “重新利用” 来生成负面知识。

    Nov, 2020

  • JointMatch: 一种用于半监督文本分类的多样化和协作伪标签统一方法

    提出了一种名为 JointMatch 的新方法，用于半监督文本分类，通过结合最近半监督学习和学习带有噪声任务的理念，解决了伪标签偏见和错误积累的问题。JointMatch 通过根据不同类别的学习状态自适应调整类别阈值，减轻了模型对当前容易类别的偏见。此外，JointMatch 通过利用两个初始化不同的网络以交互标记的方式互相教导，减轻了错误的积累问题。实验结果表明，JointMatch 在基准数据集上表现优越，在平均上提高了 5.13% 的性能。“尤其值得注意的是，即使在极度稀缺标签的情况下，JointMatch 在 AG News 上的准确率达到了 86%，每个类别仅有 5 个标签。我们将我们的代码发布在此 https URL。

    Oct, 2023

  • DuNST: 双重噪声自训练用于半监督可控文本生成

    提出自我训练算法 DuNST，它通过一个变分自编码器共同建模文本生成和分类，利用两种柔性噪声打破生成的伪文本的限制，从而实现利用标签和非标记文本渐进式提高模型性能，应用于三个可控生成任务，显著提高控制准确性，并保持可比较的生成流畅性和多样性。

    Dec, 2022

  • 半监督自动语音识别的替代伪标注方法

    通过使用伪标签技术的半监督学习，结合泛化的 CTC 损失函数、对抗性 CTC 损失函数和自动阈值方法，本研究提出了一种名为 “替代伪标签” 的新框架，以应对噪声伪标签带来的问题。

    Aug, 2023