Nov, 2023

TACRED 关系分类数据集中的噪声：特征化与减少

PDF
TL;DR本文旨在探索基于模型的方法来表征 RE 数据集 TACRED 中噪声的主要原因，并识别潜在的噪声实例。通过分析预测结果和 SOTA 模型的性能，我们发现 TACRED 数据集中的噪声主要来自被标记为无关系的实例。针对第二个目标，我们探索了两种基于最近邻的策略来自动识别可能存在噪声的实例，进行剔除和重新注释。实验证据显示，基于这些策略进行的模型再训练可以显著提升性能。
发现论文，激发创造
  • TACRED 重访：对 TACRED 关系抽取任务的全面评估

    本文研究了 TACRED 数据集在关系抽取中高错误率的问题，通过训练标注者重新标注，了解了错误来源，发现部分标注错误和数据集中存在的歧义关系导致错误率高，对此提出对应解决方案，并验证了三种最先进的 RE 模型的错误假设。

    Apr, 2020

  • Re-TACRED: 解决 TACRED 数据集的不足

    本文针对 TACRED 数据集进行了全面研究和改进，提出了改进的众包策略，通过重新注释整个数据集，发现 TACRED 标签中有 23.9% 是错误的，用改进后的数据集评估模型，平均 f1 得分提高了 14.3％，并揭示了不同模型之间的显著关系。最终，我们发布了 Re-TACRED，这是一个全新完全重新注释的 TACRED 数据集版本，可以用于可靠地评估关系提取模型。

    Apr, 2021

  • 使用挑战数据揭示关系抽取模型的浅层启发式

    通过研究数据采集和注释过程中的分布偏差，我们提出了一种称为 Challenging RE (CRE) 的挑战性数据集，分析了四个最先进的关系抽取 (RE) 模型的失败模式，挖掘了它们浅层启发式算法的局限性，并发现替代的问答建模表现显著更好，提供了改进数据收集的具体建议。

    Oct, 2020

  • 句子级关系抽取的改进基准线

    该文介绍了基于句子的关系抽取问题，着重探讨了影响现有关系抽取模型性能的实体表示和噪声标签问题，并利用预训练语言模型提出了改进的基线模型，在 TACRED 数据集上取得了 F1 分数 74.6%，在 Re-TACRED 数据集上取得了 F1 分数 91.1%，证明预训练语言模型在该任务上具有高性能。

    Feb, 2021

  • 预训练语言模型作为重新注释工具

    本文讲述了如何利用预训练语言模型降噪数据集，提出了两种任务：注释不一致检测和注释错误更正。作者使用新的可信度分数来检测不一致性，并用两种方法来更正注释。此外，通过重新注释创建了一个新数据集 Re-DocRED，自动降噪训练集将对关系抽取模型产生多达 3.6％的性能提高。

    May, 2022

  • MultiTACRED: TAC 关系抽取数据集的多语言版本

    介绍了 MultiTACRED 数据集及其在跨语言关系抽取上的应用，证明了机器翻译在此任务上的可行性以及单 / 多语言模型的性能优势，同时指出了翻译和标注错误对数据集质量和模型性能的影响。

    May, 2023

  • 一种基于数据驱动的方法用于远程监督下的生物医学关系抽取中的噪声削减

    使用多实例学习和 BERT 模型，我们提出了一个简单的数据编码方案，以降低噪音并获得了远程监控生物医学关系提取的最新性能，同时进一步编码关于关系三元组方向的知识，从而减少噪音并减轻了与知识图完成的联合学习的需要。

    May, 2020

  • 重访 DocRED -- 在关系抽取中解决假阴性问题

    本文针对 DocRED 数据集中占主导地位的漏报问题进行了研究，并通过重新注释数据集来修复该问题，重新命名为 Re-DocRED 数据集，同时实验结果表明使用 Re-DocRED 数据集进行训练和评估可以获得 13 个 F1 分数的性能提升。

    May, 2022

  • 具有不完全注释的关系抽取的适应性自训练

    本文提出了一种新的自适应重新采样自训练框架，采用精度和召回率对每个类别的伪标签进行重新采样，以增加整体召回率而不过多牺牲精度，并在文件级别和生物医学关系提取数据集上进行实验表明，所提出的自训练框架在数据集的不完全注释时比现有方法表现要好。

    Jun, 2023

  • 用噪声引导攻击增强对比学习：迈向野外连续关系提取

    本文提出了一种更实用的关系抽取学习场景，被称为 “noisy-CRE”。针对实际数据集中的噪声标签，提出了一种基于特征空间扰动的噪声抵抗对比学习框架 NaCL，可以学习到增量性的异常关系，同时在噪声率逐渐增加的情况下实现了持续的性能改进，优于现有的基准模型。

    May, 2023