Re-TACRED: 解决 TACRED 数据集的不足

Apr, 2021

Re-TACRED: Addressing Shortcomings of the TACRED Dataset

George Stoica, Emmanouil Antonios Platanios, Barnabás Póczos

TL;DR本文针对 TACRED 数据集进行了全面研究和改进，提出了改进的众包策略，通过重新注释整个数据集，发现 TACRED 标签中有 23.9% 是错误的，用改进后的数据集评估模型，平均 f1 得分提高了 14.3％，并揭示了不同模型之间的显著关系。最终，我们发布了 Re-TACRED，这是一个全新完全重新注释的 TACRED 数据集版本，可以用于可靠地评估关系提取模型。

Abstract

tacred is one of the largest and most widely used sentence-level relation extraction datasets. Proposed models that are evaluated using this dataset consistently set new state-of-the-art performance. However, they still exhibit large error rates despite leveraging external knowledge an

tacred relation extraction dataset quality crowdsourcing re-tacred

发现论文，激发创造

TACRED 重访：对 TACRED 关系抽取任务的全面评估

本文研究了 TACRED 数据集在关系抽取中高错误率的问题，通过训练标注者重新标注，了解了错误来源，发现部分标注错误和数据集中存在的歧义关系导致错误率高，对此提出对应解决方案，并验证了三种最先进的 RE 模型的错误假设。

Apr, 2020

MultiTACRED: TAC 关系抽取数据集的多语言版本

介绍了 MultiTACRED 数据集及其在跨语言关系抽取上的应用，证明了机器翻译在此任务上的可行性以及单 / 多语言模型的性能优势，同时指出了翻译和标注错误对数据集质量和模型性能的影响。

May, 2023

TACRED 关系分类数据集中的噪声：特征化与减少

本文旨在探索基于模型的方法来表征 RE 数据集 TACRED 中噪声的主要原因，并识别潜在的噪声实例。通过分析预测结果和 SOTA 模型的性能，我们发现 TACRED 数据集中的噪声主要来自被标记为无关系的实例。针对第二个目标，我们探索了两种基于最近邻的策略来自动识别可能存在噪声的实例，进行剔除和重新注释。实验证据显示，基于这些策略进行的模型再训练可以显著提升性能。

Nov, 2023

重访 DocRED -- 在关系抽取中解决假阴性问题

本文针对 DocRED 数据集中占主导地位的漏报问题进行了研究，并通过重新注释数据集来修复该问题，重新命名为 Re-DocRED 数据集，同时实验结果表明使用 Re-DocRED 数据集进行训练和评估可以获得 13 个 F1 分数的性能提升。

May, 2022

DocRED：大规模文档级关系抽取数据集

本文介绍 DocRED 数据集，该数据集为文档级别中关系抽取 (Relation Extraction) 提供了一个新的方法，并提供了大规模的远程监督数据，以满足超级 / 弱监督训练需求。同时我们实验了目前最先进的方法，结果表明文档级别中关系抽取仍需要进一步的研究。

Jun, 2019

句子级关系抽取的改进基准线

该文介绍了基于句子的关系抽取问题，着重探讨了影响现有关系抽取模型性能的实体表示和噪声标签问题，并利用预训练语言模型提出了改进的基线模型，在 TACRED 数据集上取得了 F1 分数 74.6%，在 Re-TACRED 数据集上取得了 F1 分数 91.1%，证明预训练语言模型在该任务上具有高性能。

Feb, 2021

FREDA: 灵活的关系抽取数据标注

本研究提出了一种方法，以便快速生成高质量数据集用于关系抽取任务，并训练神经模型以对所创建的数据集进行关系抽取来实现很好的结果，并广泛适用于其他数据集。研究中，我们能够在合理的时间内注释 10,022 个句子的 19 种关系，并为每种关系训练一个常用的基线模型。

Apr, 2022

使用挑战数据揭示关系抽取模型的浅层启发式

通过研究数据采集和注释过程中的分布偏差，我们提出了一种称为 Challenging RE (CRE) 的挑战性数据集，分析了四个最先进的关系抽取 (RE) 模型的失败模式，挖掘了它们浅层启发式算法的局限性，并发现替代的问答建模表现显著更好，提供了改进数据收集的具体建议。

Oct, 2020

使用预训练语言表示优化关系提取

使用 TACRED 及 SemEval 2010 Task 8 数据集，TRE 通过使用预先训练的深度语言表示模型以及自注意力深度学习模型，从文本语料库中自动学习隐式语言特征并显著提高样本效率，从而实现了关系提取任务的新的最优结果。

Jun, 2019

BioRED：一份丰富的生物医学关系提取数据集

本文提出了一个多实体类型和多关系对的文献级生物医学关系抽取数据集 BioRED，包括新发现和先前已知的信息，旨在评估现有状态下的自动化算法，为更准确、高效和稳健的生物医学关系系统的开发奠定基础。

Apr, 2022