本论文探究了 DocRED 数据集在使用远程监督的推荐 - 修改策略进行大规模标注时产生的错误和偏差。通过对针对该数据集和其他从头标注的子集进行的比较和分析，本文发现该策略在修订阶段实际上阻碍了标记人员补充足够的实例，从而导致较多的假阴性样本和明显的偏向于热门实体和关系类型。本文呼吁未来的研究在设计新的模型和标注方案时考虑到这些问题，并发布了重新标注过的数据集作为可靠的文档关系抽取模型测试集。

Apr, 2022

本文介绍 DocRED 数据集，该数据集为文档级别中关系抽取 (Relation Extraction) 提供了一个新的方法，并提供了大规模的远程监督数据，以满足超级 / 弱监督训练需求。同时我们实验了目前最先进的方法，结果表明文档级别中关系抽取仍需要进一步的研究。

Jun, 2019

本文针对 TACRED 数据集进行了全面研究和改进，提出了改进的众包策略，通过重新注释整个数据集，发现 TACRED 标签中有 23.9% 是错误的，用改进后的数据集评估模型，平均 f1 得分提高了 14.3％，并揭示了不同模型之间的显著关系。最终，我们发布了 Re-TACRED，这是一个全新完全重新注释的 TACRED 数据集版本，可以用于可靠地评估关系提取模型。

Apr, 2021

本文提出了一种名为 ReRe 的管道方法，通过句子级别的关系检测和主谓对象提取来实现样本有效训练，将关系抽取问题转化为正无标记学习任务，缓解了负样本引起的误差问题，实验结果表明，该方法能够持续超越现有方法并且即使在学习大量的假阳性样本时仍保持良好的性能。

May, 2021

本文提出了一个多实体类型和多关系对的文献级生物医学关系抽取数据集 BioRED，包括新发现和先前已知的信息，旨在评估现有状态下的自动化算法，为更准确、高效和稳健的生物医学关系系统的开发奠定基础。

Apr, 2022

本文针对文档级关系抽取问题，设计一种具有高区分性和鲁棒性的方法，包括有效的损失函数，熵最小化和有监督对比学习，新颖的负标签采样策略，并在新的数据情境下进行评估。实验结果表明，该方法在 DocRED 数据集，Re-DocRED 和提出的数据情境下取得了最新的最优结果。

Apr, 2023

本文提出了一个新的金融实体关系抽取数据集 FinRED，并在此数据集上对各种最先进的关系抽取模型进行试验，结果显示当前的模型在金融领域的性能较差，需要更好的模型。

Jun, 2023

本文针对文档级关系抽取领域中广泛存在的一种强假设，即所有命名实体都已经完美地本地化、标准化和分类，通过构造四种类型的实体提及攻击，对典型的文档级关系提取模型进行行为探测，发现大多数当前的文档级关系提取模型易受实体提及攻击的影响，难以在真实世界的自然语言处理应用中部署，在未来的研究中建议停止简化问题设置，并在真实环境下建模文档级关系提取。

Jun, 2023

本文提出了一种新的自适应重新采样自训练框架，采用精度和召回率对每个类别的伪标签进行重新采样，以增加整体召回率而不过多牺牲精度，并在文件级别和生物医学关系提取数据集上进行实验表明，所提出的自训练框架在数据集的不完全注释时比现有方法表现要好。

Jun, 2023

本文提出了一个半监督框架，包含三个新组件，针对文档级关系抽取任务进行优化，通过轴向注意力模块学习实体对之间的相互依赖关系、自适应 focal loss 解决 DocRE 的类别不平衡问题，以及使用知识蒸馏方法克服人工标注数据与远程监督数据之间的差异。在两个 DocRE 数据集上的实验证明我们的模型表现超过了强基线模型，并且在 DocRED 排行榜上的 F1 分数和 Ign_F1 分数分别增加了 1.36 和 1.46 分。

Mar, 2022