本文旨在探索基于模型的方法来表征 RE 数据集 TACRED 中噪声的主要原因，并识别潜在的噪声实例。通过分析预测结果和 SOTA 模型的性能，我们发现 TACRED 数据集中的噪声主要来自被标记为无关系的实例。针对第二个目标，我们探索了两种基于最近邻的策略来自动识别可能存在噪声的实例，进行剔除和重新注释。实验证据显示，基于这些策略进行的模型再训练可以显著提升性能。

Nov, 2023

近年来，大型语言模型在各种自然语言处理任务中取得了最先进的性能。然而，研究表明这些模型往往依赖于简化特征，导致不准确的预测，并使得模型在泛化到分布外样本时不可靠。本研究描述了几种基于语义的策略来生成替代实体提及的对抗样本，并调查了最先进的关系抽取模型在压力下的性能。我们的分析结果显示，这些模型在修改后的数据集上的性能显著下降（F1 平均下降 48.5%），这表明这些模型严重依赖于简化的特征，如实体的表面形式（或其模式），而没有充分利用句子中存在的信息。

Feb, 2024

本文研究了 TACRED 数据集在关系抽取中高错误率的问题，通过训练标注者重新标注，了解了错误来源，发现部分标注错误和数据集中存在的歧义关系导致错误率高，对此提出对应解决方案，并验证了三种最先进的 RE 模型的错误假设。

Apr, 2020

该文介绍了基于句子的关系抽取问题，着重探讨了影响现有关系抽取模型性能的实体表示和噪声标签问题，并利用预训练语言模型提出了改进的基线模型，在 TACRED 数据集上取得了 F1 分数 74.6%，在 Re-TACRED 数据集上取得了 F1 分数 91.1%，证明预训练语言模型在该任务上具有高性能。

Feb, 2021

本文提出了一种新的自适应重新采样自训练框架，采用精度和召回率对每个类别的伪标签进行重新采样，以增加整体召回率而不过多牺牲精度，并在文件级别和生物医学关系提取数据集上进行实验表明，所提出的自训练框架在数据集的不完全注释时比现有方法表现要好。

Jun, 2023

本文探讨了利用 GPT-3 和 Flan-T5 等大型语言模型来进行关系提取（RE）的问题，通过将关系线性化生成目标字符串的方法进行了序列到序列的任务处理，通过人工评估的方式，在不同程度的监督下评估了它们在标准 RE 任务中的表现，发现通过 GPT-3 进行的少量提示与现有完全监督模型大致相当，而使用 Chain-of-Thought 风格的解释进一步监督和微调后，该模型产生了最优结果。

May, 2023

本文研究了文档级别关系抽取中模型对关系预测的决策规则，从注释、实验等多个角度评估了当前 SOTA 模型和人类在关系抽取方面的差异，并提出了平均精度均值（MAP）作为综合评估指标，结果提示 未来关系抽取模型的评估应考虑性能和理解能力两个方面。

Jun, 2023

本文通过三种不同的方案对低资源情况下关系抽取系统进行了全面研究，并创建了包含 8 个 RE 数据集的基准，示范了不同的方法与结合的影响，结果表明虽然基于提示的调整有助于低资源 RE，但在从跨句子上下文中提取多个关系三元组时仍有很大改善潜力，数据增强与自我训练可以较好地充实现有基准，并可带来很多性能提升，然而自我训练并不能始终实现低资源关系抽取的进步。

Oct, 2022

本文针对 TACRED 数据集进行了全面研究和改进，提出了改进的众包策略，通过重新注释整个数据集，发现 TACRED 标签中有 23.9% 是错误的，用改进后的数据集评估模型，平均 f1 得分提高了 14.3％，并揭示了不同模型之间的显著关系。最终，我们发布了 Re-TACRED，这是一个全新完全重新注释的 TACRED 数据集版本，可以用于可靠地评估关系提取模型。

Apr, 2021

本文针对文档级关系抽取领域中广泛存在的一种强假设，即所有命名实体都已经完美地本地化、标准化和分类，通过构造四种类型的实体提及攻击，对典型的文档级关系提取模型进行行为探测，发现大多数当前的文档级关系提取模型易受实体提及攻击的影响，难以在真实世界的自然语言处理应用中部署，在未来的研究中建议停止简化问题设置，并在真实环境下建模文档级关系提取。

Jun, 2023