Feb, 2024
借助语义驱动的对抗性方法指出关系提取模型的不足
Pointing out the Shortcomings of Relation Extraction Models with Semantically Motivated Adversarials
Gennaro Nolano, Moritz Blum, Basil Ell, Philipp Cimiano
TL;DR近年来，大型语言模型在各种自然语言处理任务中取得了最先进的性能。然而，研究表明这些模型往往依赖于简化特征，导致不准确的预测，并使得模型在泛化到分布外样本时不可靠。本研究描述了几种基于语义的策略来生成替代实体提及的对抗样本，并调查了最先进的关系抽取模型在压力下的性能。我们的分析结果显示，这些模型在修改后的数据集上的性能显著下降（F1 平均下降 48.5%），这表明这些模型严重依赖于简化的特征，如实体的表面形式（或其模式），而没有充分利用句子中存在的信息。