Jun, 2021

跨文档指代消解的现实评估原则

TL;DR该研究指出跨文档指代消解的常见评估方法在假设情境方面过于宽松,导致结果夸大。为此,提出两种评估方法论原则,一是应该根据预测的提及而非黄金提及来评估模型,二是模型不应利用合成的 ECB + 数据集的主题结构,以便模型面对词汇歧义挑战,实证结果显示我们更为真实的评估方法对于一个竞争模型的影响巨大,并导致 33 的 F1 得分下降,从而解决该问题。