Jun, 2023
模型是否理解文档?针对文档级关系抽取进行语言理解模型基准测试
Did the Models Understand Documents? Benchmarking Models for Language Understanding in Document-Level Relation Extraction
Haotian Chen, Bingsheng Chen, Xiangdong Zhou
TL;DR本文研究了文档级别关系抽取中模型对关系预测的决策规则,从注释、实验等多个角度评估了当前 SOTA 模型和人类在关系抽取方面的差异,并提出了平均精度均值(MAP)作为综合评估指标,结果提示 未来关系抽取模型的评估应考虑性能和理解能力两个方面。