Jun, 2023

模型是否理解文档?针对文档级关系抽取进行语言理解模型基准测试

TL;DR本文研究了文档级别关系抽取中模型对关系预测的决策规则,从注释、实验等多个角度评估了当前 SOTA 模型和人类在关系抽取方面的差异,并提出了平均精度均值(MAP)作为综合评估指标,结果提示 未来关系抽取模型的评估应考虑性能和理解能力两个方面。