Dec, 2021

LoNLI: 一个测试自然语言推理能力的可扩展框架

TL;DR本研究提出了一个可扩展的框架,通过行为测试创建了一个半合成的大型测试平台和相关框架,以分析和测试 17 种推理能力维度,包括语用推理,从而将自然语言推断(NLI)的不同逻辑推理能力以集合和型分类的方式应用于 NLU。通过分析最新的 NLI 系统,我们发现我们的基准确实非常难以训练,一些能力更难以训练。