可微的开放式常识推理
论文通过构建一个与问题相关的知识图谱并采用顺序子图推理过程来预测答案,提出了一种新的模型来解决多跳推理的通识推理问题,提高了在 OpenCSR 数据集上的性能。
Mar, 2023
该研究旨在通过探究响应生成模型对常识推理的理解程度以诱发适当的响应来缩小当前响应生成模型和人类沟通能力之间的差距,探测 RG 模型的常识推理能力并提出了两个探针设置来评估 RG 模型的常识推理功能。结果表明,模型无法捕获常识解释和响应之间的逻辑关系,领域内数据的微调和增加模型规模并不能带来对 CSR 的理解,这一研究有望激励更多的研究使 RG 模型效仿人类推理过程以实现流畅的人工智能交流。
Apr, 2021
本文提出了一个名为 TG-CSR 的具有理论基础的通识常识推理基准,该基准旨在评估通识常识的各种方面,并基于少量的训练和验证示例进行学习。通过初步的测试结果表明,该基准对于设计用于推理性 CSR 问题答案的先进语言表示模型来说是具有挑战性的。
Mar, 2022
本文提出一种使用无监督学习、基于语言模型的神经网络常识推理的简单方法,通过对大量未标记数据的训练,优化单选题的得分,获得了很好的测试成绩,没有使用昂贵的注释知识库或手工特征工程。
Jun, 2018
本文提出了一种多维模型的常识知识语句,以及一种关于相关语句集合的联合推理方法。通过将推理转化为整数线性规划,采用软约束和松弛 LP 的降维成本理论来计算信息化排序,本方法可以应用于多个大型 CSK 收集,最终可以将这些内容转化为更干净和更具表现力的知识。
Jan, 2020
本文提出了一种利用常识知识图谱,将结构信息和语义信息结合到推理中,提高语言模型在生成任务中处理常识知识的准确性。通过动态多跳推理模块,本文建立了 Generation with Multi-Hop Reasoning Flow (GRF) 模型,实验表明该模型在三个包含常识知识推理的生成任务中的表现优于现有基线模型。
Sep, 2020
本文提出了一种新颖的多头知识注意模型,该模型对半结构化的常识推理规则进行编码,并学习将它们纳入基于 Transformer 的推理单元中。在推理任务中,我们评估了模型在需要不同推理技能的两个任务上的表现,即推断性自然语言推理和反事实不变性预测,并展示了我们提出的模型相对于强大的最先进模型(例如 RoBERTa)在两个推理任务中的表现提高,通过扰动知识,并对模型的知识纳入能力进行定性分析,我们验证了模型推理能力的稳健性。值得注意的是,我们在最佳解释方面展示了学习执行反事实推理的模型对推断性推理任务的帮助,这在我们所知道的情况下是首次演示的。
Oct, 2020
通过提出一种选择基于概念网络的常识信息和一种选择性门控的多头注意力机制,本文提出了一种生成式模型,用于解决阅读理解 QA 任务中的多跳关系抽取问题,并在 NarrativeQA 数据集上创造新的最先进结果。
Sep, 2018
本文提出了一种基于单跨提取的阅读理解模型的推理模板方法,针对复杂问题分解成若干简单子问题进行处理,实现了对减法算术问题的回答并具有竞争力,同时可解释、需要少量监督。
Apr, 2021