EMNLPOct, 2020

多头知识关注的社交常识推理

PDF
TL;DR本文提出了一种新颖的多头知识注意模型，该模型对半结构化的常识推理规则进行编码，并学习将它们纳入基于 Transformer 的推理单元中。在推理任务中，我们评估了模型在需要不同推理技能的两个任务上的表现，即推断性自然语言推理和反事实不变性预测，并展示了我们提出的模型相对于强大的最先进模型（例如 RoBERTa）在两个推理任务中的表现提高，通过扰动知识，并对模型的知识纳入能力进行定性分析，我们验证了模型推理能力的稳健性。值得注意的是，我们在最佳解释方面展示了学习执行反事实推理的模型对推断性推理任务的帮助，这在我们所知道的情况下是首次演示的。
social commonsense reasoningmulti-head knowledge attention modeltransformer-based reasoning cellabductive natural language inferencecounterfactual invariance prediction
发现论文，激发创造
  • 基于注意力头的公共常识推理跨语言迁移研究

    本研究提出一个新的简单方法，利用预先训练的跨语言模型来进行常识推理，并在多语言 Winograd 模式语料库上进行了评估，结果表明即使在其他语言中零样本情况下，该方法具有与监督和非监督方法相当的性能表现，并提供了多语言编码器普遍推理能力的证据。

    Jun, 2021

  • 关注并非你需要的全部 —— 常识推理

    本文描述了 BERT 在常识推理任务中的简单再现，展示了 BERT 生成的关注力可以被直接用于 Pronoun Disambiguation Problem 和 Winograd Schema Challenge 这些任务，提出的基于关注力的常识推理方法在各种数据集上表现出色，超过了之前报道的最先进水平。

    May, 2019

  • KagNet: 基于知识的图网络用于常识推理

    该研究提出了一种基于知识图谱的语义推理框架，以解决常识性问题，并通过引入 KagNet 模型和 ConceptNet 外部资源，取得了在常识 QA 数据集上的最佳表现。

    Sep, 2019

  • 基于神经常识知识和符号逻辑规则的多跳对话推理

    本文提出了一种用于对话代理的零样本通识推理系统，可以通过基于转换器的生成通识知识库找到用户命令中未明示的假设，同时提出了一种动态问题生成策略来从人类用户中提取缺失的知识，实验表明，相比现有技术，成功率提高了 35%。

    Sep, 2021

  • 一种基于预备知识库的常识推理教授预训练模型的初步方法

    通过利用 ConceptNet 中的结构化知识，构造逻辑形式并生成常识性逻辑推理的多项选择题进行训练，我们提出了一种简单而有效的方法来教授预训练模型常识性推理，实验结果表明，这种训练可以使预训练模型在需要常识性推理的任务上表现稳定提升，特别是在少样本学习设置下。

    Sep, 2019

  • 推动 Transformer 在常识推理中的能力

    介绍了如何利用当前的机器学习方法，通过知识迁移、模型集成和引入配对对比目标等方法，改进通用预训练语言模型在常识推理任务中，取得超过 15％的配对准确度和超过 8.7％的标准准确度的绝对增益。

    Oct, 2023

  • 预训练语言模型在常识知识推理和生成中的应用：综述

    本文调查了预先训练模型在常识推理和生成任务上的表现，探讨了最新研究的优劣势，并提出未来的研究方向。

    Jan, 2022

  • 生成式多跳问答任务的常识推理

    通过提出一种选择基于概念网络的常识信息和一种选择性门控的多头注意力机制，本文提出了一种生成式模型，用于解决阅读理解 QA 任务中的多跳关系抽取问题，并在 NarrativeQA 数据集上创造新的最先进结果。

    Sep, 2018

  • 常识推理的简单方法

    本文提出一种使用无监督学习、基于语言模型的神经网络常识推理的简单方法，通过对大量未标记数据的训练，优化单选题的得分，获得了很好的测试成绩，没有使用昂贵的注释知识库或手工特征工程。

    Jun, 2018

  • Commonsense 知识图谱上的多跳推理语言生成

    本文提出了一种利用常识知识图谱，将结构信息和语义信息结合到推理中，提高语言模型在生成任务中处理常识知识的准确性。通过动态多跳推理模块，本文建立了 Generation with Multi-Hop Reasoning Flow (GRF) 模型，实验表明该模型在三个包含常识知识推理的生成任务中的表现优于现有基线模型。

    Sep, 2020