Nov, 2023

非常规推理：关于非常规情况的归纳推理

PDF
TL;DR通过研究不寻常、意外和不太可能的情境，我们探索了非常识性推理的能力，发布了一个名为 UNcommonsense 的英语语料库，并比较人类解释者和最佳大型语言模型的表现差异，最终尝试了几种在线模仿学习算法来训练开放和易用的语言模型，在人工评估中，这些方法在常见和非常识性推理上一致降低了错误率。
language technologiescommonsense reasoninguncommonsense abductive reasoninglanguage corpusimitation learning algorithms
发现论文，激发创造
  • 归纳常识推理

    本研究介绍了一项关于抽象推理的新研究，并提出了两个基于新数据集 ART 的任务 ——《抽象自然语言推理》和《抽象自然语言生成》。 该研究分析了当前最佳自然语言生成器的性能水平，探索了现有深度学习模型在推理能力方面的局限性，并在进一步的研究中提出了有趣的新方向。

    Aug, 2019

  • 基于互斥解释的引入式常识推理

    本文提出一种利用后验正则化来促进建模向区分流畅解释和可信解释的逻辑推断模型，以实现无样本学习的非监督归纳通用推理的方法，并在多个推理数据集上进行实验，结果表明此方法在零样本学习上表现出色，优于直接应用预训练语言模型和其他知识增强方法。

    May, 2023

  • 语言模型是否能够执行假设式常识推理？

    本文为解决 “Abductive Reasoning” 提出了多种方法，再现了基准模型。通过此报告，发现目前的方法仍有一些局限性。

    Jul, 2022

  • 常识推理的简单方法

    本文提出一种使用无监督学习、基于语言模型的神经网络常识推理的简单方法，通过对大量未标记数据的训练，优化单选题的得分，获得了很好的测试成绩，没有使用昂贵的注释知识库或手工特征工程。

    Jun, 2018

  • AbductionRules: 训练 Transformer 解释意料之外的输入

    该研究旨在探讨 Transformer 网络在自然语言的事实和规则上的逻辑推理，但未充分研究其在归纳推理中的应用。AbductionRules 是一组自然语言数据集，旨在训练和测试自然语言知识库上的归纳推理的可推广性。通过 Fine-tuned 预训练过的 Transformers 模型，研究者发现模型学习了可推广的归纳推理技巧，并利用了数据结构。最后，研究者还探讨了这种方法的可行性以及未来的改进方向。

    Mar, 2022

  • 解释自己！利用语言模型进行常识推理

    使用自然语言序列和突出的注释收集人类的常识推理解释，形成一个名为 CoS-E 的新数据集。利用 CoS-E 训练语言模型，在 Commonsense Auto-Generated Explanation (CAGE) 框架中生成解释，可用于训练和推理。实验结果表明能够有效利用语言模型进行常识推理。

    Jun, 2019

  • 开放式常识推理与无限答案范围

    利用预训练的语言模型迭代地检索外部知识库中的推理路径来帮助识别对于常识问题最准确的答案，并在两个常识基准数据集上实现了比其他方法更好的性能。

    Oct, 2023

  • 时间常识推理与获取综述

    时间常识推理是指理解短语、动作和事件的典型时间背景，并在需要此类知识的问题上使用它进行推理的能力。本文概述了在时间常识推理领域的研究，特别关注通过多种增强和它们在日益增多的数据集上的评估来提高语言模型性能。然而，这些增强模型在处理时间常识属性的推理任务上仍然难以接近人类表现。我们进一步强调在转换器中存在的浅层推理情况下，对研究结果进行谨慎解释以防过度承诺评估结果，可以通过适当准备数据集和合适的评估指标来实现。

    Jul, 2023

  • 一种基于预备知识库的常识推理教授预训练模型的初步方法

    通过利用 ConceptNet 中的结构化知识，构造逻辑形式并生成常识性逻辑推理的多项选择题进行训练，我们提出了一种简单而有效的方法来教授预训练模型常识性推理，实验结果表明，这种训练可以使预训练模型在需要常识性推理的任务上表现稳定提升，特别是在少样本学习设置下。

    Sep, 2019

  • 多头知识关注的社交常识推理

    本文提出了一种新颖的多头知识注意模型，该模型对半结构化的常识推理规则进行编码，并学习将它们纳入基于 Transformer 的推理单元中。在推理任务中，我们评估了模型在需要不同推理技能的两个任务上的表现，即推断性自然语言推理和反事实不变性预测，并展示了我们提出的模型相对于强大的最先进模型（例如 RoBERTa）在两个推理任务中的表现提高，通过扰动知识，并对模型的知识纳入能力进行定性分析，我们验证了模型推理能力的稳健性。值得注意的是，我们在最佳解释方面展示了学习执行反事实推理的模型对推断性推理任务的帮助，这在我们所知道的情况下是首次演示的。

    Oct, 2020