常识推理

Nov, 2016

Ordinal Common-sense Inference

Sheng Zhang, Rachel Rudinger, Kevin Duh, Benjamin Van Durme

TL;DR研究了基于常识推断和自然语言的自动化推断能力，并提出了一种以推理推断为基础的评估框架和数据集，使用神经序列到序列模型训练。此外，通过序数标注协议注释预先建立的数据集并分析其区别。

Abstract

Humans have the capacity to draw common-sense inferences from natural language: various things that are likely but not certain to hold based on established discourse, and are rarely stated explicitly. We propose an evaluation of automated common-sense inference based on an extension of

common-sense inference natural language recognizing textual entailment neural sequence-to-sequence model data annotation

发现论文，激发创造

常识推理的简单方法

本文提出一种使用无监督学习、基于语言模型的神经网络常识推理的简单方法，通过对大量未标记数据的训练，优化单选题的得分，获得了很好的测试成绩，没有使用昂贵的注释知识库或手工特征工程。

Jun, 2018

非常规推理：关于非常规情况的归纳推理

通过研究不寻常、意外和不太可能的情境，我们探索了非常识性推理的能力，发布了一个名为 UNcommonsense 的英语语料库，并比较人类解释者和最佳大型语言模型的表现差异，最终尝试了几种在线模仿学习算法来训练开放和易用的语言模型，在人工评估中，这些方法在常见和非常识性推理上一致降低了错误率。

Nov, 2023

神经语言表征是否学习了物理常识？

本文研究了目前最先进的神经语言表示在物理常识推理方面的表现，结论显示，尽管神经语言模型在各种自然语言推理任务上表现出色，但在物理常识方面仍然只能学习到现有的明确规则和关联性。

Aug, 2019

用于学习自然语言推理的大规模注释语料库

通过引入 Stanford 自然语言推理语料库，我们成功解决了机器学习研究在自然语言推理方面的巨大缺乏，该语料库是由人类按照基于图像字幕的新颖本体任务撰写的标记句子对，包含 570k 个句子对，是同类资源的两个量级以上，在规模方面取得了重大进展，这使得词汇分类器优于一些复杂的现有蕴含模型，并且让一种基于神经网络的模型在自然语言推理基准测试中首次表现亮眼。

Aug, 2015

归纳常识推理

本研究介绍了一项关于抽象推理的新研究，并提出了两个基于新数据集 ART 的任务 ——《抽象自然语言推理》和《抽象自然语言生成》。该研究分析了当前最佳自然语言生成器的性能水平，探索了现有深度学习模型在推理能力方面的局限性，并在进一步的研究中提出了有趣的新方向。

Aug, 2019

多前提自然语言推理

该论文定义了一项新的文本蕴含任务，要求对多个前提句子进行推断，提出了一个新的数据集来最小化平凡的词汇推理，强调对日常事件的知识，并为文本蕴含提出了一个更具挑战性的环境；同时评估了多种强力神经网络基线，并分析多个前提任务与标准文本含义的区别。

Oct, 2017

谈话式神经符号常识推理

为了能让对话式 AI 系统拥有更自然和广泛的对话，需要更多常识，包括识别对话伙伴的不明说的假设。本研究提出了一个基于神经符号定理证明器的多跳推理链提取方法来理解这类不精确陈述的自然语言命令，并提供一个交互式对话框架来从人类中挖掘常识知识来完善其推理链。

Jun, 2020

自然语言推理数据中的注释问题

该研究通过大规模数据集研究了自然语言推理，并揭示了某些语言现象与推理类别高度相关的结论，进一步表明自然语言推理模型的成功被高估了，这个任务仍是一个难题。

Mar, 2018

一种基于预备知识库的常识推理教授预训练模型的初步方法

通过利用 ConceptNet 中的结构化知识，构造逻辑形式并生成常识性逻辑推理的多项选择题进行训练，我们提出了一种简单而有效的方法来教授预训练模型常识性推理，实验结果表明，这种训练可以使预训练模型在需要常识性推理的任务上表现稳定提升，特别是在少样本学习设置下。

Sep, 2019

预训练模型中的常识知识挖掘

使用预训练的双向语言模型将关系三元组转换为掩码句子，通过估计点间互信息来排名三元组的有效性，从而开发了一种生成常识知识的方法。该方法在新源中挖掘常识知识时优于显式训练的模型，说明无监督技术比目前的有监督方法更具推广性。

Sep, 2019