本文介绍了一个基于 CommonGen 任务的数据集，用于评估预训练语言模型的生成常识推理能力，任务的难点在于需要进行关系推理并具有通用性，实验结果表明目前最先进的文本生成模型与人类表现存在很大差距，且生成的常识推理能力可以用于提高 Downstream 任务的性能。

Nov, 2019

本论文中，我们探讨如何运用常识知识图谱提高条件文本生成模型的综合性能，通过从 Conceptnet 中提取常识关系，将这些关系注入到 Unified Language Model (UniLM) 中，并通过输出约束强制实施词汇要求，以提高生成文本的语义正确性和符合人类理解，从而实现了匹配词性和完全概念覆盖的要求。

Dec, 2020

本文提出一种利用韩语知识图谱数据进行文本生成的方法，并强调使用补充数据可以增强韩语通识推理的效率。

Jun, 2023

本文针对故事生成中存在的重复、逻辑冲突和长距离一致性缺乏等问题，提出了一种基于知识增强预训练模型的通用故事生成方法。通过利用外部知识库中的常识知识来生成合理的故事，并采用多任务学习的方法来捕捉合理故事中句子之间的因果关系和时间依赖关系，从而在逻辑和整体一致性方面比其他最先进的模型有更好的表现。

Jan, 2020

提出了一种基于符号知识图谱的预训练语言模型生成任务相关信息的 CommonSense Contextualizer (CoSe-Co) 模型，该模型结合句子作为输入文本的上下文信息，以构建一种新的数据集用于训练 CoSe-Co 模型，并在多项选择 QA 以及常识推理任务中展现出显著提高的性能

Jun, 2022

本文旨在探讨预训练语言模型在常识推理数据集中的可靠性和全面性，并提出了一个新的包含自然语言真 / 假语句对的常识推理基准数据集，通过对不同维度的领域的知识、推理场景以及数学的设计来促进常识能力的系统分析，并设计了成对精度度量标准来可靠地衡量代理的常识推理能力。实验结果表明，我们最强的基线模型在微调后达到了约 71％的标准准确性和约 51％的成对准确性，远低于人类表现。

Jun, 2021

时间常识推理是指理解短语、动作和事件的典型时间背景，并在需要此类知识的问题上使用它进行推理的能力。本文概述了在时间常识推理领域的研究，特别关注通过多种增强和它们在日益增多的数据集上的评估来提高语言模型性能。然而，这些增强模型在处理时间常识属性的推理任务上仍然难以接近人类表现。我们进一步强调在转换器中存在的浅层推理情况下，对研究结果进行谨慎解释以防过度承诺评估结果，可以通过适当准备数据集和合适的评估指标来实现。

Jul, 2023

通过使用 GPT 编译了一个新的合成数据集 ConvoSense，在对话语境中进行常识推理，具有更大的上下文新颖性、更多的推理数量和推理所传达的详细信息丰富，使得针对对话的生成式常识模型在产生合理且具有高新颖性推理时优于之前的数据集训练的模型。据我们所知，ConvoSense 是首个以如此大规模提供如此多新颖推理的数据集。

Jan, 2024

本研究旨在解决自然语言处理中针对多种可能情况下的常识推理问题，通过构建 Possible Stories 数据集，对预训练语言模型的性能进行评估，结果表明其正确率远低于人类。该数据集包含需要反事实推理，读者反应和虚构信息的示例，可作为未来研究的测试基准。

Sep, 2022

利用多任务学习和辅助训练信号，在创作故事时增强常识推理能力。

Aug, 2019