该论文介绍了一个包含多种类型的文本解释的数据集 CICEROv2，提出了一系列的预训练目标来帮助下游任务。结果表明，该论文中的预训练目标对于预训练模型来说是有效的。

Oct, 2022

本文利用 Transformer 模型及多种技巧，解决常识推理领域中缺乏可控性、训练时缺乏常识知识、推理出假命题等问题。通过引入 “提示” 技术控制推理，使用多个常识知识库进行联合推理，并运用 GAN 框架生成同时可信可控的常识命题。

Feb, 2023

我们提出了一种任务，即基于语篇的通识推理，在保持与叙述其余部分的一致性的同时，在预定义的维度上生成常识推断。使用可用的句级注释，我们有效且自动地构建了一个远程监督语料库，使用该语料库，我们训练了 PARA-COMET，这是一种基于语篇的模型，它捕获关于先前世界知识的语义知识和涉及如何将当前事件与叙述中先前和未来事件相关联的情节知识。我们的结果表明，PARA-COMET 在生成既连贯又新颖的推断方面优于句级基准。

Oct, 2020

论文介绍了一种名为 CAST 的基于 Transformer 的神经叙事生成框架，它使用常识推理来增强故事生成的连贯性和角色之间的交互，且在单一和多角色设置下比现有模型产生更连贯，主题相关，可享受和流畅的故事。

May, 2021

本论文中，我们探讨如何运用常识知识图谱提高条件文本生成模型的综合性能，通过从 Conceptnet 中提取常识关系，将这些关系注入到 Unified Language Model (UniLM) 中，并通过输出约束强制实施词汇要求，以提高生成文本的语义正确性和符合人类理解，从而实现了匹配词性和完全概念覆盖的要求。

Dec, 2020

本文介绍了一个大规模的神经启发式表示系统 GLUCOSE，以建立 AI 的基于常识的推理模型，采用半结构化模板进行数据收集，数据中心包括特定故事的因果陈述和推广自该陈述的演绎规则。文章还讨论了 GLUCOSE 的预训练模型可以启发神经模型进行一般推理的做法。

Sep, 2020

本文介绍了 CIDER，一种人工筛选的数据集，旨在通过上下文常识推理提取对话中的富含隐含和显式知识三元组的解释，且通过多项基准测试表明此任务的困难性和它为未来有前途的研究提供了重要的基础。

Jun, 2021

本文针对故事生成中存在的重复、逻辑冲突和长距离一致性缺乏等问题，提出了一种基于知识增强预训练模型的通用故事生成方法。通过利用外部知识库中的常识知识来生成合理的故事，并采用多任务学习的方法来捕捉合理故事中句子之间的因果关系和时间依赖关系，从而在逻辑和整体一致性方面比其他最先进的模型有更好的表现。

Jan, 2020

介绍了如何利用当前的机器学习方法，通过知识迁移、模型集成和引入配对对比目标等方法，改进通用预训练语言模型在常识推理任务中，取得超过 15％的配对准确度和超过 8.7％的标准准确度的绝对增益。

Oct, 2023

本文介绍了 SemEval-2020 任务 4：Commonsense Validation and Explanation（ComVE）挑战中的常识推理任务，探讨了几种针对该任务的深度学习方法，并使用多选题式的分类方法来提高模型准确率。研究结果表明，我们的模型在三个子任务中表现良好，并在第二个子任务中获得了很高的排名。同时，我们使用了一种强大的生成模型进行了最后一个子任务的研究，现在还有许多相关的潜在研究方向。

May, 2020