通过对多个语言模型（LMs）和概念排序策略进行系统研究，我们发现使用 BART-large 模型在按照 CommonGen 训练数据中概念顺序进行微调时，表现始终优于其他所有考虑到的 LMs，并通过多个评估指标进行了衡量；此外，即便使用专门针对该任务的训练数据进行微调，更大的基于 GPT3 的大型语言模型（LLMs）变体在此任务上也未必表现更好；有趣的是，人工标注者在手动编写涵盖这些概念的句子时会显著调整输入的概念顺序，并且无论生成时使用的 LM 如何，这种排序都能提供最好的句子生成结果，超过了基于概率的概念排序基线。

Sep, 2023

本文提出概念感知的语言模型 (CALM)，通过增强自监督学习任务以从文本中学习常识。CALM 可以在不依赖外部知识图谱的情况下将更多的常识知识整合到预先训练的文本转文本变压器的参数中，从而在自然语言理解和生成任务中实现更好的性能。

Oct, 2020

本文针对故事生成中存在的重复、逻辑冲突和长距离一致性缺乏等问题，提出了一种基于知识增强预训练模型的通用故事生成方法。通过利用外部知识库中的常识知识来生成合理的故事，并采用多任务学习的方法来捕捉合理故事中句子之间的因果关系和时间依赖关系，从而在逻辑和整体一致性方面比其他最先进的模型有更好的表现。

Jan, 2020

我们提出了一种计算高效的框架，通过引导一个固定的预训练语言模型向更具常识的生成方式迈进，以产生一个合理的输出，该输出以一系列概念有意义的方式融合。测试结果表明，我们的方法在两个有限概念生成句子的基准上始终能够产生最具常识性的输出。

Oct, 2023

本文研究了如何通过增强预训练语言模型的知识感知图神经网络编码器来解决复杂的常识推理任务，并发现这种方法中的关系特征是主要的贡献因素。通过基于统计关系路径获取的特征设计一个简单的 MLP-based 知识编码器，不仅提高了 PTMs 的性能，而且还大大减少了编码 CSKGs 的参数。

May, 2022

通过利用 ConceptNet 中的结构化知识，构造逻辑形式并生成常识性逻辑推理的多项选择题进行训练，我们提出了一种简单而有效的方法来教授预训练模型常识性推理，实验结果表明，这种训练可以使预训练模型在需要常识性推理的任务上表现稳定提升，特别是在少样本学习设置下。

Sep, 2019

本文调查了预先训练模型在常识推理和生成任务上的表现，探讨了最新研究的优劣势，并提出未来的研究方向。

Jan, 2022

介绍了如何利用当前的机器学习方法，通过知识迁移、模型集成和引入配对对比目标等方法，改进通用预训练语言模型在常识推理任务中，取得超过 15％的配对准确度和超过 8.7％的标准准确度的绝对增益。

Oct, 2023

本研究提出一种基于预训练 transformer 模型的全文格式的可信度排名得分方法，无需微调即可产生强大的基线，可以为通识推理任务提供更加稳定和有效的训练解决方案。

Apr, 2020

本文通过介绍一种新的合成问答数据集 PrOntoQA，旨在通过对 LLMs 的系统探索，该数据集是通过使用一阶逻辑表示的合成世界模型生成的。作者对 InstructGPT 和 GPT-3 进行了分析，表明 LLMs 能够进行正确的逻辑推理，但在方案规划方面存在困​​难。

Oct, 2022