本文针对故事生成中存在的重复、逻辑冲突和长距离一致性缺乏等问题，提出了一种基于知识增强预训练模型的通用故事生成方法。通过利用外部知识库中的常识知识来生成合理的故事，并采用多任务学习的方法来捕捉合理故事中句子之间的因果关系和时间依赖关系，从而在逻辑和整体一致性方面比其他最先进的模型有更好的表现。

Jan, 2020

我们提出了一种计算高效的框架，通过引导一个固定的预训练语言模型向更具常识的生成方式迈进，以产生一个合理的输出，该输出以一系列概念有意义的方式融合。测试结果表明，我们的方法在两个有限概念生成句子的基准上始终能够产生最具常识性的输出。

Oct, 2023

本论文中，我们探讨如何运用常识知识图谱提高条件文本生成模型的综合性能，通过从 Conceptnet 中提取常识关系，将这些关系注入到 Unified Language Model (UniLM) 中，并通过输出约束强制实施词汇要求，以提高生成文本的语义正确性和符合人类理解，从而实现了匹配词性和完全概念覆盖的要求。

Dec, 2020

本文提出概念感知的语言模型 (CALM)，通过增强自监督学习任务以从文本中学习常识。CALM 可以在不依赖外部知识图谱的情况下将更多的常识知识整合到预先训练的文本转文本变压器的参数中，从而在自然语言理解和生成任务中实现更好的性能。

Oct, 2020

本文利用 Transformer 模型及多种技巧，解决常识推理领域中缺乏可控性、训练时缺乏常识知识、推理出假命题等问题。通过引入 “提示” 技术控制推理，使用多个常识知识库进行联合推理，并运用 GAN 框架生成同时可信可控的常识命题。

Feb, 2023

本研究介绍了一种基于 Condition SEQ2SEQ 混合模型（COSMO）来生成具有动态性和多样性的内容的方法，用于上下文相关的通识推理，通过生成通识知识图谱，以实现零样本通识问题回答，并且实验结果表明，与现有技术相比，COSMO 在该领域性能提高了 5.2%。

Nov, 2020

通过测量预测标记的可能性以及调控它，我们提出了适用于自动回归 LL 模型的简单无需训练的方法，被称为 CoS （Context Steering），使实践者能够根据其特定用例和终端用户群确定适当的上下文影响水平，并展示了 CoS 的各种应用，包括增强上下文影响以实现更好的个性化和减少模型偏差所产生的无用影响，此外，还展示了如何结合贝叶斯推断来量化互联网上的仇恨言论，我们在最先进的 LL 模型和基准测试上展示了 CoS 的有效性。

May, 2024

我们提出了一种从上下文信息的角度解决多模态语言模型在视觉问答任务中难以提供准确和精确回答的挑战的方法：因果上下文生成策略（Causal-CoG）。我们通过提示多模态语言模型生成上下文，即图像的文本描述，并利用生成的上下文进行问题回答，同时从因果关系的角度研究上下文在视觉问答中的优势，引入因果过滤来选择上下文信息对于有帮助的样本。通过在 10 个多模态基准测试上进行广泛实验，与直接解码相比，Causal-CoG 的有效性得到证明，例如在 POPE 测试上提高了 6.30%，在 Vizwiz 测试上提高了 13.69%，在 VQAv2 测试上提高了 6.43%，超过了现有方法。我们希望 Causal-CoG 能够激发对多模态模型中上下文知识的探索，并作为多模态语言模型解码的即插即用策略。

Dec, 2023

本文提出了一种通过利用大规模常识和基于命名实体的知识实现的新型开放域对话生成模型，该模型还利用了与每个话语相关的非结构化主题特定知识，并通过使用共指提高了常识知识。提出的模型利用多跳注意力层保留对话历史和相关知识的最准确和最关键的组成部分，还用到 Commonsense and Named Entity Enhanced Attention Module。实验结果表明我们的模型在两个基准数据集上均显著优于最先进的方法。

May, 2022

该研究提出了两种方法，通过外部常识知识图谱，隐式或显式地融入到预先训练好的自然语言处理模型中，以提高社交智能，这种方法对社交常识推理任务 SocialIQA 的表现在有限和完整的训练数据制度下都表现出良好的效果。

May, 2021