该论文介绍了一种名为 KECP 的新框架以解决机器阅读理解中的抽取式问答任务中的少样本学习问题，通过转换任务为非自回归掩码语言建模生成问题，并引入外部知识库和上下文来增强嵌入的查询表示，同时通过对比学习目标和 MLM 目标的联合训练来提高 PLMs 的性能。该方法在多个基准测试中都表现出了明显优于最先进方法的性能。

May, 2022

研究人员基于知识增强的常识问答模型，在多个标准常识问答数据集上进行了大量实验，发现当前模型的知识潜力还远未被充分挖掘，提出了上下文敏感的知识选择、异构知识利用和基于常识的语言模型是未来常识问答的有效方向。

Jan, 2021

通过从语言模型中产生知识并将其作为额外输入用于回答问题，我们开发了一种生成知识提示方法，它不需要针对知识集成的任务特定监督，也不需要访问结构化的知识库，并在四个常识推理任务中提高了大规模、最先进模型的性能。这凸显了大规模语言模型作为提高常识推理的外部知识的灵活来源。

Oct, 2021

本研究证明了在使用预训练语言模型进行通识推理任务时，使用对比性的解释来完成解释提示可以提高性能并获得更准确的结果，同时提高人类可理解性。

Jun, 2021

该论文提出了一个常识问答的新数据集 ——CommonsenseQA，并采用了多个目标概念，旨在提高常识推理的难度，在使用 BERT-large 作为基线方法的情况下，最佳准确率为 56%。

Nov, 2018

本研究针对常识问题回答（Commonsense question answering）的挑战，提出了利用预训练语言模型中的 “隐含知识”，通过四种翻译方法，探索如何更好地调动语言模型中的常识知识。研究通过在零样本情况下对三个 CQA 数据集进行实验，证明了该方法对增强模型的性能十分有效，并且结合外部知识库进一步提高了模型性能。同时，文章还分析了各种填空翻译方法的不同特点和优缺点。

Jan, 2022

该研究提出了一种将多种知识源集成起来的问题回答方法，着重利用基于图的迭代知识检索模块和答案感知的注意机制，从多个知识源中检索和综合背景知识，并在 CommonsenseQA 数据集上实现了最优的表现。

Nov, 2020

该研究提出了一种利用潜空间对分类模型进行对比解释的方法，可以对输入的文本进行高、低级别的概念和属性归纳分析，以实现更准确、细粒度的模型可解释性。

Mar, 2021

通过黑盒 / 查询访问，我们提出了两种对比解释方法：一种是效率较高但需要多次模型调用的近视算法，另一种是主要算法贡献的预算算法。我们展示了这些方法在不同自然语言任务中的有效性，例如开放文本生成、自动红队战术和解释对话衰退。

Jun, 2024

本文提出了将外部常识知识与语言模型相结合的方法，以提高多选题目中常识知识的应用。研究人员采用三种不同的知识插入策略和四种不同的问题 - 回答模型，分析预测结果并探索进一步改进的范围。

Sep, 2019