本文研究使用新型的常识提取算法来提升较小的语言模型的常识能力，通过符号知识的传递和自我仿真学习，提出了 I2D2 框架并在生成泛化性句子方面进行实证研究，结果表明规模不是影响模型能力的唯一因素，新的算法是可行的。

Dec, 2022

研究一个新的框架，基于 Symbolic Knowledge Distillation，使用通用语言模型自动化地从 ATOMIC 资源中筛选高质量因果常识，并创造一种新的常识模型，其大小只有原始模型的 1/100，但功能优于其老师模型。

Oct, 2021

本文提出了一种新的预训练语言模型框架，通过增强其对文本的比较推理能力来提高 NLP 任务的性能，该框架通过收集结构化和非结构化数据设计了三个新的预训练任务，并在比较问答、问句生成和摘要等下游任务中进行了评估，结果显示，我们的预训练框架显著提高了语言模型的比较推理能力，特别是在低资源条件下。此外，本工作还发布了第一个针对文本比较推理的综合基准。

May, 2023

本研究提出了一种基于跨模型比较损失的方法，通过提高神经元的效率和减少输入的噪声来优化自然语言理解（NLU）模型，对 14 个数据集进行了广泛实验，证明跨模型比较损失对于因具有少量参数或长输入而难以优化的模型尤为有效。

Jan, 2023

本研究提出了一种基于组合范畴语法的组成性语义，并与基于自动定理证明的推理系统相结合，成功将英语中各种比较结构映射到语义表示中，本研究在包含比较、量词和数字的三个自然语言推理数据集上的实验证明该系统的表现优于之前的逻辑系统和最新的深度学习模型。

May, 2020

本文研究历史语言学中的声音变化规律及该规律如何使用比较法进行原形词的重构，提出使用神经序列模型对比较法数据集中的超过 8000 个比较条目进行原形词的预测，结果表明神经序列模型优于现有的传统方法。语音学变化的复杂性存在一定的差异，但该模型仍学习了有意义的语音规律。

Aug, 2019

本文提出一个新的评估框架，以测试知识图谱的效用，该框架基于从中可以从中学习隐式知识表征的效果。基于这个新目标，我们提出了一个新的通用常识知识图谱 ATOMIC 2020，其中包含预训练语言模型中不易获得的知识，并用其他主要的常识知识资源进行比较。通过人类评估，我们显示出基于 ATOMIC 2020 训练的知识模型的少数情况下的表现比 GPT-3（175 亿个参数）使用 430 倍少的参数。

Oct, 2020

本文研究了语言模型在推理过程中利用存储的知识的能力，发现预训练的语言模型在知识检索方面表现出色，但在简单的分类、比较和逆向搜索任务方面表现较差，即使在训练和推理过程中使用了控制思维链。研究的主要贡献是通过一个合成数据集的控制实验，证实了语言模型无法有效地操作预训练数据中的知识，即使这些知识完全存储且模型可以完全提取，且进行了适当的指导微调。

Sep, 2023

介绍了如何使用适合的神经符号模型来实现领域泛化和下游任务的鲁棒性，讨论了整合神经语言模型和知识图谱的不同方法，并对各种常识问答基准数据集进行了定量评估和定性错误分析。

Jan, 2022

基于组合范畴语法（CCG）的框架，本文提出了一种构成语义映射的方式来处理英语中各种比较结构，并引入了一个有效处理比较逻辑推断的推断系统，包括涉及数词形容词、反义词和量化词的比较。我们在 FraCaS 测试套件上评估了我们系统的性能，并表明该系统可以处理各种复杂的比较逻辑推断。

Oct, 2019