提出通过对比学习策略来改进概念嵌入的语义表示方法，使用全新的 contextualized vectors 代替传统平均表示方法，可优化概念嵌入中的语义属性，使得使用该方法后的概念嵌入能在预测语义属性上显著突出于传统概念嵌入方法，尤其是使用 ConceptNet 的方法的效果最佳。

May, 2023

通过神经语言模型进行财产归纳，研究发现它们基于类别成员资格表现出归纳偏好，暗示了其表述中存在分类偏差。

May, 2022

本论文通过 COMPS 测试不同 PLMs 的语义概念属性及其推理能力，结果表明 PLMs 在基于知识表达的相关概念中表现相对困难且缺乏鲁棒性，从而对 PLMs 在正确推理方面的能力提出重要问题。

Oct, 2022

本文提出了一种利用图像来补充语言模型信息的方法，并在排名任务中验证了该模型在名词属性预测上的优越性，相较于仅使用文本的语言模型。

Oct, 2022

通过利用 ConceptNet 中的结构化知识，构造逻辑形式并生成常识性逻辑推理的多项选择题进行训练，我们提出了一种简单而有效的方法来教授预训练模型常识性推理，实验结果表明，这种训练可以使预训练模型在需要常识性推理的任务上表现稳定提升，特别是在少样本学习设置下。

Sep, 2019

本研究提出一种通用预训练语言模型的常识知识转移框架，通过从神经常识知识模型中提取框架通用文本中的常识知识并利用两个自监督目标对模型进行改进，使其更好地传递到需要常识推理的下游任务中并取得显著改善。

Jun, 2023

本研究验证了常识知识模型可以通过训练少量样例快速适应共现的常识知识表示能力，并发现有关该接口是如何学习的新见解。

Jan, 2021

通过显式建模学习概念嵌入的不同方面，本文展示了这种方法能够捕捉到更多样化的常识属性，并在超细实体类型和本体补全等下游任务中持续改进结果。

Mar, 2024

介绍了如何利用当前的机器学习方法，通过知识迁移、模型集成和引入配对对比目标等方法，改进通用预训练语言模型在常识推理任务中，取得超过 15％的配对准确度和超过 8.7％的标准准确度的绝对增益。

Oct, 2023

本研究考察了 GPT、BERT、XLNet 和 RoBERTa 等四个基于预训练语言模型的通感知能力，通过在七个具有挑战性的基准测试中测试他们，在促进模型通感知能力方面，语言建模及其变体是有效的目标，而双向上下文和更大的训练集是额外的加分项。此外，我们发现目前的模型在需要更多必要推理步骤的任务上表现不佳。最后，我们通过制作相关的双重测试用例来测试模型的鲁棒性。有趣的是，模型在这些测试用例上表现混乱，这表明它们只是在表面上学习通感知而不是深层次的知识。我们公开了一个名为 CATs 的测试集，以供未来的研究使用。

Nov, 2019