本文提出使用基于深度结构语义模型（DSSM）的神经网络模型，并借助大量未经监督学习的文本来学习常识知识，以解决常识推理任务（Winograd Schema challenges）和代词消岐（Pronoun Disambiguation），并证明其在句子上下文信息和代词和名词之间的引用信息捕捉方面的有效性和显著性改进。

Apr, 2019

本文提出了一种自我监督方法来解决代词消岐和 Winograd Schema 挑战问题，利用 transformer networks，采用特征训练语料库的结构，并构建配对对比辅助预测，通过对比边缘的互斥损失进行规范化，实现常识推理，在常识推理任务中表现良好，并且开辟了利用廉价的自我监督以便在常识推理中获得性能提升的途径。

May, 2020

本研究旨在解决 Zero shot learning 的挑战，利用 ConceptNet 的通识知识图谱，通过图卷积网络自编码器生成类标签的通识嵌入，结合 HA 和 DWE 的管道，可提高视觉和语义嵌入之间的关联性，进而在三个基准数据集上表现优异。

Dec, 2020

本文提出一种使用无监督学习、基于语言模型的神经网络常识推理的简单方法，通过对大量未标记数据的训练，优化单选题的得分，获得了很好的测试成绩，没有使用昂贵的注释知识库或手工特征工程。

Jun, 2018

本文探索了如何利用不同类型的知识图谱来更好地解决代词共参问题，并提出了一种知识注意力模块，以选择性地使用信息化知识来增强模型，实验结果表明，在不同领域的两个数据集上，我们的模型优于现有技术，并在跨领域的情况下也表现出更好的性能。

Jul, 2019

提出了一种用多个知识库来加强大型模型表示的方法，每个知识库都通过一个集成实体链接器来检索相关实体嵌入，然后通过单词与实体关注的形式更新上下文单词表示，经实验发现知识增强的 BERT 模型具有更好的性能，且运行时间与 BERT 相当。

Sep, 2019

本文提出一种基于主成分分析生成可解释嵌入过程知识的知识蒸馏方法，用于训练轻量级的神经网络。实验结果表明，该方法在 CIFAR100 数据集上提高了 2.28% 的性能，而且嵌入过程的知识可以通过可视化 KD 过程来解释。

Apr, 2021

提出了一种基于常识感知的知识图谱嵌入框架，能够从实体概念中自动提取常识，利用其拓展有效自我监督，同时通过常识和事实视角的链接预测实现高质量负采样，提高了知识图谱嵌入模型的性能。

Feb, 2022

本文回顾了 Winograd Schema Challenge 的历史并讨论了过去十年 WSC 研究中的持久贡献。我们讨论了为 WSC 开发的各种数据集的重要性以及研究社区对评估 AI 系统智能的代理任务作用的更深入理解。

Jan, 2022

利用外部知识概念辅助 CommonSense 生成，通过原型建模和知识注入方法显著提高了性能。

Dec, 2020