通用的神经符号系统用于常识问答
本文针对非萃取式常识问答（QA）这一具有挑战性的 AI 任务进行了探讨，对最近的常识 QA 方法、流行的知识资源和知识融合方法进行了系统分析，并研究了多个常识数据集上的基准测试。结果表明，注重知识融合的注意力注入方式似乎是一种较好的选择，并且知识库与数据集之间的领域重叠度对于确定模型的成功程度具有至关重要的作用。
Oct, 2019
通过动态生成常识知识图谱，我们提出了一种零 - shot 通识问答的方法，能够推理涉及文本场景中因果关系、影响和状态等方面的隐含世界知识，并实现了生成语义知识结构的功能，从而有效地推理出正确答案。
Nov, 2019
本文提出了一种基于神经符号框架的零样本问题回答方法，利用预训练模型的外部知识资源，获得了在不同任务中的一致性提升，并且在任务结构保持的同时还生成了公平和信息丰富的问题，从而提高了语言模型的学习效果。
Nov, 2020
研究一个新的框架，基于 Symbolic Knowledge Distillation，使用通用语言模型自动化地从 ATOMIC 资源中筛选高质量因果常识，并创造一种新的常识模型，其大小只有原始模型的 1/100，但功能优于其老师模型。
Oct, 2021
本文提出一种使用无监督学习、基于语言模型的神经网络常识推理的简单方法，通过对大量未标记数据的训练，优化单选题的得分，获得了很好的测试成绩，没有使用昂贵的注释知识库或手工特征工程。
Jun, 2018
本文提出了将外部常识知识与语言模型相结合的方法，以提高多选题目中常识知识的应用。研究人员采用三种不同的知识插入策略和四种不同的问题 - 回答模型，分析预测结果并探索进一步改进的范围。
Sep, 2019
本文通过使用诊断测试，揭示了预训练 MNLM 中包含的常识知识，并发现 MNLM 模型不能准确理解语义关系，还存在对需要常识知识的语义变化的脆弱性。此外，我们发现了某些知识未被训练的根本原因，并通过在受控实验中利用外部常识知识库来丰富文本的方法，提出了克服 MNLM 模型的局限性的可能性。
Sep, 2022
通过使用神经符号技术对语言模型进行培训，可以利用推理的逻辑规则作为约束，并为模型提供额外的监督来源，以弥补由于无法达到所需的抽象水平而在未观察到的复杂输入组合中难以提供解决方案的问题。我们聚焦于文本上的空间推理这一具有挑战性的问题，通过在多个语言模型上的多个基准测试中的结果验证了基于神经符号训练的有效领域转移假设。
Jun, 2024
该论文提出了一种神经语言模型，该模型在符号可解释事实信息和亚符号神经知识之间包括显式接口，可以通过操作其符号表示更新并覆盖已有的知识，进而显著提升知识密集型问题的问答性能。
Jul, 2020