为何神经语言模型在处理问题回答的语义变化时仍需要常识知识？

Sep, 2022

为何神经语言模型在处理问题回答的语义变化时仍需要常识知识？

Why Do Neural Language Models Still Need Commonsense Knowledge to Handle Semantic Variations in Question Answering?

Sunjae Kwon, Cheongwoong Kang, Jiyeon Han, Jaesik Choi

TL;DR本文通过使用诊断测试，揭示了预训练 MNLM 中包含的常识知识，并发现 MNLM 模型不能准确理解语义关系，还存在对需要常识知识的语义变化的脆弱性。此外，我们发现了某些知识未被训练的根本原因，并通过在受控实验中利用外部常识知识库来丰富文本的方法，提出了克服 MNLM 模型的局限性的可能性。

Abstract

Many contextualized word representations are now learned by intricate neural network models, such as masked neural language models (MNLMs) which are made up of huge neural network structures and trained to restore the masked text. Such representations demonstrate superhuman performance

neural language models reading comprehension commonsense knowledge semantic meaning external knowledge repository

发现论文，激发创造

遮蔽式神经语言模型为什么仍然需要常识知识？

本文提出了对预训练 MNLM 的实证分析，观察到 MNLMs 在部分理解各种类型的常识知识的同时又不准确地理解了关系的语义含义，同时通过结合外部常识库的知识证明可以提高预训练 MNLM-based 模型的效能。

Nov, 2019

评估预训练语言模型中的常识

本研究考察了 GPT、BERT、XLNet 和 RoBERTa 等四个基于预训练语言模型的通感知能力，通过在七个具有挑战性的基准测试中测试他们，在促进模型通感知能力方面，语言建模及其变体是有效的目标，而双向上下文和更大的训练集是额外的加分项。此外，我们发现目前的模型在需要更多必要推理步骤的任务上表现不佳。最后，我们通过制作相关的双重测试用例来测试模型的鲁棒性。有趣的是，模型在这些测试用例上表现混乱，这表明它们只是在表面上学习通感知而不是深层次的知识。我们公开了一个名为 CATs 的测试集，以供未来的研究使用。

Nov, 2019

使用语义级别精度和扩展词汇探究预训练语言模型中常识知识

本研究探讨了如何在大型语言模型中丰富常识知识，并提出了一种基于 WordNet 的实化感知库对语言模型进行增强的方法，从而提高掩蔽式任务的预测精度。通过自我监督学习，在不进行进一步训练的情况下，实现了从 WordNet、WikiData 和 ConceptNet 中获取非平凡的常识知识，并比类似的基于相似性的方法更加有效。

Oct, 2022

为预训练语言模型提供常识知识转移

本研究提出一种通用预训练语言模型的常识知识转移框架，通过从神经常识知识模型中提取框架通用文本中的常识知识并利用两个自监督目标对模型进行改进，使其更好地传递到需要常识推理的下游任务中并取得显著改善。

Jun, 2023

大型语言模型中常识知识的系统调查

本研究通过对大量数据进行训练的语言模型的零样本和少样本常识评估，旨在更好地理解这种模型学习常识知识的程度，结果显示预训练的语言模型在没有任务特定监督的情况下获取常识知识的能力受到了很大的限制。更大的模型或少量评估也无法达到人类常识水平。

Oct, 2021

常识推理的简单方法

本文提出一种使用无监督学习、基于语言模型的神经网络常识推理的简单方法，通过对大量未标记数据的训练，优化单选题的得分，获得了很好的测试成绩，没有使用昂贵的注释知识库或手工特征工程。

Jun, 2018

如何通过额外知识来提升自然语言常识问答能力？

本文提出了将外部常识知识与语言模型相结合的方法，以提高多选题目中常识知识的应用。研究人员采用三种不同的知识插入策略和四种不同的问题 - 回答模型，分析预测结果并探索进一步改进的范围。

Sep, 2019

预训练模型中的常识知识挖掘

使用预训练的双向语言模型将关系三元组转换为掩码句子，通过估计点间互信息来排名三元组的有效性，从而开发了一种生成常识知识的方法。该方法在新源中挖掘常识知识时优于显式训练的模型，说明无监督技术比目前的有监督方法更具推广性。

Sep, 2019

基于常识预训练的问答系统改进

本文提供一种有效的方法，通过使用外部的常识知识库，例如 ConceptNet，来预训练直接和间接的概念相关函数，并将其添加到现有的神经网络模型中，以提高基于常识推理的三个问答任务的基础结果。结果表明，我们的系统能够发现和利用外部常识知识库中有用的证据，这对于导出正确答案很有帮助。

Sep, 2018

一种基于预备知识库的常识推理教授预训练模型的初步方法

通过利用 ConceptNet 中的结构化知识，构造逻辑形式并生成常识性逻辑推理的多项选择题进行训练，我们提出了一种简单而有效的方法来教授预训练模型常识性推理，实验结果表明，这种训练可以使预训练模型在需要常识性推理的任务上表现稳定提升，特别是在少样本学习设置下。

Sep, 2019