知识对通用自然语言理解有帮助吗？一项实证研究

Sep, 2021

知识对通用自然语言理解有帮助吗？一项实证研究

Does Knowledge Help General NLU? An Empirical Study

Ruochen Xu, Yuwei Fang, Chenguang Zhu, Michael Zeng

TL;DR通过测量语言模型的端到端性能，我们实证研究了各种知识集成方法对外部知识的贡献，发现知识的引入可以显著提高某些任务的结果，同时对其他任务没有不良影响，使用互信息来反映知识带来的差异，通过神经解释模型揭示语言模型如何利用外部知识。

Abstract

It is often observed in knowledge-centric tasks (e.g., common sense question and answering, relation classification) that the integration of external knowledge such as entity representation into language models c

knowledge-centric tasks external knowledge natural language understanding language models mutual information

发现论文，激发创造

外部知识是否有助于可解释的自然语言推断？自动评估与人工评分比较

研究了不同来源的外部知识对于解释性自然语言推断系统性能的影响，并发现不同的知识来源对于推理能力有不同的影响，同时进行了最大规模、最精细的可解释 NLI 众包研究，揭示了自动性能分数的巨大差异并没有反映在人的评分上。

Sep, 2021

走向知识驱动的自然语言理解与生成

通过将转换器模型与知识表示相关联，本论文研究了自然语言理解和生成的效果，并回答了以下关键研究问题：(i) 实体知识是否能够超越实体链接等实体为中心的任务，并带来更多的好处？(ii) 如何从原始文本中准确有效地提取这种结构化知识，尤其是嘈杂的网络文本？(iii) 除了结构化知识，其他类型的知识如何对改进自然语言处理任务有所贡献？研究表明，引入相关和最新的实体知识有助于虚假新闻检测，而面向实体的语言转换显著提高了零样本跨语言迁移的效果。在提取结构化知识方面，将负面样本整合和与实体规划一起训练显著提高了性能。此外，研究还发现，其他一般形式的知识，如参数化知识和精炼知识，有助于多模态和多语言知识密集型任务。这项研究展示了多元知识整合的实际好处，并鼓励在这个方向上进一步探索。

Mar, 2024

带有外部知识的神经自然语言推理模型

本文研究在于如何用外部的知识来丰富神经网络的自然语言推理模型，并展示了这些模型如何在 SNLI 和 MultiNLI 数据集上实现最先进的性能水平。

Nov, 2017

如何通过额外知识来提升自然语言常识问答能力？

本文提出了将外部常识知识与语言模型相结合的方法，以提高多选题目中常识知识的应用。研究人员采用三种不同的知识插入策略和四种不同的问题 - 回答模型，分析预测结果并探索进一步改进的范围。

Sep, 2019

利用领域外知识提升科学问题领域自然语言推断

本文提出了一种运用知识图谱的结合方法来提高自然语言推理问题（NLI）领域中性能的技术，该技术在文本、图形和文本到图形的模型上均取得了最新的最优表现，并讨论了外部知识在解决 NLI 问题中的实际意义。

Sep, 2018

知识图谱融合用于语言模型微调

探索将知识图谱注入 Bert 模型的微调阶段来提高语言理解，并通过实验证明注入相关高质量知识对于特定任务有显著的性能提升。