带有外部知识的神经自然语言推理模型
本文提出了一种运用知识图谱的结合方法来提高自然语言推理问题(NLI)领域中性能的技术,该技术在文本、图形和文本到图形的模型上均取得了最新的最优表现,并讨论了外部知识在解决 NLI 问题中的实际意义。
Sep, 2018
研究了不同来源的外部知识对于解释性自然语言推断系统性能的影响,并发现不同的知识来源对于推理能力有不同的影响,同时进行了最大规模、最精细的可解释 NLI 众包研究,揭示了自动性能分数的巨大差异并没有反映在人的评分上。
Sep, 2021
本文提出一种利用简单变换将外部知识纳入注意机制来使 NLI 模型更加稳健的方法,将其应用于 Transformer 编码器和可分解模型中,结果表明该方法可以显著提高它们的稳健性。并且,在与 BERT 预训练相结合时,在对抗 SNLI 数据集上实现了人类水平的性能。
Aug, 2019
通过测量语言模型的端到端性能,我们实证研究了各种知识集成方法对外部知识的贡献,发现知识的引入可以显著提高某些任务的结果,同时对其他任务没有不良影响,使用互信息来反映知识带来的差异,通过神经解释模型揭示语言模型如何利用外部知识。
Sep, 2021
本文提出了一种新的 NLI 模型 ——ExBERT,它可以利用外部知识源对 BERT 的上下文表示进行丰富,从而提升 BERT 的语言理解和推理能力,并在挑战性的 SciTail 和 SNLI 基准测试中实现了优异的表现。
Aug, 2021
介绍了 MedNLI 数据集的自然语言推理任务 (NLI),并提出了两种解决深度神经网络模型在特定领域泛化能力差的方法:利用开放域数据集进行迁移学习和结合外部数据和词汇来源的领域知识。实验结果表明,两种方法均可提高模型性能。
Aug, 2018
通过扩展自然语言推理数据集并引入人工提供的自然语言解释,我们实现了能够学习人类提供解释的机器学习模型,并将其用于提高模型性能和确定其可靠性的研究。
Dec, 2018
提出了一种增强学习模型的方案,即通过知识图谱的事实三元组来为自然语言处理任务提供上下文知识,并采用基于卷积的模型来减少关注空间,从而大大提高了文本分类和自然语言推理任务的性能。
Feb, 2018