Aug, 2021

ExBERT: 外部知识增强的自然语言推断 BERT 模型

PDF
TL;DR本文提出了一种新的 NLI 模型 ——ExBERT，它可以利用外部知识源对 BERT 的上下文表示进行丰富，从而提升 BERT 的语言理解和推理能力，并在挑战性的 SciTail 和 SNLI 基准测试中实现了优异的表现。
neural language representation modelsbertnatural language inferenceexternal knowledge sourcesreasoning
发现论文，激发创造
  • 带有外部知识的神经自然语言推理模型

    本文研究在于如何用外部的知识来丰富神经网络的自然语言推理模型，并展示了这些模型如何在 SNLI 和 MultiNLI 数据集上实现最先进的性能水平。

    Nov, 2017

  • exBERT：一种可视化分析工具，用于探索 Transformers 模型中学习到的表示

    通过互动工具 exBERT，可以通过将人类指定的输入与大型已注释的数据集中的类似上下文进行匹配，来揭示上下文表示的意义，从而更直观地解释每个注意力头都学习了什么。

    Oct, 2019

  • 知识增强的上下文词表示

    提出了一种用多个知识库来加强大型模型表示的方法，每个知识库都通过一个集成实体链接器来检索相关实体嵌入，然后通过单词与实体关注的形式更新上下文单词表示，经实验发现知识增强的 BERT 模型具有更好的性能，且运行时间与 BERT 相当。

    Sep, 2019

  • 外部知识是否有助于可解释的自然语言推断？自动评估与人工评分比较

    研究了不同来源的外部知识对于解释性自然语言推断系统性能的影响，并发现不同的知识来源对于推理能力有不同的影响，同时进行了最大规模、最精细的可解释 NLI 众包研究，揭示了自动性能分数的巨大差异并没有反映在人的评分上。

    Sep, 2021

  • ExpBERT: 使用自然语言解释进行表达工程

    本文介绍了一种使用自然语言解释规定归纳偏好的方法，并使用多级别自然语言推理模型 BERT 以及少量标记数据，在三种关系提取任务上提高了基础模型的 F1 分数，并减少了所需标记的数据量。

    May, 2020

  • 语言理解的语义感知 BERT

    提出了一种改进的语言表示模型 Semantics-aware BERT，通过集成来自预训练语义角色标注的显式上下文语义，从而在十项阅读理解和语言推理任务中获得了新的最先进或实质性改进的结果，以促进自然语言理解。

    Sep, 2019

  • ERNIE: 增强语言表示与信息实体

    本文提出了 ERNIE，使用大规模的文本语料库和知识图谱（KGs）同时训练，利用 KGs 中的外部知识来增强语言表征，实验证明在不同知识驱动任务上 ERNIE 显著提高性能，同时在其他常见 NLP 任务上与 BERT 的性能相当。

    May, 2019

  • KI-BERT: 基于知识背景的语言和领域理解的增强

    通过对知识图谱进行多方位的知识语境注入，基于 BERT 的语言模型可以在微调期间解决概念和模糊实体的语境问题，从而在 GLUE 测试集的多个子任务中，KI-BERT-base 模型能够显著优于以 ERNIE、SenseBERT 和 BERT_CS 为代表的最新知识感知 BERT 变体，甚至比 BERT-large 模型在 SciTail 和 QQP、QNLI、MNLI 等领域特定任务方面表现更佳。

    Apr, 2021

  • 语言表征的指代推理学习

    本文提出了一种新的语言表征模型 CorefBERT，可以在捕获上下文中的语义信息的同时，明确处理代词消解，实现语篇的一致理解，并在各种需要代词推理的下游 NLP 任务中获得显著的改善。

    Apr, 2020

  • 知识图谱融合用于语言模型微调

    探索将知识图谱注入 Bert 模型的微调阶段来提高语言理解，并通过实验证明注入相关高质量知识对于特定任务有显著的性能提升。

    Jun, 2022