语言理解的语义感知 BERT

AAAISep, 2019

Semantics-aware BERT for Language Understanding

Zhuosheng Zhang, Yuwei Wu, Hai Zhao, Zuchao Li, Shuailiang Zhang...

TL;DR提出了一种改进的语言表示模型 Semantics-aware BERT，通过集成来自预训练语义角色标注的显式上下文语义，从而在十项阅读理解和语言推理任务中获得了新的最先进或实质性改进的结果，以促进自然语言理解。

Abstract

The latest work on language representations carefully integrates contextualized features into language model training, which enables a series of success especially in various machine reading comprehension and nat

language representations contextualized features semantic information semantics-aware bert natural language understanding

发现论文，激发创造

SenseBERT: 将一些意义驾驭进 BERT

本文提出了一种名为 SenseBERT 的神经语言模型，通过利用单词意义级别直接进行弱监督，预测掩码单词及其 WordNet 超级意义，达到了词汇语义级别的语言模型，实验结果显示，在 SemEval Word Sense Disambiguation 任务和单词上下文任务中，SenseBERT 取得了显著的改进和最新的成果。

Aug, 2019

BERT 作为一个分布式语义模型的评估

本文研究了语境化单词嵌入，并集中讨论了 BERT 这一深度神经网络，该网络产生了语境化的单词嵌入并在多个语义任务中创下了最好的记录，并研究了其嵌入空间的语义一致性。该文章表明，BERT 具有一定的语义一致性，但并未完全符合语义向量空间的自然期望，尤其是发现单词出现在的句子位置虽然不具含义，但在单词嵌入中留下了明显的痕迹，破坏了相似性关系。

Nov, 2019

打开西门子：深入探讨 BERT 的语言知识

本文探讨了 BERT 对句法层次结构、位置信息以及自注意力向量的编码，并发现 BERT 在较低的层次上良好地编码了位置信息，在较高的层次上则更倾向于编码层次结构，这表明 BERT 的表示法确实模拟了语言的一些层次结构，并且对于处理反身代词的普遍敏感性没有人类大脑那么强。

Jun, 2019

BERT: 深度双向变换器的预训练用于语言理解

介绍了一种新的语言表示模型 BERT，可以通过预训练深度双向表示生成模型从未标记的文本中学习，通过微调可用于广泛的任务，包括自然语言处理。

Oct, 2018

语言表征的指代推理学习

本文提出了一种新的语言表征模型 CorefBERT，可以在捕获上下文中的语义信息的同时，明确处理代词消解，实现语篇的一致理解，并在各种需要代词推理的下游 NLP 任务中获得显著的改善。

Apr, 2020

BERT 上语法信息编码的演进

本文分析了 BERT 在六种不同的任务中精细调整过程中所嵌入的句法树随着调整而演变的情况，结果表明编码的语法信息在不同任务的精细调整过程中被遗忘（词性标注）、强化（依存句法和组成成句）或保留（语义相关任务）。

Jan, 2021

HistBERT：用于历时词汇语义分析的预训练语言模型

研究历史语料库数据对语言模型 BERT 训练的影响，从而提出一种预先训练的基于 HistBERT 的语言模型，并比较它与原始 BERT 在单词相似度和语义转化分析方面的表现，该工作强调，上下文语言嵌入在历史语言分析中的效果取决于输入文本的时态特征，并应谨慎应用此方法来研究历史语义变化。

Feb, 2022

简单的 BERT 模型用于关系抽取和语义角色标注

本文介绍基于 BERT 的模型在关系抽取和语义角色标注中的应用。实验结果表明，在不使用任何外部特征的情况下，这种简单的模型可以达到最先进的性能表现，提供了未来研究的强有力基础。

Apr, 2019

SBERT 研究意义表示：将句子嵌入分解为可解释的语义特征

该论文介绍了一种新的基于 semantically structured sentence BERT embeddings（S^3BERT）的方法，通过近似可解释的 AMR 图表特征的方法将句子嵌入分解为语义特征，并通过 SBERT 教师模型的相似度打分来约束分解学习过程，从而保持神经嵌入的效力和效率。

Jun, 2022

KI-BERT: 基于知识背景的语言和领域理解的增强

通过对知识图谱进行多方位的知识语境注入，基于 BERT 的语言模型可以在微调期间解决概念和模糊实体的语境问题，从而在 GLUE 测试集的多个子任务中，KI-BERT-base 模型能够显著优于以 ERNIE、SenseBERT 和 BERT_CS 为代表的最新知识感知 BERT 变体，甚至比 BERT-large 模型在 SciTail 和 QQP、QNLI、MNLI 等领域特定任务方面表现更佳。

Apr, 2021