Nov, 2019

BERT作为一个分布式语义模型的评估

HTML
PDF
TL;DR本文研究了语境化单词嵌入，并集中讨论了BERT这一深度神经网络，该网络产生了语境化的单词嵌入并在多个语义任务中创下了最好的记录，并研究了其嵌入空间的语义一致性。该文章表明，BERT具有一定的语义一致性，但并未完全符合语义向量空间的自然期望，尤其是发现单词出现在的句子位置虽然不具含义，但在单词嵌入中留下了明显的痕迹，破坏了相似性关系。
发现论文，激发创造
  • BERT、ELMo和GPT-2嵌入的几何比较：上下文化词表示有多上下文？

    用上下文化单词表示替代静态单词嵌入在许多自然语言处理任务中都有很大的提升。本文研究了从 ELmo 和 BERT 等模型生成的上下文化表示到底有多少有多少上下文性，是否针对每个单词有无限多个上下文相关的表示，还是本质上分配了一个有限数量的单词感觉表示。

    Sep, 2019

  • BERTRAM：优化单词嵌入对上下文模型性能具有巨大影响

    本文提出了一种名为BERTRAM的基于BERT的结构，用于为罕见词建立高质量的嵌入表示，从而提高深层语言模型在罕见词和中频词上的表现。实验表明，在罕见词探查任务和三种下游任务上，与BERT相结合可以显著提高罕见词和中频词的表示。

    Oct, 2019

  • 用语义类别探测量化单词表示的情境化

    通过研究BERT中的单词上下文含义的量化，我们展示了预训练语言模型如何解释单词在上下文中的重要性，结果显示顶层语义表示对于任务的推断非常准确，底层语义表示更具可转移性。

    Apr, 2020

  • 上下文嵌入：何时值得使用？

    本研究旨在探究深度上下文嵌入（例如BERT）相对于传统预训练嵌入（例如GloVe）和一个更简单的基准（随机词嵌入）在训练集大小和语言任务的语言特性等方面，性能是否有大幅提升。我们发现，这两种更简单的基准线上也能匹配行业规模的数据中的上下文嵌入，并且通常在基准任务中具有 5-10％ 左右的精度，此外，我们还确定了一些数据特性，这些特性针对于特定的任务使得上下文嵌入具有大幅提升的表现：包含复杂结构的语言、具有歧义的词汇使用、及在训练中从未出现过的单词。

    May, 2020

  • 能否混合？

    本文中，我们通过对一个新数据集的实验来量化解释混合词的含义的难度，结果表明，BERT对这些混合词的处理不能充分访问其组成部分的含义，导致其上下文表示语义贫乏，而具有上下文感知能力的嵌入式系统在识别混合词的结构和恢复其来源方面表现优异，但其结果仍然远非令人满意。

    Sep, 2020

  • 位置性伪像在掩码语言模型嵌入中传播

    本文研究表明，基于预训练掩码语言模型的编码器推导出的上下文化字向量在层间分享一种共同的、可能不太理想的模式，即BERT和RoBERTa的隐藏状态向量中存在持续的异常值神经元。这些异常值与位置嵌入所捕获的信息密切相关。我们显示，裁剪这些异常值可提高向量之间的相似性，并导致更好的句子嵌入。

    Nov, 2020

  • 关于预训练语言模型中句子嵌入的研究

    本篇论文提出通过使BERT句子嵌入分布变换成平滑和各向同性的高斯分布，从而提高BERT在各种语义文本相似度任务中的表现。实验证明，我们提出的BERT-flow方法在各种任务中显著优于现有状态下的句子嵌入方法。

    Nov, 2020

  • 学习去除：面向各向同性的预训练BERT嵌入

    研究表明预训练语言模型，如BERT，在自然语言处理方面具有更广泛的应用价值。本文探究和分析预训练BERT嵌入的几何特征，提出一种基于可学习权重的简单而有效的方法，可以更好地处理向量的同一性问题，并在三项标准任务中获得较好的性能表现。

    Apr, 2021

  • 单多义等级和语义划分揭示：BERT 的表现

    该研究针对多语言预训练语言模型（LMs）的词汇多义性知识不清晰的问题，提出了一种新的实验方法，通过对反应词语多义性分布的数据集进行分析，控制与多义性高度相关的参数，证明BERT-derived的表示能够反映单词的多义水平以及它们拆分为不同义项。它揭示了 contextualized representations 中编码的知识并为多语言词汇语义研究开创了新的途径。

    Apr, 2021

  • 让BERT开口说话：用伪词引导上下文化向量空间导航

    文章利用伪单词探索了BERT空间中的区域，发现了在区域之间存在着感知空缺。

    Sep, 2021