ACLMay, 2020

上下文嵌入：何时值得使用？

PDF
TL;DR本研究旨在探究深度上下文嵌入（例如 BERT）相对于传统预训练嵌入（例如 GloVe）和一个更简单的基准（随机词嵌入）在训练集大小和语言任务的语言特性等方面，性能是否有大幅提升。我们发现，这两种更简单的基准线上也能匹配行业规模的数据中的上下文嵌入，并且通常在基准任务中具有 5-10％ 左右的精度，此外，我们还确定了一些数据特性，这些特性针对于特定的任务使得上下文嵌入具有大幅提升的表现：包含复杂结构的语言、具有歧义的词汇使用、及在训练中从未出现过的单词。
deep contextual embeddingspretrained embeddingstraining set sizelinguistic propertiesbenchmark tasks
发现论文，激发创造
  • 命名实体识别中的上下文嵌入：一项关于泛化的实证研究

    本文通过经验分析，将提到的未知名称根据新奇性和域外评估进行分离，并证明了最新情境嵌入模型在发现前所未见的名称方面特别有益，尤其是在域外评估中。

    Jan, 2020

  • 上下文嵌入概述调查

    该综述评估了现有的上下文嵌入模型，跨语言多语预训练，上下文嵌入在下游任务中的应用，模型压缩和分析。

    Mar, 2020

  • 预训练词嵌入何时、为何对神经机器翻译有用？

    本研究分析了预训练词向量在低资源场景下神经机器翻译性能提升方面的作用，通过五组实验结果表明，在某些情况下词向量的使用可以使翻译结果达到最高 20 个 BLEU 分数的提升。

    Apr, 2018

  • 使用本地训练的单词嵌入进行查询扩展

    本文研究了词嵌入在查询扩展中的应用，结果表明全局训练的 Word2Vec 和 GloVe 等词嵌入不能很好地完成信息检索任务，建议其他使用全局嵌入的任务也可以受益于使用局部嵌入。

    May, 2016

  • 利用上下文嵌入模型获得更好的静态词嵌入

    本研究提出使用基于 CBOW 的训练方法进行文本嵌入的知识蒸馏，可以有效地提高自然语言处理应用程序的计算效率，同时优于从头开始训练的静态嵌入和以前提出的方法提炼的嵌入。此外，该方法还可以通过标准词汇评估任务公平比较上下文和静态嵌入。

    Jun, 2021

  • 学习将单词嵌入上下文以执行句法任务

    我们提出了一种基于标准神经网络架构的简单，高效的令牌嵌入模型，并通过大量未注释的文本学习了令牌嵌入，评估它们作为基于少量注释的数据训练的词性标注器和依存分析器的特征，发现词嵌入在各种上下文窗口和训练集大小下都能一致优于基准预测模型。

    Jun, 2017

  • 利用上下文嵌入增强临床概念抽取

    本研究旨在研究新的语言表示方法（如 ELMo，BERT）在医疗概念提取方面的应用，比较这些方法与传统词嵌入方法（word2vec，GloVe，fastText）的性能表现，并探讨将这些表示方法应用于医疗任务的可能性。研究结果表明，基于大型医学语料库的上下文嵌入方法表现出色，优于现有所有方法。此外，与传统词表示相比，上下文嵌入方法还包含有价值的语义信息。

    Feb, 2019

  • 神经主题建模优于聚类吗？基于语境嵌入的聚类主题实证研究

    本文研究利用高质量的句子表示和适当的词选择方法直接聚类句子表示的方法来生成更连贯和多样化的主题，相比于利用神经模型的方法有更高的效率和简洁性。

    Apr, 2022

  • 通过分离上下文 n 元信息来改进词向量嵌入

    训练单词嵌入与高阶 n-gram 嵌入同时可以帮助消除上下文信息，从而得到更好的单词嵌入。通过在各种任务上显着优于其他竞争性单词表示模型，我们实证了我们的假设的有效性。

    Apr, 2019

  • 在 54 种语言中评估上下文嵌入在词性标注、词形还原和依存分析中的效果

    本文对三种最近提出的上下文嵌入方法进行了广泛评估，并在通用依赖关系 2.3 的 89 个语料库中的 54 种语言中，以词性标注，词形还原和依赖关系分析三个任务中使用 BERT，Flair 和 ELMo 作为预先训练的嵌入输入。

    Aug, 2019