ACLMar, 2021

将 ELMo 嵌入表示为二维文本在线

PDF
TL;DR该研究论文介绍了一种名为 WebVectors 的工具包，其中新增了 ELMoViz 模块，将支持上下文嵌入架构，特别是 ELMo 模型，提供的可视化工具为‘二维文本’元喻，展示了语境中语义最相似的词语选项，还支持用户可更改 ELMo 层次，同时传达了查询词及其词汇替代物（即其频率级别和词性）的语料库信息，并且模块已经很好的整合到 WebVectors 工具包中，提供了静态嵌入模型中的词表示的词汇超链接，已有两个 Web 服务实现了俄语、挪威语和英语的预训练 ELMo 模型。
发现论文，激发创造
  • 上下文嵌入概述调查

    该综述评估了现有的上下文嵌入模型，跨语言多语预训练，上下文嵌入在下游任务中的应用，模型压缩和分析。

    Mar, 2020

  • ELMo 嵌入的替代加权方案

    本文讨论如何在使用 ELMo 嵌入的情况下，通过加权平均其产生的三个向量的前两个向量以提高下游 NLP 任务的性能，并实现语言模型的简化，从而获得更快的训练速度。

    Apr, 2019

  • 语言模型生成的源代码嵌入

    本文提出了一种基于语言模型的深度上下文化单词表征，通过使用 ELMo 框架训练这些嵌入来研究其在下游缺陷检测任务中的有效性，并表明即使在相对较小的代码库中，低维度的嵌入也可以改进最先进的机器学习系统进行缺陷检测。

    Apr, 2020

  • Entity-aware ELMo：学习上下文实体表征以解决实体消歧

    本研究提出了一种新的本地实体消岐系统，依赖于一种名为 E-ELMo 的实体感知扩展 embedding 方法，能在指定的段落中，基于其它提及的实体，预测它们所指的具体实体，并在 AIDA test-b 评测中提高 0.5% 的微平均准确率，创造了业界先进的性能表现。

    Aug, 2019

  • 深度上下文词表示

    本文介绍了一种新型的深层上下文词表示方法，既能够建模单词用法的复杂特征 (如句法和语义)，又能够建模这些用法在语言上下文中的变化 (即建模多义性)，这些表示可以轻松地添加到现有模型中，并且可以显著提高 NLP 问题的性能。

    Feb, 2018

  • 使用释义改进上下文化词嵌入

    本文章探讨了，如何通过给上下文动态变化的词嵌入模型增加同义词的语境来提高模型的稳定性，提出了一种基于改造的方法并在各种句子分类和语言推理任务中进行了实验，结果表明该方法可以有效提高模型性能。

    Sep, 2019

  • UiO-UvA 在 SemEval-2020 任务 1 中：用于词汇语义变化检测的上下文嵌入

    该研究应用上下文化词嵌入到 SemEval-2020 Shared Task 1 的词汇语义变化检测中，着重于子任务 2，在两种上下文化体系结构（BERT 和 ELMo）和三种变化检测算法方面，分析了其性能。我们发现，最有效的算法依赖于平均令牌嵌入之间的余弦相似度和令牌嵌入之间的成对距离。他们比强基线模型高出很大的差距，但是有趣的是，选择特定算法取决于测试集中金标准分数的分布。

    Apr, 2020

  • 利用上下文嵌入增强临床概念抽取

    本研究旨在研究新的语言表示方法（如 ELMo，BERT）在医疗概念提取方面的应用，比较这些方法与传统词嵌入方法（word2vec，GloVe，fastText）的性能表现，并探讨将这些表示方法应用于医疗任务的可能性。研究结果表明，基于大型医学语料库的上下文嵌入方法表现出色，优于现有所有方法。此外，与传统词表示相比，上下文嵌入方法还包含有价值的语义信息。

    Feb, 2019

  • 在 54 种语言中评估上下文嵌入在词性标注、词形还原和依存分析中的效果

    本文对三种最近提出的上下文嵌入方法进行了广泛评估，并在通用依赖关系 2.3 的 89 个语料库中的 54 种语言中，以词性标注，词形还原和依赖关系分析三个任务中使用 BERT，Flair 和 ELMo 作为预先训练的嵌入输入。

    Aug, 2019

  • 上下文化词嵌入中的性别偏见

    本文中，我们量化、分析和减轻了 ELMo 上表现的性别偏见。通过内在分析和实验，我们发现 ELMo 的训练数据中包含男性实体比女性实体多，其编码的词向量中存在性别信息，且男性和女性实体所包含的性别信息不平等。同时，我们发现最前沿的指代消解系统很大程度上依赖 ELMo，继承了 ELMo 的性别偏见，表现出显著的偏见，我们探索了两种减轻这种性别偏见的方法，并展示了这种在 WinoBias 数据集上表现出的偏见可以被消除。

    Apr, 2019