- 深度上下文化语言表示在文本分类中的通用性分析
该研究使用二进制新闻分类和产品评论情感分析两个任务，评估了两个最先进的深度上下文语言表示，ELMo 和 DistilBERT 的健壮性，旨在探索自然语言处理系统在通向适用于实际场景的系统的过程中的代表性能力的极限。结果显示，DistilBE - 使用词嵌入分析抗议新闻
CLEF 2019 的两个 ProtestNews 任务旨在对抗议和非抗议相关的新闻文章和句子进行二元分类；通过用 ELMo 和 DistilBERT 替换现有的词嵌入，DistilBERT 在不改变原始模型架构的情况下，相对于 FastT - 语言建模的课程学习
本研究探讨了使用语言学课程学习法对语言模型预训练的效果，并且在 GLUE 基准测试中评估了转移性能，结果显示我们并未找到令人信服的证据表明课程学习方法可以改善语言模型训练。
- 挪威语大规模上下文语言建模
本文介绍了 NorLM 计划，旨在支持创建和使用极大的上下文化语言模型来支持挪威语（以及原则上其他北欧语言）的研究与应用，该计划提供了一个可用的软件环境和数据集，同时也提供了一份学习的经验报告。文章介绍了基于 ELMo 和 BERT 框架的 - COLING多义词语境向量跨语言对齐
本文提出了一种新颖的方法，在从双语词典中获取跨语言信号的基础上，通过利用上下文语境嵌入实现词义级别上的对齐，进而在多种语言之间预训练跨语言模型，以在诸如命名实体识别、情感分类等任务中获得表现上的突破。
- 评估命名实体识别中的人口统计偏见
通过合成语料库评估英文命名实体识别系统在不同人口群体中的偏差，结果表明模型更擅长识别两个数据集中特定人口群体的姓名，并且去偏向嵌入无法解决这个问题，最终结果表明基于字符的上下文词表示模型，例如 ELMo，跨人口群体的偏差最小。这项工作可以揭 - ACL窥探邻居：针对上下文嵌入的细粒度探测，用于获取周围词语的信息
通过引入一系列探测任务，对比测试了 BERT、ELMo 和 GPT 等语境编码器对于上下文信息的编码能力，发现每种信息类型确实都是以上下文信息的形式编码的，但是不同的编码器在分配特征到哪些标记上、特征分配的细度、特征编码的鲁棒性等方面存在差 - 上下文嵌入概述调查
该综述评估了现有的上下文嵌入模型，跨语言多语预训练，上下文嵌入在下游任务中的应用，模型压缩和分析。
- BERT 可以有任何意义吗？使用上下文嵌入进行可解释的词义消歧
介绍一种利用最近邻分类法和上下文表示词嵌入进行词义消歧的简单而有效的方法，并比较不同的上下文表示模型在该任务上的表现。使用标准的词义消歧数据集表明，在这项任务上，与现有技术相比，已取得了改进。另外还展示了预训练的 BERT 模型能够将多义词 - 使用释义改进上下文化词嵌入
本文章探讨了，如何通过给上下文动态变化的词嵌入模型增加同义词的语境来提高模型的稳定性，提出了一种基于改造的方法并在各种句子分类和语言推理任务中进行了实验，结果表明该方法可以有效提高模型性能。
- ACL从英语到混合语：利用强形态线索的迁移学习
研究提出了一种基于 ELMo 模型和位置感知的关注机制的代码切换模型：CS-ELMo，它通过迁移学习将英语知识转移到不同的代码切换语言对（如尼泊尔语 - 英语，西班牙语 - 英语和印地语 - 英语），并在 NER 和 POS 标记等关键任务 - EMNLP设计和解释带有控制任务的探针
本文研究了通过构造控制任务作为对比，来检验表征模型是否真正编码了语言结构的可能性。通过针对英语词性标注和依存关系预测的控制任务，发现流行的探针在 ELMo 表示上不具有足够的选择性。此外，第二层的探针相比第一层更具有选择性，这引发了关于哪一 - 应用词形归一化对 ELMo 在词义消歧中的影响：词形还原与否
本文研究了在深度学习自然语言处理模型中是否需要使用基本形式单词进行词形还原。研究结果表明，在英语中使用基本形式单词进行词形还原并不必要，但在俄语等富有形态语言中，使用词形还原可以带来小幅且稳定的性能提升，尤其是在词义消歧任务中。
- EMNLPBERT、ELMo 和 GPT-2 嵌入的几何比较：上下文化词表示有多上下文？
用上下文化单词表示替代静态单词嵌入在许多自然语言处理任务中都有很大的提升。本文研究了从 ELmo 和 BERT 等模型生成的上下文化表示到底有多少有多少上下文性，是否针对每个单词有无限多个上下文相关的表示，还是本质上分配了一个有限数量的单词 - 在 54 种语言中评估上下文嵌入在词性标注、词形还原和依存分析中的效果
本文对三种最近提出的上下文嵌入方法进行了广泛评估，并在通用依赖关系 2.3 的 89 个语料库中的 54 种语言中，以词性标注，词形还原和依赖关系分析三个任务中使用 BERT，Flair 和 ELMo 作为预先训练的嵌入输入。
- AAAI语法感知的神经语义角色标注
本文探讨是否在神经网络中使用额外的句法特征表示对语义角色标注（SRL）有益，实验结果表明这有助于提高 SRL 的性能，并且在 CoNLL-2005 数据集上达到了新的最先进水平。
- ACL深度神经网络和大脑中简单句子表示的相关性
通过研究使用简单句法和语义的句子，探讨深度循环模型和大脑编码的联系及其应用，发现 BERT 的激活与 MEG 脑数据的相关性最好，同时深度神经网络表征可以用于生成新句子的脑数据以增强现有脑数据，并对使用深度神经网络表示生成合成脑数据进行了首 - ACL使用语境化单词嵌入对论点进行分类和聚类
本研究使用 ELMo 和 BERT 作为最新的上下文化词嵌入方法，在开放领域的论据搜索中进行了实验。我们首次展示了如何利用上下文化词嵌入的能力，对主题相关的论据进行分类和聚类，并在多个数据集和任务中取得了令人印象深刻的结果。
- 上下文至关重要：基于上下文词表示的语法错误检测
这篇论文系统比较了 ELMo、BERT 和 Flair 嵌入（Peters 等人，2017；Devlin 等人，2018；Akbik 等人，2018）在一系列公共 GED 数据集上的性能，并提出了一种有效地将这些表示集成到当前方法中的方法， - 生物医学自然语言处理中的迁移学习：对于十个基准数据集上 BERT 和 ELMo 的评估
本文介绍了 Biomedical Language Understanding Evaluation (BLUE) benchmark，该基准旨在促进预训练语言表示在生物医学领域的发展研究。我们评估了多个基于 BERT 和 ELMo 的基线